![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Null_Licenses
不读源码程序员
展开
-
Scala_模式匹配的一些感悟跟重点
模式匹配1.普通匹配//简单不聊//todo 常量匹配 def testAge(age:Int)={ age match { case 10 => println("10") case 20 => println("20") case _ => println("其他") } } testAge(20) //todo 类型匹配 def testType(x:Any)={原创 2020-10-28 20:43:30 · 165 阅读 · 0 评论 -
Hive数据分析引擎在Hadoop生态关系细节图
@author Jinxin LiHive架构的理解我们只知道Hive是一个数据分析引擎,与HAOOP配合工作,但是对于小白来说,架构具体结构却了解不够清楚,本文将会对此进行一个解析#mermaid-svg-EnEpE9DxDloU5NU7 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-EnEpE9Dx.原创 2020-09-14 20:47:28 · 200 阅读 · 0 评论 -
Yarn中如何调整AppMatser容器与Container容器的大小配置
Yarn中如何调整AppMatser容器与Container容器的大小配置1.配置AppMatser容器大小的文件目录地址AppMaster: hadoop3.1/etc/hadoop/capacity-scheduler.xml2.配置中信息解读<property> <name>yarn.scheduler.capacity.maximum-am-resourcepercent</name> <value>0.1</value&原创 2020-09-10 14:58:48 · 1307 阅读 · 0 评论 -
深入理解Hadoop生态下MapReduce框架
@author Jinxin Li深入理解Hadoop生态下MapReduce框架的Map步骤在阅读本文之前需要具有一定深度的MapReduce框架知识本文讲解为了方便在本地模式下运行Map阶段的范围在MapReduce的工作流程中,Map真正的范围是根据理解重新划分的.广义的Map阶段是从客户端开始提交job开始时,到MapTask全部归并排序完成狭义可以理解为从MapReduce ApplicationMaster给计算提供容器开始,到归并排序完容器使用完毕为结束.Map阶段的步骤一.原创 2020-09-08 22:59:07 · 136 阅读 · 0 评论 -
简单理解SSH(Secure Shell)的非对称密钥与免密登录原理
@author Jinxin Li简单理解SSH(Secure Shell)的非对称密钥与免密登录原理1.对称加密当加密和解密的密钥相同时,称为对称加密特点是具有相同的加密与解密的方式比如传统加密传输(类似于Unicode中a对应数字97)使用一种安全的密码解密方式只需要设置加密方式就可以应用于两方约定好了的两端加密传输2.非对称加密SSH传输 secure shell 为非对称加密加密和解密方式不相同假设服务器生成了一对密钥用a密钥加密的内容只能用b密钥解密用b密钥加密的内.原创 2020-09-06 19:16:11 · 451 阅读 · 0 评论