hadoop
徐程序猿
这个作者很懒,什么都没留下…
展开
-
org.apache.hadoop.security.AccessControlException
目录: 1、问题 2、现象 3、原因 4、解决方案 1、问题 org.apache.hadoop.security.AccessControlException: Permission denied: user=Lenovo, access=WRITE, inode="/":root:supergroup:drwxr-xr-x 2、现象 报错,文件上传hdfs不成功 3、原因 Hdfs中的/u...原创 2019-12-18 10:52:48 · 220 阅读 · 0 评论 -
Hadoop总结之MapReduce
目录 一、简介 二、WordCount 三、setup与cleanup 四、Combiner 五、MapReduce中shuffle 六、MapReduce处理数据倾斜的一些方法 七、MapReduce内部处理数据流程 一、简介 MapReduce计算框架 将计算过程分为两个阶段:Map和Reduce Map阶段并行处理输入数据; Reduce阶段对Map结果进行汇总 Shuffle连接...原创 2019-12-14 16:55:31 · 275 阅读 · 0 评论 -
Hadoop总结之HDFS
目录: 一、HDFS是什么 二、HDFS核心工作机制 三、客户端上传数据到HDFS流程图 四、HDFS下载数据流程图 五、Checkpoint机制 六、HDFS的优缺点 一、HDFS是什么 HDFS是一个分布式文件系统(管理服务:提供文件的读取服务、写入服务、查看目录信息服务) 二、HDFS核心工作机制 HDFS是一套分布式软件系统,里面有很多服务角色:namenode、datanode、seco...原创 2019-12-12 16:28:51 · 187 阅读 · 1 评论