Hadoop
Mr云飞
书山有路勤为径,学海无涯苦作舟。锲而舍之,朽木不折;锲而不舍,金石可镂。
展开
-
Initialization of all the collectors failed. Error in last collector was :null
错误日志:3129701014_0001_m_000000_3: Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :null at org.apache.hadoop.mapred.MapTask.createSortingColle...原创 2019-11-07 21:16:35 · 890 阅读 · 0 评论 -
Hadoop常用配置文件
写得很详细的一篇好文章http://www.cnblogs.com/yinghun/p/6230436.html转载 2018-10-27 19:50:08 · 234 阅读 · 0 评论 -
Hadoop01伪分布式部署
1.hadoop部署单机部署 进程没有伪分布式部署 进程存在+1节点 开发集群部署 进程存在+n节点 开发/生产下载的包: src 源代码包里面不包含jar 小 不带src或者带bin 编译好的组件 大1.1解压tar -xzvf hadoop-2.8.1.tar.gzchown -R root:root hadoop...原创 2019-04-04 21:15:42 · 97 阅读 · 0 评论 -
Hadoop常用命令03
1.命令格式有俩种hadoop fs -commandhdfs dfs -command 2.常规命令注:大部分命令和linux相同,所以挑点特殊的(1)在Hadoop上指定目录创建一个文件夹hdfs dfs -touchz /xx/xxx.txt(2)将本机文件传到Hadoop上去hadoop fs -put /本地文件 /hadoop目录(3)将Had...原创 2019-04-05 19:00:30 · 144 阅读 · 0 评论 -
Hadoop之HDFS读写流程04
1.HDFS基本概念(1)数据块(block):HDFS存储文件时块(block)为单位,一个数据块默认为64MB,每个数据块会存在多个副本在不同的DataNode上,默认是三份,这里是有个小文件问题如何解决?(2)NameNode:负责管理文件目录、文件和block的关系、block和DataNode的关系。(3)DataNode:负责存储数据,上面有数据和数据的meta信息,大部分...原创 2019-04-06 15:02:04 · 208 阅读 · 0 评论 -
Hadoop基本了解和编译02
1.什么是Hadoop宏观: Hadoop为主的生态圈 hadoop flume kafka........狭义: Hadoop组件(一个有存储,计算,调度的软件) 官网:http://hadoop.apache.org/2.Hadoop(存储+计算+资源和作业调度)hadoop1.x HDFS 存储 MapReduce 计算+资源和作业调度h...原创 2019-04-03 16:01:09 · 133 阅读 · 0 评论