hdfs
wlk_328909605
抱你于怀,寄你于心。跃然屏上,付我青春韶华,换你真情相待。
展开
-
Secondary NameNode和NameNode的关系
引入https://blog.csdn.net/u010846741/article/details/52369527https://blog.csdn.net/yangjjuan/article/details/71107012在搭建hadoop集群的时候,都要配置Secondary NameNode的位置,大多数人可能就根据名字,认为Secondary NameNode就是第二名称节...原创 2018-08-22 17:37:24 · 817 阅读 · 0 评论 -
Hadoop配置文件的作用 core-site.xml hadoop-env.sh hdfs-site.xml yarn-site.xml mapred-site.xml
1.hadoop-env.sh 由于Hadoop是java进程,所以需要添加jdk# The java implementation to use.export JAVA_HOME=/usr/local/jdk1.8.0_171//加入JAVA_HOME2.core-site.xml 2.1指定namenode的位置 2.2hadoop.tmp.dir 是hado...原创 2018-08-20 10:04:14 · 8203 阅读 · 0 评论 -
日志文件上传到hdfs集群中
日志收集步骤: 1:从日志目录里面查看哪需要上传的(.1 .2 …..) 2:把需要上传的文件移动到待上传目录 3:上传到hdfs上(/log/2018-8-20/xxx.log) 4:移动到备份目录第一步,模拟系统产生日志文件,在这里用一个永真的循环打印。public static void main(String[] args) throws Exception { ...转载 2018-08-20 21:29:52 · 1154 阅读 · 0 评论 -
MapReduce实现求共同好友
简介原始数据如下,依次求出两两之间的共同好友 A:B,C,D,F,E,O,j B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J X:A最终效果如下A-B...原创 2018-08-23 20:02:21 · 480 阅读 · 0 评论 -
MapReduce实现电影评分TopN
要求是: 根据movieid分组,求同一个电影的前二十的评分记录数据如下:{"movie":"1193","rate":"5","timeStamp":"978300760",&am原创 2018-08-24 19:46:48 · 3080 阅读 · 0 评论 -
hdfs客户端操作appendToFile往原有文件中追加文件报错 The current failed datanode replacement policy is DEFAULT,
今天在学hadoop Shell客户端启动,在往hdfs原有文件中追加文件发现以下问题: 1):如果集群中的文件是空文件,则能追加进去。 2):如果集群中的文件有内容,则追加的时候会报错。 java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good dat...原创 2018-08-18 11:12:11 · 5772 阅读 · 1 评论