HDFS
风行者之倾覆天下
我为技术痴狂,技术为我护航。我自轻狂,追求前沿。
展开
-
hadoop的HDFS操作
1.进入服务器 ssh -p 2208 haram.shen@x.x.x.x (一些操作可以参见下python的mapreduce的那个项目) 2.删除hadoop文件 hadoop dfs -rm -r -f /tmp/hx 3.输出固定行: hadoop dfs -cat /tmp/hxs/out.txt | head -n 10原创 2016-09-20 16:57:46 · 774 阅读 · 0 评论 -
Hadoop上编写mr计算
导言:使用java编写map reduce程序,Map Reduce是包含两个过程:Map过程和Reduce过程。每一个过程都包含键值对作为输入,程序员可以选择键和值的类型。Map和Reduce的数据流是这样的: Input==>Map==>Map Output==>sort and shuffle==>Reduce==>Final Output 使用Java编写Hadoop Map Redu翻译 2016-09-25 13:11:08 · 884 阅读 · 0 评论