Hadoop集群安装系列------单机安装 (根据官方文档编写)

1. 注意

单机不需要启动任何服务即可使用,在单一的jvm中运行，一般只用于调试

2. 实例

2.1 跑wordcount例子时注意

创建数据源 mkdir /root/hadoopdata/input

将一些数据导入 cp /usr/local/hadoop-2.7.1/etc/hadoop/*.xml /root/hadoopdata/input

对input中文件的单词数量进行运算

格式 hadoop jar命令 例子架包 wordcount函数 参数一:数据来源 参数二: 数据输出(统计后的结果)

[root@bihai6 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /root/hadoopdata/input /root/hadoopdata/output/

注意:数据输出路径必须是空的,系统会自动创建

要保证bihai6是etc/hosts与etc/sysconfig/network中的名字相同

2.2 跑九宫格

hadoop jar hadoop-mapreduce-examples-2.7.1.jar sudoku /root/hadoopdata/sudoku.txt

先把下面的数据放入sudoku.txt文件中

  8 5 ? 3 9 ? ? ? ?
  ? ? 2 ? ? ? ? ? ?
  ? ? 6 ? 1 ? ? ? 2
  ? ? 4 ? ? 3 ? 5 9
  ? ? 8 9 ? 1 4 ? ?
  3 2 ? 4 ? ? 8 ? ?
  9 ? ? ? 8 ? 5 ? ?
  ? ? ? ? ? ? 2 ? ?
  ? ? ? ? 4 5 ? 7 8
  ​

2.3 跑teragen

注意:输出路径也不存在 ,最后是要查找的关键字

hadoop jar hadoop-mapreduce-examples-2.7.1.jar grep /root/hadoopdata/input/core-site.xml /root/hadoopdata/output1 'xml'

2.4 SecondarySort 二次排序

[root@bihai6 output2]# hadoop jar hadoop-mapreduce-examples-2.7.1.jar secondarysort /root/hadoopdata/SecondarySort.dat /root/hadoopdata/output2

下面是数据源,将数据放在SecondarySort.dat中

  20 21
  50 51
  50 53
  50 52
  60 51
  60 53
  60 52
  60 56
  60 57
  60 58
  1 2
  3 4
  5 6
  203 21