准备hadoop环境
master 192.168.0.200
slave1 192.168.0.201
slave1 192.168.0.202
master start-all.sh
5728 SecondaryNameNode
7828 Jps
5893 ResourceManager
5531 NameNode
slave1
3895 NodeManager
3772 DataNode
5646 Jps
slave2
3745 DataNode
5650 Jps
3868 NodeManager
cat hdfs-core.xml
<configuration>
<!--指定namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!--用来指定使用hadoop时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoopdata</value>
</property>
</configuration>
[root@master hadoop]# cat hdfs-site.xml
<configuration>
<!--指定hdfs保存数据的副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.http.address</name>
<value>slave1:50070</value>
</property>
</configuration>
准备datax.txt
1 张一 21
2 张二 22
3 张三 23
4 张四 24
5 张五 25
datax2.txt
1 李一 21
2 李二 22
3 李三 23
4 李四 24
5 李五 25
以空格分隔,主要是和以下json文件中的
"fieldDelimiter": " "相对应即可
hdfs2stream.json
{
"job": {
"setting": {
"speed": {
"channel"<