datax-hdfs2stream

准备hadoop环境

master 192.168.0.200
slave1 192.168.0.201
slave1 192.168.0.202

master start-all.sh
5728 SecondaryNameNode
7828 Jps
5893 ResourceManager
5531 NameNode
slave1
3895 NodeManager
3772 DataNode
5646 Jps
slave2
3745 DataNode
5650 Jps
3868 NodeManager

cat hdfs-core.xml
<configuration>
<!--指定namenode的地址-->
    <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
    </property>
    <!--用来指定使用hadoop时产生文件的存放目录-->
    <property>
             <name>hadoop.tmp.dir</name>
             <value>/home/hadoop/hadoopdata</value> 
    </property>
</configuration>


[root@master hadoop]# cat hdfs-site.xml 
<configuration>
	<!--指定hdfs保存数据的副本数量 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.http.address</name>
		<value>slave1:50070</value>
	</property>
</configuration>

准备datax.txt
1 张一 21
2 张二 22
3 张三 23
4 张四 24
5 张五 25
datax2.txt
1 李一 21
2 李二 22
3 李三 23
4 李四 24
5 李五 25
以空格分隔，主要是和以下json文件中的
"fieldDelimiter": " "相对应即可

hdfs2stream.json

{
   
    "job": {
   
        "setting": {
   
            "speed": {
   
                "channel"<