python自动化部署hadoop集群_在hadoop上运行python程序

在hadoop上运行python程序

准备文件

测试文件test.txt (/home/hadoop/input/test.txt)

mapper.py (/home/hadoop/input/code/mapper.py)

reducer.py (/home/hadoop/input/code/reducer.py)

以上文件的存放路径可以自己定义，这里是以我的目前操作环境来进行教程，请自行对照替换路径

我的HADOOP_HOME是/home/hadoop/hadoop-1.0.4

1.配置好你的hadoop分布式集群

2.请在你的系统变量中配置好HADOOP_HOME为hadoop文件夹根目录

3.启动hdfs和mapreducer

start-all.sh

4.将你用作测试的输入文件存放到hdfs上(当然是在master主机上操作啦)

#c创建input文件夹存放测试文件

hadoop dfs -mkdir hdfs://master:9000/user/hadoop/input

#将本地的文件发送到hdfs

hadoop dfs -copyFromLocal /home/hadoop/input/test.txt hdfs://master:9000/user/hadoop/input

5.开始运行你的python程序

#hadoop1.x版本

hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar \

-mapper 'python mapper.py' -file /home/hadoop/code/mapper.py\

-reducer 'python reducer.py' -file /home/hadoop/code/reducer.py \

-input hdfs://master:9000/input/* -output hdfs://master:9000/output

$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar

它是个java程序，先运行这个程序，它会创建进程运行运行你的python程序，hadoop能运行所有语言的程序都依赖于它.

-mapper 'python mapper.py'

mapper后面跟的是个命令，用于启动你的程序

-file /home/hadoop/code/mapper.py

file指明了你的程序所在的路径，以便分发到所有的slave机器上运行

input指明了输入文件的路径，它会读取input目录下的所有文件，由标准输入的方式传送给你的程序

output指明的输出结果的存放路径，它会自动创建该路径，所以请不要指向一个已经存在的文件夹，否则会报错

HIVE

使用命令schematool -initSchema -dbType mysql初始化mysql数据库 hive