linux下运行hadoop,Linux下运行Hadoop程序的环境配置

1.首先将在eclipse开发的项目代码打包，Export -> Java ->JAR file ,选中src部分，导出jar包。

2.将jar包放入Linux机器中的某个目录，一般是用ssh连接到linux服务器。如：example.jar

3.将需要传入作为参数的文件也放入该目录，如conf-*.prop

4.编写一个设置ClassPath的脚本，set.sh,其内容如下：

#!/bin/sh

export CLASSPATH=/root

CNAME=${1%.java}

HIVE_HOME=/usr/lib/hive

HADOOP_HOME=/usr/lib/hadoop

HBASE_HOME=/usr/lib/hbase

JARNAME=$CNAME.jar

JARDIR=/home/yaboo/$CNAME

CLASSPATH=$(ls    $HIVE_HOME/lib/hive-serde-*.jar):$(ls    $HIVE_HOME/lib/hive-exec-*.jar ):/usr/lib/hbase/conf:/usr/lib/zookeeper/conf:/usr/lib/hadoop/conf

for file in 'ls /usr/lib/hbase/*jar'; do

CLASSPATH=$CLASSPATH:$file

done

for file in 'ls $HADOOP_HOME/lib/*jar'; do

CLASSPATH=$CLASSPATH:$file

done

for file in 'ls /usr/lib/hbase/lib/*jar'; do

CLASSPATH=$CLASSPATH:$file

done

echo "success in export CLASSPATH!"

5.运行脚本，设置CLASSPATH：

$ ./set.sh

6.运行项目的主类,如：com.xcj.Xmain类：

$java -cp example.jar:$CLASSPATH  com.xcj.Xmain  conf-*.prop

即可运行hadoop程序。

阅读(2146) | 评论(0) | 转发(2) |