关闭

学习Hadoop中的几个问题

176人阅读 评论(0) 收藏 举报
1.eclipse配置hadoop插件
感谢前辈的指导

注1:在eclipse上测试wordcount中的几个注意的地方
·编写好测试的文档后要上传到HDFS上 如果文件夹(在hadoop目录下)是input 要传到的文件是tmp/input 则控制台代码是:
./bin/hadoop fs -put input/ /tmp/input
·查看是否上传成功:
./bin/hadoop fs -ls /tmp/input
·记得先在控制台启动hadoop

注2:关于安装git ,ant 在linux环境下
git:
ant的环境变量:
export ANT_HOME=/home/jxxy/Downloads/apache-ant-1.9.6       <----我自己的环境变量
export PATH=$PATH:$ANT_HOME/bin

之后好像要source profile执行一下
然后输入ant -version有反应就好了

注3:WordCount的问题
在创建一个mapreduce项目后 在src下面建立一个class  复制WordCount的代码
保存 ,然后右键点击 RUN AS -> Run Configuration 在Auguments里面 我写的是
hdfs://192.168.18.107:9000/tmp/input
hdfs://192.168.18.107:9000/outputtest      <------这个名字随便取

地址哪里直接写localhost和我的主机名node7貌似也可以  , 没去验证 ,我按照hadoop的配置文件里面写的
然后重要的是运行之后 ,在我的DFS Location项目下面没看到,之后原来是点击一次disconnect之后才出来我的outputtest文件夹,不知为何 ,另外一个问题就是在网页 http://192.168.18.107:8088上面没有显示我跑过wordcount,但是其实结果是出来了的,我有点不解。

2.配置mahout插件

1.
http://mirrors.hust.edu.cn/apache/mahout/ 里面找最新一个版本或者任意
里面下载tar.gz结尾的那个

然后 在下载的文件夹里 用控制台
tar -zxcf apache-mahout-distribution-0.11.1.tar.gz

配置环境变量:在/etc下
sudo gedit profile

然后输入如下:
export MAHOUT_HOME=/home/jxxy/Downloads/apache-mahout-distribution-0.11.1      
export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf
export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH

之后输入mahout会出来一串则表示成功
注:输入mahout之后控制台 有个显示:
MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.
一开始是一位是HADOOP+CONF_DIR没设置,后面去profile里面看是有设置的,而且按照网上说的这样mahout已经安装配置成功了,那我就暂且用了,不知道会不会有后续影响。

后面知道了,在hadoop上使用mahout就不用管这个提示了,如果是单机用的话要配置(貌似)
待续。。。。。 11/19

11/20:
今天跑出了kemans算法  ,还可以 ,另外昨天的报错并没有什么影响,可以使用
首先是下载测试数据

然后要在HDFS上建立一个路径 :
hadoop fs -mkdir -p /user/jxxy/testdata
hadoop fs -mkdir -p /user/jxxy/output

上传数据到HDFS上 
hadoop fs -put  /home/jxxy/Download/synthetic_control.data /user/jxxy/testdata
可以用fs -ls检测数据有没有传到指定文件夹

然后这一步很关键 输入:
hadoop jar mahout-examples-0.11.1-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

注意Job第一个是大写,从org开始就不能自动填充了,要自己一个个打正确。
然后就是等机器跑起来了,等个几分钟就有结果,但是现在结果里面是乱码,正在找解决的办法。总之,mahout可在hadoop上处理数据集,离我实验决策树算法又接近了一步。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:2604次
    • 积分:132
    • 等级:
    • 排名:千里之外
    • 原创:10篇
    • 转载:0篇
    • 译文:1篇
    • 评论:0条
    文章存档