本文转载自:
http://fromwiz.com/share/s/0YAPBB0MskCl2frl3h0UOwHX3raS-22RIQ1m2iNRRc0rJBP9
0、安装jdk
(1)sudo apt-get install vim
vi .bashrc 进入vim模式 按i 进入插入模式 然后编辑 编辑完后 按ESC 然后:wq (保存并退出)
shift +zz (本质是按两个大写的Z)
:w 保存文件但并不退出vi
:w file 将修改另外保存到file中,不退出vi
:w! 强制保存,不退出vi
:wq 保存文件并退出vi
:wq!强制保存文件并退出vi
q: 不保存文件 退出vi
:q! 不保存文件 强制退出vi
:e! 放弃所有修改,以上次保存文件开始再编辑
vi编辑只读文档无法保存的解决办法
:w !sudo tee %
编辑/etc/sudoers文件 xxx ALL=(ALL) ALL
(2)配置环境变量:
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/12c1d3ea-fc0d-4bdb-8684-4aea654e6736.png)
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/e56c6ffb-48e8-4fee-a13e-73f719d5a914.png)
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/9461bd80-03cc-4b9e-bd49-136b020c841a.png)
1、下载好hadoop-1.0.0.tar.gz
cd /下载
→sudo cp
hadoop-1.0.0.tar.gz /usr/local
→cd /usr/local
→sudo tar -xzf
hadoop-1.0.0.tar.gz
→sudo mv
hadoop-1.0.0 hadoop(改名文件夹为hadoop)
sudo gedit /etc/sudoers
在
root ALL =(ALL) ALL 下面添加如下文字:
hadoop ALL = (ALL) ALL
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/0cd69b16-d49a-40c1-84b6-ac5d3b9792b8.png)
执行sudo chown hadoop /usr/local/hadoop,将hadoop文件夹的权限赋给hadoop用户
2、安装ssh
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/fa61d4a2-c0c7-4e0b-903e-e2f7ca5ed64f.jpg)
ssh-keygen
会提示填写保存路径,直接填括号里同样的路径即可,
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/11225758-e583-45f3-97d4-6112132df535.png)
直接两次回车,
即成功,跳转到保存路径,可以看到生成了一对密钥。
然后将私钥添加到受信任列表中(把钥匙交给来访者)
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/c65a16d1-aaef-4b97-81c2-fe440547ca3e.png)
然后验证:
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/a03fc498-2f14-4b24-9fb9-8918c30bff95.png)
第一次会询问你。
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/4f83e2cd-b1b1-47fd-9b67-c02b52fc8781.png)
上示即为登陆成功。
3.配置hadoop文件
(1)配置hadoop-env.sh
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/a81786bd-27fb-448d-87ec-4dbb93c48fe6.png)
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/a494e020-3fb0-4607-8b77-1c86e8456d69.png)
sh hadoop-env.sh 如果没报错,则配置正确
(2)配置core-site.xml
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/2c1c055a-0edb-4b08-a949-528cbb049f49.png)
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/403d64f9-daf4-4ff0-8eef-d431abe8e9be.png)
即:
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
(3)配置hdfs-site.xml
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/33b443df-693b-43e2-b2b1-fc7aabd8cff7.png)
即:
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
(4)配置mapred-site.xml
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/a56459c0-bfc7-4a5a-9641-8ceb24ac640d.png)
即:
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
此时配置结束。
4、启动及运行wordcount
第一启动hdfs时要格式化一下,
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/83ba47af-f1d2-42bd-b8d0-7ab3d195bb0d.png)
localhost:50070 hdfs的管理界面
localhsot:50030 mapred的管理界面
在hodoop目录下建立input文件夹
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/c9b6a49b-d289-4f74-aeb0-1a193cd8428a.png)
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/a5385657-8d18-452a-b8a4-aac15c0cdeb7.png)
在hdfs文件系统建/tmp/input文件夹,并将input下的两个文件上传
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/7c292f3d-7ebe-4556-8661-b259088b5381.png)
查看:
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/96225e19-dfce-401c-9eb9-1ac399c5fd99.png)
下面hadoop-examples-1.0.0.jar就是hadoop自带的wordcount
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/3ac92295-9d92-4480-83b5-345cbe82dda4.png)
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/56a5f0ff-e294-4d8c-a3f9-068bbad58ce2.png)
运行,并将结果输出到output文件夹
![](http://fromwiz.com/share/resources/db2b6f82-b5b3-4056-92c7-5d4c1bb65cc9/index_files/9fe108ff-9dd6-4e64-9f13-26ec3e2399dd.png)
5、安装eclipse
下载好eclispe,然后cp /opt
sudo tar -zxvf eclipse****.tar.gz
然后 cp /opt/eclipse eclipse 即启动