hadoop学习--伪分布式

1、以主机网络模式--桥接模式 为例
2、修改主机名

vim /etc/sysconfig/network
#主机名修改为hadoop01

e、修改主机名和IP的映射关系

vim /etc/hosts

192.168.1.103	hadoop01

3、关闭防火墙

#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

#重启Linux
reboot

修改win8共享
[img]http://dl2.iteye.com/upload/attachment/0105/0693/fc503b46-4ad0-3934-8371-7665ddff7765.png[/img]

之后win8和linux就可以互ping

=======================配置伪分布式==========================
1、安装jdk、hadoop

tar -zxvf jdk-7u71-linux-x64.tar.gz -C /usr/local
tar -zxvf hadoop-2.6.0.tar.gz -C /cloud/

vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/local/jdk1.7
export HADOOP_HOME=/cloud/hadoop-2.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#刷新配置
source /etc/profile

2、修改hadoop配置文件

第一个：hadoop-env.sh
#在27行修改
export JAVA_HOME=/usr/local/jdk1.7

第二个：core-site.xml
<configuration>
	<!-- 指定HDFS老大（namenode）的通信地址 -->
	<property>
			<name>fs.defaultFS</name>
			<value>hdfs://hadoop01:9000</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储路径 -->
	<property>
			<name>hadoop.tmp.dir</name>
			<value>/cloud/hadoop-2.6.0/tmp</value>
	</property>
</configuration>

第三个：hdfs-site.xml
<configuration>
	<!-- 设置hdfs副本数量 -->
	<property>
			<name>dfs.replication</name>
			<value>1</value>
	</property>
</configuration>

第四个：mapred-site.xml.template 需要重命名： mv mapred-site.xml.template mapred-site.xml
<configuration>
	<!-- 通知框架MR使用YARN -->
	<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
	</property>
</configuration>

第五个：yarn-site.xml
<configuration>
	<!-- reducer取数据的方式是mapreduce_shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

3、启动

格式化HDFS（namenode）第一次使用时要格式化
hdfs namenode -format

先启动HDFS
sbin/start-dfs.sh

再启动YARN
sbin/start-yarn.sh

验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

在这个文件中添加linux主机名和IP的映射关系
C:\Windows\System32\drivers\etc\hosts
192.168.1.103 hadoop01
http://hadoop01:50070 (HDFS管理界面)
http://hadoop01:8088 （MR管理界面）

4、测试hdfs

cd /cloud
#上传一个压缩包，后续测试下载测试包是否可用
mkdir testGz
cd testGz
vim jzk.txt #在testGz目录建文件并输入内容
#打包
cd ..
tar -zcvf testGz.tar.gz testGz/
#用hadoop上传文件到hdfs,最后的/必须,表示路径
hadoop fs -put testGz.tar.gz hdfs://hadoop01:9000/或者
hadoop fs -put testGz.tar.g /

上传结果如下图：
[img]http://dl2.iteye.com/upload/attachment/0105/1145/01c891c8-db18-3813-847f-dfb12ee1460c.jpg[/img]
也可以用命令行下载测试

#下载文件到/home目录并改名为testGz.tar.gz进行解包测试
hadoop fs -get hdfs://hadoop01:9000/testGz /home/testGz.tar.gz
cd /home
tar -zxvf testGz.tar.gz 

5、允许mapReduce进行简单测试

cd /cloud
vim words #输入如下内容
hello jzk
hello wyq
hello jdd
hello jdd
hello jdd
#上传到hdfs
hadoop fs -put words hdfs://hadoop01:9000/words

#进入mapreduce目录使用hadoop-mapreduce-examples-2.6.0.jar进行统计字符个数的统计
cd /cloud/hadoop-2.6.0/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://hadoop01:9000/words hdfs://hadoop01:9000/wcwords
#计算完成通过wcwords查看结果

6、配置ssh免登陆
192.168.1.103免登陆到192.168.1.104

A、192.168.1.103上操作
cd ~/.ssh/
ssh-keygen -t rsa #4个回车，生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

B、将103上的公钥）拷贝到104，
ssh-copy-id 192.168.1.104
#ssh-copy-id -i jdd@10.1.18.22
#在104的机器~/.ssh/目录下面会生成authorized_keys文件，里面有103的公钥

#####################################
所以在伪分布式启动hadoop的时候只需要执行
ssh-copy-id localhost
即：本机对本机免登陆