大数据环境搭建

大数据环境搭建

	我采用的是4台Linux (centos7)，使用net模式搭建集群方式。
	namenode	1个		mino0
	datanode 	3个		mini1,mini2,mini3

1.Linux环境准备

1.0先将虚拟机的网络模式选为NAT

2.1修改主机名

	vi /etc/sysconfig/network
	
	NETWORKING=yes
	HOSTNAME=imini0 

1.2修改IP

修改配置文件方式（屌丝程序猿专用）
使用centos7，会存在没有/ifcfg-eth0文件，解决办法。
https://www.cnblogs.com/achengmu/p/8979257.html
vim /etc/sysconfig/network-scripts/ifcfg-eth0

		DEVICE="eth0"
		BOOTPROTO="static"              
		HWADDR="00:0C:29:3C:BF:E7"
		IPV6INIT="yes"
		NM_CONTROLLED="yes"
		ONBOOT="yes"
		TYPE="Ethernet"
		UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
		IPADDR="192.168.137.200"          
		NETMASK="255.255.255.0"         
		GATEWAY="192.168.137.1"           

1.3.1修改主机名和IP的映射关系

vim /etc/hosts

	192.168.137.200	mini0
	192.168.137.201	mini1
	192.168.137.202	mini2
	192.168.137.203	mini3

1.3.2设置主机名称

	Hostnamectl set-hostname mini0

1.4关闭防火墙

	参考网址：https://www.linuxidc.com/Linux/2017-03/142096.htm
	#查看防火墙状态
	systemctl status firewalld
	#关闭防火墙
	systemctl stop firewalld
	#查看防火墙开机启动状态
	systemctl disable firewalld
	#关闭防火墙开机启动
	systemctl is-enabled firewalld

1.5重启Linux

	reboot

2.安装JDK

链接: https://pan.baidu.com/s/1vUCKMV1enEacTfZnWNdY6A
提取码: b7tq
2.1上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

2.2解压jdk
	#创建文件夹
	mkdir /home/hadoop/app
	#解压
	tar -zxvf jdk-8u11-linux-x64.tar.gz -C /usr/local/java
	
2.3将java添加到环境变量中
	vim /etc/profile
	#在文件最后添加
	export JAVA_HOME=/usr/local/java/jdk1.8
	export PATH=$PATH:$JAVA_HOME/bin

	#刷新配置
	source /etc/profile

3.安装hadoop2.4.1

链接: https://pan.baidu.com/s/1L1mN7R8lvyJDN7BD9XOaLA
提取码: 4piy
先上传hadoop的安装包到服务器上 去/usr/local/java
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop/
伪分布式需要修改5个配置文件

3.1配置hadoop

第一个：hadoop-env.sh
	vim hadoop-env.sh
	#第27行
	export JAVA_HOME=/usr/local/java/jdk1.8
	
第二个：core-site.xml

	<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mini0:9000</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/java/hadoop/data</value>
	</property>
	
第三个：hdfs-site.xml   
	<!-- 指定HDFS副本的数量 默认3个-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<property>
		 <name>dfs.secondary.http.address</name>
	 	 <value>mini0:50090</value>
 	</property>

	
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
	mv mapred-site.xml.template mapred-site.xml
	vim mapred-site.xml
	<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	
第五个：yarn-site.xml
	<!-- 指定YARN的老大（ResourceManager）的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>mini0</value>
	</property>
	<!-- reducer获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>     
	 </property>

第六个： 修改slaves配置文件（namenodes 所在的mini0中,并不是所以机器都配置）

	vi  slaves
	mini1
	mini2
	mini3

3.2将hadoop添加到环境变量

vim /etc/proflie

	export JAVA_HOME=/usr/local/java/jdk1.8
	#set hadoop enviroment
	export HADOOP_HOME=/usr/local/java/hadoop
	export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3格式化namenode（是对namenode进行初始化）

	hdfs namenode -format (hadoop namenode -format)

	启动nodedata
	hadoop-daemon.sh start datanode
	
	查看启动日志：
	/usr/local/java/hadoop-2.6.4/logs/ hadoop-root-datanode-es3.log

3.4启动hadoop（不推荐使用start-all.sh）

	先启动HDFS
	sbin/start-dfs.sh
	
	再启动YARN
	sbin/start-yarn.sh

3.5验证是否启动成功

	使用jps命令验证
	27408 NameNode
	28218 Jps
	27643 SecondaryNameNode
	28066 NodeManager
	27803 ResourceManager
	27512 DataNode

	http://192.168.137.200:50070 （HDFS管理界面）
	http://192.168.137.200:8088 （MR管理界面）

4.配置ssh免登陆

#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh

ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id mini0 
ssh-copy-id mini2
ssh-copy-id mini3
ssh-copy-id mini4