hadoop相关环境简单配置

关闭防火墙

• systemctl stop firewalld

查看防火墙状态

• systemctl status firewalld

主机名与映射

• hostnamectl set-hostname<主机名> master slave1 slave2
• bash 立即生效
• vim /etc/hosts

时区

tzselect

• Asia
• china
• Beijing Time
• yes
• 生成的命令写入/etc/profile
• source /etc/profile

yum install -y ntp

/etc/ntp.conf

写入
server 127.127.1.0

fudge 127.127.1.0 stratum 1

从节点 ntpdate master

定时任务

• crontab -e
• i
• */10 * * * * usr/sbin/ntpdate master
• 查看定时任务crontab -l

ssh免密登录

cd ~
/usr/sbin/sshd
netstat -tnulp
ssh-keygen
ll
cd /root
ls -a
cd .ssh/
ls
cp id_rsa.pub authorized_keys
ll
scp ./authorized_keys root@slave1:~/.ssh/
ssh slave1

jdk

查看自带的openjdk并卸载

• rpm -qa | grep java
• rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 -nodeps

创建安装目录

• mkdir -p /export/softwares #软件包存放目录
• mkdir -p /export/servers #安装目录

解压

• tar -zxvf jdk-8u141-linux-x64.tar.gz -C …/servers/

配置环境变量

• vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_141 
export PATH=:$JAVA_HOME/bin:$PATH

• source /etc/profile

zookeeper

• cd /export/software
• tar -zxvf zookeeper-3.4.9.tar.gz -C …/servers/

第一台机器修改配置文件

• cd /export/servers/zookeeper-3.4.9/conf/
• cp zoo_sample.cfg zoo.cfg
• mkdir -p /export/servers/zookeeper-3.4.9/zkdatas/

vim zoo.cfg

dataDir=/export/servers/zookeeper-3.4.9/zkdatas
# 保留多少个快照
autopurge.snapRetainCount=3
# 日志多少小时清理一次
autopurge.purgeInterval=1
\# 集群中服务器地址
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

添加myid配置

在第一台机器的 /export/servers/zookeeper-3.4.9/zkdatas/
这个路径下创建一个文件，文件名为myid ,文件内容 为1

• echo 1 > /export/servers/zookeeper-3.4.9/zkdatas/myid

第五步：安装包分发并修改myid的值

安装包分发到其他机器

第一台机器上面执行以下两个命令

• scp -r /export/servers/zookeeper-3.4.9/ slave1:/export/servers/
• scp -r /export/servers/zookeeper-3.4.9/ slave2:/export/servers/

第二台机器上修改myid的值为2

• echo 2 > /export/servers/zookeeper-3.4.9/zkdatas/myid

第三台机器上修改myid的值为3

• echo 3 > /export/servers/zookeeper-3.4.9/zkdatas/myid

第六步：三台机器启动zookeeper服务

三台机器启动zookeeper服务

这个命令三台机器都要执行

• /export/servers/zookeeper-3.4.9/bin/zkServer.sh start

查看启动状态

• /export/servers/zookeeper-3.4.9/bin/zkServer.sh status

hadoop安装

解压

• cd /export/softwares
• tar -zxvf hadoop-2.7.5.tar.gz -C …/servers/

第一台机器执行以下命令

修改core-site.xml

• cd /export/servers/hadoop-2.7.5/etc/hadoop
• vim core-site.xml

<configuration>
	<!--  指定集群的文件系统类型:分布式文件系统 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
	<!--  指定临时文件存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
	</property>

修改hdfs-site.xml

• cd /export/servers/hadoop-2.7.5/etc/hadoop
• vim hdfs-site.xml

<configuration>

	<property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>master:50090</value>
	</property>