大数据 03 Hadoop 伪分布式安装、配置

1 伪分布式安装、配置

1）创建用户

创建用户：

useradd hadoop
passwd hadoophadoop
# 添加sudo
visudo
username ALL=(ALL) ALL

2）配置网络

1 配置hostname，修改network文件：/etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop000

2 配置网卡信息，修改文件：/etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
IPADDR=192.168.18.97
GATEWAY=192.168.18.2
DNS1=192.168.18.2
NETMASK=255.255.255.0

3 修改hosts文件：/etc/hosts，在最后添加：

192.168.18.97 hadoop000

centos7下修改主机名：

hostnamectl set-hostname 主机名

4 关闭防火墙

查看SElinux是否开启：

getenforce

关闭SElinux

# 临时关闭
setenforce 0
# 永久关闭
修改配置文件/etc/selinux/config
将 SELINUX=enforcing 改成 SELINUX=disabled
重启系统使其生效

关闭iptables

service iptables stop

3）安装必要软件

1.安装jdk并配置环境变量

解压：tar -zxvf jdkxxxxxx.tar.gz -C 指定目录
添加到环境变量：~/.bash_profile
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
使环境变量生效：source ~/.bash_profile
验证java是否配置成功：java -version

2.安装ssh

sudo yum install ssh
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3.下载并解压Hadoop

下载：直接到cdh官网下载
解压：tar -zxvf hadoopxxxxxx.tar.gz -C 指定目录
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$PATH

4.Hadoop配置文件的修改（hadoop_home/etc/hadoop）

hadoop-env.sh

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

core-site.xml

<property>:
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop000:8020</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/app/tmp</value>
</property>

hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

slaves

hadoop000

yarn-site.xml

<property>
	  <name>yarn.nodemanager.aux-services</name>
	  <value>mapreduce_shuffle</value>
</property>

mapred-site.xml

<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

5.启动hdfs（到hadoop目录中找脚本执行）

格式化文件系统（仅第一次执行即可，不可重复执行）：

hadoopxx/bin/hdfs namenode -format

启动hdfs：

sbin/start-dfs.sh

验证是否启动成功：

# 成功后则如下显示
jps
DataNode
SecondaryNameNode
NameNode

浏览器访问方式：http://hadoop000:50070

6.停止hdfs

sbin/stop-dfs.sh