1 修改静态IP
su root 获得权限
cd /etc/sysconfig/network-scripts/
ls 找到类似ifcfg-eno16777736 的文件
vi ifcfg-eno16777736
进行如下修
HWADDR=00:0C:29:E0:EA:C
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eth0
UUID=e3c6c425-21ce-407c-b6f2-caa2e0fad9dd
ONBOOT=yes
IPADDR=192.168.70.22(与ifconfig 中 eth0的ip一致)
NETMASK=255.255.255.0
NM_CONTROLLED=no
GATEWAY=192.168.15.2
保存退出,之后将ifcfg-eno16777736 改为ifcfg-eth0 具体见“centos7系统安装完毕修改网卡名文档”
2 设置主机名称为 master
sudo hostnamectl set-hostname master
机版以及伪分布式的部署,只需要一个节点即可,首先我们要在在设置主机名,使用vi /etc/sysconfig/network 进行修改并保存
NETWORKING=yes
HOSTNAME=master
3设置主机名与IP映射关系
获得权限后 vi /etc/hosts
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.70.22 localhost master
4 创建软件目录 用于安装hadoop
mkdir -p /u01/hadoop
chown -R master:master /u01/hadoop/ (本机名为master)
chmod -R 775 /u01/hadoop/
hadoop数据存放目录
mkdir -p /data/hadoop
chown -R master:master /data/hadoop
chmod -R 775 /data/hadoop
5 传文件到linux
安装工具 Vmwaretools 之后将java jdk 传到eclipse
6 安装jdk到指定目录下
(需要先卸载Open JDK)
1 # rpm -qa|grep java 显示当前安装的jdk
2 # rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
删除显示的jdk
rpm -ivh jdk-7u79-linux-x64.rpm(重新打开终端运行命令)
安装rpm 类型的jdk
(先不配)7 配置jdk环境变量
见文档 配置CentOS7的JAVA开发环境
1 vi /etc/profile
2 (复制上去)
JAVA_HOME=/usr/java/jdk1.7.0_79
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
3
source /etc/profile
8 配置ssh免密码登陆
前提:使用root登录修改配置文件:vi /etc/ssh/sshd_config 将其中三项 RSAAuthentication YES PubKeyAuthentication Yes 和AuthorizedKeysFile Yes 前面的注释去掉
继续 ssh-keygen -t dsa -f ~/.ssh/id_dsa
3 cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys
4 chmod 600 ~/.ssh/authorized_keys
5 测试 链接 ssh localhost
9 hadoop2.2安装与配置
1 tar -zxvf hadoop-2.2.0-x64.tar.gz
2 mv hadoop-2.2.0 /u01/hadoop/hadoop
3 进入hadoop配置文件目录
cd /u01/hadoop/hadoop/etc/hadoop/
指定JDK的home目录:
#vi hadoop-env.sh
exportJAVA_HOME=/usr/java/jdk1.7.0_79
10 hadoop 配置文件配置
1 配置conre-site.xml
$ vi core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/u01/hadooptempfile</value>
<description>Abase for othertemporary directories.</description>
</property>
</configuration>
2 $ vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/u01/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/u01/hadoop/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
(注解:dfs.replication指定HDFS文件的备份方式默认3,由于是伪分布式,因此需要修改为1。其他为可选项)
3 vi mapred-site.xml.template
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/data/hadoop/staging</value>
</property>
</configuration>
(注解:mapreduce.framework.name配置mapreduce框架,其他可选)
重命名 文件
mv mapred-site.xml.template mapred-site.xml
4 配置yarn
vi yarn-site.xml
<configuration>
<!-- Site specific YARN configurationproperties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
5 配置hadoop环境变量
1 vi /etc/profile
2 复制下面命令覆盖上去
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
export HADOOP_HOME=/u01/hadoop/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
用 echo $PATH 测试环境变量是否配置成功
6 格式化HDFS文件系统
hadoop namenode -format
7进入Hadoop的sbin目录,启动Hadoop,验证是否安装成功!
# cd /u01/hadoop/hadoop/sbin
# ./start-all.sh
# jps 查看
su root 获得权限
cd /etc/sysconfig/network-scripts/
ls 找到类似ifcfg-eno16777736 的文件
vi ifcfg-eno16777736
进行如下修
HWADDR=00:0C:29:E0:EA:C
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eth0
UUID=e3c6c425-21ce-407c-b6f2-caa2e0fad9dd
ONBOOT=yes
IPADDR=192.168.70.22(与ifconfig 中 eth0的ip一致)
NETMASK=255.255.255.0
NM_CONTROLLED=no
GATEWAY=192.168.15.2
保存退出,之后将ifcfg-eno16777736 改为ifcfg-eth0 具体见“centos7系统安装完毕修改网卡名文档”
2 设置主机名称为 master
sudo hostnamectl set-hostname master
机版以及伪分布式的部署,只需要一个节点即可,首先我们要在在设置主机名,使用vi /etc/sysconfig/network 进行修改并保存
NETWORKING=yes
HOSTNAME=master
3设置主机名与IP映射关系
获得权限后 vi /etc/hosts
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.70.22 localhost master
4 创建软件目录 用于安装hadoop
mkdir -p /u01/hadoop
chown -R master:master /u01/hadoop/ (本机名为master)
chmod -R 775 /u01/hadoop/
hadoop数据存放目录
mkdir -p /data/hadoop
chown -R master:master /data/hadoop
chmod -R 775 /data/hadoop
5 传文件到linux
安装工具 Vmwaretools 之后将java jdk 传到eclipse
6 安装jdk到指定目录下
(需要先卸载Open JDK)
1 # rpm -qa|grep java 显示当前安装的jdk
2 # rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
删除显示的jdk
rpm -ivh jdk-7u79-linux-x64.rpm(重新打开终端运行命令)
安装rpm 类型的jdk
(先不配)7 配置jdk环境变量
见文档 配置CentOS7的JAVA开发环境
1 vi /etc/profile
2 (复制上去)
JAVA_HOME=/usr/java/jdk1.7.0_79
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
3
source /etc/profile
8 配置ssh免密码登陆
前提:使用root登录修改配置文件:vi /etc/ssh/sshd_config 将其中三项 RSAAuthentication YES PubKeyAuthentication Yes 和AuthorizedKeysFile Yes 前面的注释去掉
继续 ssh-keygen -t dsa -f ~/.ssh/id_dsa
3 cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys
4 chmod 600 ~/.ssh/authorized_keys
5 测试 链接 ssh localhost
9 hadoop2.2安装与配置
1 tar -zxvf hadoop-2.2.0-x64.tar.gz
2 mv hadoop-2.2.0 /u01/hadoop/hadoop
3 进入hadoop配置文件目录
cd /u01/hadoop/hadoop/etc/hadoop/
指定JDK的home目录:
#vi hadoop-env.sh
exportJAVA_HOME=/usr/java/jdk1.7.0_79
10 hadoop 配置文件配置
1 配置conre-site.xml
$ vi core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/u01/hadooptempfile</value>
<description>Abase for othertemporary directories.</description>
</property>
</configuration>
2 $ vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/u01/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/u01/hadoop/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
(注解:dfs.replication指定HDFS文件的备份方式默认3,由于是伪分布式,因此需要修改为1。其他为可选项)
3 vi mapred-site.xml.template
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/data/hadoop/staging</value>
</property>
</configuration>
(注解:mapreduce.framework.name配置mapreduce框架,其他可选)
重命名 文件
mv mapred-site.xml.template mapred-site.xml
4 配置yarn
vi yarn-site.xml
<configuration>
<!-- Site specific YARN configurationproperties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
5 配置hadoop环境变量
1 vi /etc/profile
2 复制下面命令覆盖上去
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
export HADOOP_HOME=/u01/hadoop/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
用 echo $PATH 测试环境变量是否配置成功
6 格式化HDFS文件系统
hadoop namenode -format
7进入Hadoop的sbin目录,启动Hadoop,验证是否安装成功!
# cd /u01/hadoop/hadoop/sbin
# ./start-all.sh
# jps 查看