@Author : Spinach | GHB
@Link : http://blog.csdn.net/bocai8058
操作系统:Centos 6.5
ip:192.168.1.110
伪分布式模式:hadoop01
0. 使用host-only方式
将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同。
1. Linux环境配置(windows下面的防火墙也要关闭)
1.1 修改主机名
vim /etc/sysconfig/network
hostnamectl set-hostname xxxx
hostnamectl --static
1.2 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:BF:45:8B"
...
TYPE="Ethernet"
IPADDR="192.168.1.110"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
1.3 修改主机名和IP的映射关系
vim /etc/hosts
192.168.1.110 hadoop01
1.4 关闭防火墙
命令 | 描述 | 命令 | 描述 |
---|
service iptables status | 查看防火墙状态 | service iptables stop | 关闭 |
chkconfig iptables –list | 查看防火墙开机启动状态 | chkconfig iptables off | 关闭开机启动 |
1.5 安装JDK
mkdir /usr/java
mv jdk-8u131-linux-x64.tar.gz /usr/java/
tar -zxvf jdk-8u131-linux-x64.tar.gz –C /usr/java/
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
2. 配置hadoop
2.1 上传hadoop包,并解压hadoop包
# 首先创建一个hadoop目录
mkdir /usr/cloud
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/cloud/
2.2 配置hadoop伪分布式(要修改5个文件)
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_131
vim core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/cloud/hadoop-2.7.3/hadooptmp</value>
</property>
</configuration>
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
</configuration>
2.3 将hadoop添加到环境变量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export HADOOP_HOME=/usr/cloud/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
2.4 格式化HDFS
hadoop namenode –format(虽此命令已过时,但也能用)
hdfs namenode –format(使用此命令)
2.5 启动hadoop和YARN
./start-all.sh(已过时,用./start-dfs.sh.和/start-yarn.sh代替)
2.6 验证集群是否启动成功
jps(不包括jps应该有5个)
NodeManager
DataNode
NameNode
SecondaryNameNode
ResourceManager
# 还可以通过浏览器的方式验证
http:
http:
# 在这个文件中添加linux主机名和IP的映射关系
C:\Windows\System32\drivers\etc
2.7 测试HDFS
# 上传文件到HDFS
hadoop fs -put /usr/java/jdk-8u131-linux-x64.tar hdfs:
# 从HDFS下载文件到指定目录
hadoop fs -get hdfs:
3. 配置ssh免登陆
ssh-keygen -t rsa
# 执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
# 将公钥拷贝到要免登陆的机器上
cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys
或 ssh-copy-id 192.168.8.99