软件版本:
Centos7
jdk : 1.8
Hadoop : 2.7.1
zookeeper : 3.5.6
hbase : 1.2.5
1.安装Hadoop集群
备注:如果用的虚拟机则首先要固定所有服务器的ip地址;操作使用NAT然后修改ifconfig-en3文件相应的操作百度;
给你一个链接:https://www.cnblogs.com/luoocean/p/11590755.html
1.1 准备一个电脑,安装一台vm,装三台虚拟机(centos7+jdk(1.8))
1.2 修改hostname 主机名
192.168.66.100 server1
192.168.66.101 server2
192.168.66.102 server3
1.3 修改/etc/hosts,添加上面三个配置
使用 ping -c 3 server1
1.4 给3个机器生成秘钥文件
ssh-keygen -t rsa -P ''
生成的秘钥文件在/root/.ssh/里面
1.5 在server1上创建authorized_keys文件,将三台服务器的秘钥存到文件中,分别存到三台服务器
touch /root/.ssh/authorized_keys
1.6 将authorized_keys文件复制到其他机器,测试使用ssh进行无密码登录
ssh server2 然后输yes/exit
- 安装jdk和hadoop
2. 安装jdk和hadoop
之前安装jdk省去,直接安装hadoop.2.7.1
2.1 安装hadoop
在/opt建文件夹/hadoop,并解压上传上来的hadoop文件
2.2 新建几个目录
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
2.3 修改etc/hadoop中的一系列配置文件
修改/opt/hadoop/hadoop-2.7.1/etc/hadoop目录内的一系列文件:
2.3.1 修改core-site.xml
在<configuration>节点内加入配置:
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://server1:9000</value>
</property>
2.3.2 修改hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}
修改为:
export JAVA_HOME=/usr/local/java/jdk1.8.0_192
说明:修改为自己的JDK路径
2.3.4 修改hdfs-site.xml
在<configuration>节点内加入配置:
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<