hadoop分布式搭建

最新推荐文章于 2024-07-03 11:33:10 发布

Gospelanswer

最新推荐文章于 2024-07-03 11:33:10 发布

阅读量577

点赞数 1

本文链接：https://blog.csdn.net/Gospelanswer/article/details/52000176

版权

本文详细介绍了如何搭建Hadoop分布式环境，包括环境介绍、安装包准备、操作系统的安装和网络配置、Hadoop的安装步骤（配置JDK、设置免密登录、配置Hadoop）、Zookeeper的安装以及HBase的安装过程。

摘要由CSDN通过智能技术生成

本文为个人从装系统到搭建hadoop，zk，hbase过程的随记，仅供参考。

一，环境介绍

3台虚拟机均用乌班图14的系统

二，安装包

jdk1.7.0_79
hadoop2.6.2
zk3.4.6
hbase1.1.5

三，安装操作系统以及配置网络

虚拟机安装操作系统的部分暂且略过，相信都会安装。
需要注意的是安装的过程会提示你填写用户，此时我将需要的hadoop用户填好并设置好密码，所有
系统操作均在hadoop下用sudo 来操作。
下面先说配置网络部分。
个人把虚拟机环境都配置成了静态IP，选择的是桥接模式。
配置过程如下： 1，修改/etc/network/interfaces文件
auto eth0
iface eth0 inet static
address 192.168.1.121
netmask 255.255.255.0
gateway 192.168.1.1
2，修改/etc/NetworkManager/NetworkManager.conf中的managed=true
3，修改/etc/resolvconf/resolv.conf.d/base文件
nameserver DNS1
nameserver DNS2
其他准备工作：
启用ssh服务，以方便客户端连接传送文件等
sudo apt-get install openssh-server
配置hostname
sudo vi /etc/hostname
注意：这里三台机器我分别配置成了master，node1，node2
配置/etc/hosts文件
sudo vi /etc/hosts
文件内容为
127.0.0.1 localhost
192.168.1.121 master
192.168.1.122 node1
192.168.1.123 node2

四，安装hadoop（安装文件均放在了/home/hadoop/目录下）

1，配置JDK

tar -zxvf jdk-7u79-linux-x64.gz
sudo vi /etc/profile
文件里填写 export JAVA_HOME=/home/hadoop/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
保存退出后需要执行source /etc/profile使环境变量生效
执行java -version查看jkd是否生效