hadoop伪分布式安装-腾讯云

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/smallpizza/article/details/70196872

最近学习hadoop,为了方便,于是我在腾讯云上安装部署了 hadoop伪分布式

环境:

腾讯云——1G内存,20G硬盘,1M带宽;

系统是Ubuntu16

java是jdk-8u101-linux-x64.tar(下载地址:http://download.csdn.net/detail/qinxike/9600178)

hadoop版本是hadoop-2.6.5.tar.gz(下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz)


先在本地把 jdk和hadoop下载下来,再通过 xftp 软件把jdk和hadoop上传到腾讯云上(我把jdk和hadoop放在/usr/local 目录下)


以下所有操作都是root用户

先关闭防火墙:# service iptables stop

开始工作了:

1.进入/usr/local 目录

# cd /usr/local/


2.解压 jdk-8u101-linux-x64.tar.gz

# tar -zxvf  jdk-8u101-linux-x64.tar.gz


3.配置jdk环境变量(在profile文件的后面添加如下内容)

# vi /etc/profile



4.刷新profile文件

# source /etc/profile


5.查看jdk的版本号

# java -version



6.安装ssh软件,启动ssh

# apt-get install -y ssh

# /etc/init.d/sshd start


7.设置ssh免密码登录(默认会放在当前用户的目录中)

# ssh-keygen -t  rsa -P ''

# cd /root/.ssh

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# chmod 777 ~/.ssh/authorized_keys


8.进入/usr/local 目录

# cd /usr/local


9.解压hadoop-2.6.5.tar.gz(我的解压包名字是:hadoop-2.6.5)

# tar -zxvf hadoop-2.6.5.tar.gz

# mv hadoop-2.6.5 /usr/local/hadoop


10.配置hadoop环境变量,这样就可以在任意目录中使用hadoop指令

# vi /etc/profile


查看hadoop版本



11.hadoop伪分布式配置,先进入hadoop配置文件目录下

# cd /usr/local/hadoop/etc/hadoop/


12.修改 core-site.xml文件,hdfs-site.xml文件,mapred-site.xml文件,slaves文件,分别如下:

core-site.xml文件:


hdfs-site.xml文件:


mapred-site.xml文件:


slaves文件:


说明:master是主机名


13.修改 /etc/hosts 文件

# vi /etc/hosts


说明:119.29.167.178是腾讯云的公网ip


14.格式化namenode

# hadoop namenode -format


15.启动hadoop

# start-all.sh


16.查看hadoop的进程


说明:可以看到NameNode,DataNode,NodeManager,ResourceManager进程说明启动成功了。


展开阅读全文

没有更多推荐了,返回首页