分布式Hadoop安装入门(1)——简介和准备工作
分布式Hadoop安装入门(2)——免密码SSH
分布式Hadoop安装入门(3)——安装jdk
分布式Hadoop安装入门(4)——安装Hadoop
Hadoop是大数据处理和分析中最常用的技术,如果想深入研究大数据,那么Hadoop是一定要会的。抱着这个简单的想法,拿自己的两台笔记本当实验机,玩儿一下Hadoop。
安装Hadoop可以分为单机Hadoop,伪分布式Hadoop,分布式Hadoop三种,本文介绍的是分布式Hadoop的配置,分布式和单机在配置会不太一样哦,如果想试试单机的,那只看下文jing1的配置即可。
本文是一边按照 @童俊杰-show的 分布式Hadoop的搭建(Ubuntu) 配置一边总结的,部分内容雷同,我这里配置时出问题的部分我补充了解决方法。
一、环境介绍
两台Dell inspiron笔记本,均重装了linux系统,Ununtu11.10。(如果是三台机器还可以参考分布式Hadoop的搭建(Ubuntu))
二、准备工作
正式解压配置hadoop之前,准备工作很多……准备工作都成功的话,后面都小case了。
1.用户名
装系统时候注意用户名设成一样的,例如我的设成jing。如果已经装好系统了,那修改成一样的。
2.网络配置
ifconfig,查看两台机器的ip地址,机器1为192.168.1.106,机器2为192.168.1.104
互相ping一下看是否通。我的两台是可以ping通的,所以这步顺利通过。
3.修改hostname
新装的linux,hostname乱七八糟,我们需要修改成简单易记的,因此将机器1的hostname改为jing1,机器2改为jing2。下面介绍重启后不会失效的改名方法,以机器1为例:
sudo gedit /etc/hostname 将hostname文件中原来的名字改为jing1,保存
sudo gedit /etc/hosts 在hosts文件中原来的名字改为jing1,保存
重新打开终端,发现已经变为jing@jing1: 了,说明成功鸟:)
4.修改/etc/hosts
打算在Hadoop中,jing1做namenode,jing2做datanode
在jing1中删除127.0.0.1那一行或者两行,然后添加:
192.168.1.106 jing1 jing1
192.168.1.104 jing2 jing2
在jing1中删除127.0.0.1那一行或者两行,然后添加:
192.168.1.106 jing1 jing1
192.168.1.104 jing2 jing2
注意:三台机器的话
在jing1中添加:
192.168.1.106 jing1 jing1
192.168.1.104 jing2 jing2
192.168.1.* jing3 jing3
在jing3中添加:
192.168.1.106 jing1 jing1
192.168.1.* jing3 jing3
了
5.下载jdk和Hadoop
电梯直达 最新jdk hadoop-0.20.2.tar.gz
分布式Hadoop安装入门(2)——免密码SSH
分布式Hadoop安装入门(3)——安装jdk
分布式Hadoop安装入门(4)——安装Hadoop
Hadoop是大数据处理和分析中最常用的技术,如果想深入研究大数据,那么Hadoop是一定要会的。抱着这个简单的想法,拿自己的两台笔记本当实验机,玩儿一下Hadoop。
安装Hadoop可以分为单机Hadoop,伪分布式Hadoop,分布式Hadoop三种,本文介绍的是分布式Hadoop的配置,分布式和单机在配置会不太一样哦,如果想试试单机的,那只看下文jing1的配置即可。
本文是一边按照 @童俊杰-show的 分布式Hadoop的搭建(Ubuntu) 配置一边总结的,部分内容雷同,我这里配置时出问题的部分我补充了解决方法。
一、环境介绍
两台Dell inspiron笔记本,均重装了linux系统,Ununtu11.10。(如果是三台机器还可以参考分布式Hadoop的搭建(Ubuntu))
二、准备工作
正式解压配置hadoop之前,准备工作很多……准备工作都成功的话,后面都小case了。
1.用户名
装系统时候注意用户名设成一样的,例如我的设成jing。如果已经装好系统了,那修改成一样的。
2.网络配置
ifconfig,查看两台机器的ip地址,机器1为192.168.1.106,机器2为192.168.1.104
互相ping一下看是否通。我的两台是可以ping通的,所以这步顺利通过。
3.修改hostname
新装的linux,hostname乱七八糟,我们需要修改成简单易记的,因此将机器1的hostname改为jing1,机器2改为jing2。下面介绍重启后不会失效的改名方法,以机器1为例:
sudo gedit /etc/hostname 将hostname文件中原来的名字改为jing1,保存
sudo gedit /etc/hosts 在hosts文件中原来的名字改为jing1,保存
重新打开终端,发现已经变为jing@jing1: 了,说明成功鸟:)
4.修改/etc/hosts
打算在Hadoop中,jing1做namenode,jing2做datanode
在jing1中删除127.0.0.1那一行或者两行,然后添加:
192.168.1.106 jing1 jing1
192.168.1.104 jing2 jing2
在jing1中删除127.0.0.1那一行或者两行,然后添加:
192.168.1.106 jing1 jing1
192.168.1.104 jing2 jing2
注意:三台机器的话
在jing1中添加:
192.168.1.106 jing1 jing1
192.168.1.104 jing2 jing2
192.168.1.* jing3 jing3
在jing3中添加:
192.168.1.106 jing1 jing1
192.168.1.* jing3 jing3
了
5.下载jdk和Hadoop
电梯直达 最新jdk hadoop-0.20.2.tar.gz