本人菜鸟,一下纯属自己理解,有不妥之处还望高手指点。。。。。。
在搭建hadoop的时候看了很多的资料,但是完全看着资料搭建总是不成功,最后自己改了一下所以就记下来,免得以后忘了。
1,下载hadoop就不多说了,到apache官网下载就行了,www.hadoop.apache.org;//我下载的是1.03
2,将下载的文件移动到自己想要的目录,我的是放在/usr/local/hadoop;进入下载的文件所在目录,输入命令 sudo cp -r hadoop-1.0.3.tar.gz /usr/local/hadoop;
3,进入文件目录,cd /usr/local/hadoop 解压文件 sudo tar xvzf hadoop-1.0.3.tar.gz;
4,获得文件的读写权限 sudo chmod * -R;//这一步很重要,有可能直接导致以后的安装出错。在这再多说两句吧,下面所有文件的修改都要用当前用户,也就是不能通过获得root权限对文件进行修改,不然启动hadoop的时候会告诉你没有权限(当然,如果你想只通过root启动hadoop的话我也就不说啥了)。换句话说可以直接打开修改,比如直接gedit ****,而不是sudo gedit ****。
5.安装ssh,sudo apt-get install ssh ;
6.安装rsync ,sudo apt-get install rsync,(这个一般系统都自带了);
7,让ssh无密码登录,ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa,
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ;(官网是dsa,这根据自己的系统可以先登录试试,ssh localhost ,看看是rsa还是dsa,如果是dsa使用命令
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys);
8,登录ssh,ssh localhost;
9,进入hadoop文件夹,修改配置文件conf/hadoop-env.sh (一下在ssh登录的情况下,并在hadoop(解压后的)目录下),
gedit conf/hadoop-env.sh ;
导入JAVA_HOME的路径;例如 export JAVA_HOME=/usr/local/java/jdk7;
10,修改conf/core-site.xml:
gedit conf/core-site.xml;
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
11,修改conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
12,修改conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
13,格式namenode,
./bin/hadoop namenode -format;
14,启动hadoop
./bin/start-all.sh ;
15,测试,
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
如果访问成功表示搭建成功。
在搭建hadoop的时候看了很多的资料,但是完全看着资料搭建总是不成功,最后自己改了一下所以就记下来,免得以后忘了。
1,下载hadoop就不多说了,到apache官网下载就行了,www.hadoop.apache.org;//我下载的是1.03
2,将下载的文件移动到自己想要的目录,我的是放在/usr/local/hadoop;进入下载的文件所在目录,输入命令 sudo cp -r hadoop-1.0.3.tar.gz /usr/local/hadoop;
3,进入文件目录,cd /usr/local/hadoop 解压文件 sudo tar xvzf hadoop-1.0.3.tar.gz;
4,获得文件的读写权限 sudo chmod * -R;//这一步很重要,有可能直接导致以后的安装出错。在这再多说两句吧,下面所有文件的修改都要用当前用户,也就是不能通过获得root权限对文件进行修改,不然启动hadoop的时候会告诉你没有权限(当然,如果你想只通过root启动hadoop的话我也就不说啥了)。换句话说可以直接打开修改,比如直接gedit ****,而不是sudo gedit ****。
5.安装ssh,sudo apt-get install ssh ;
6.安装rsync ,sudo apt-get install rsync,(这个一般系统都自带了);
7,让ssh无密码登录,ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa,
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ;(官网是dsa,这根据自己的系统可以先登录试试,ssh localhost ,看看是rsa还是dsa,如果是dsa使用命令
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys);
8,登录ssh,ssh localhost;
9,进入hadoop文件夹,修改配置文件conf/hadoop-env.sh (一下在ssh登录的情况下,并在hadoop(解压后的)目录下),
gedit conf/hadoop-env.sh ;
导入JAVA_HOME的路径;例如 export JAVA_HOME=/usr/local/java/jdk7;
10,修改conf/core-site.xml:
gedit conf/core-site.xml;
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
11,修改conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
12,修改conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
13,格式namenode,
./bin/hadoop namenode -format;
14,启动hadoop
./bin/start-all.sh ;
15,测试,
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
如果访问成功表示搭建成功。