hadoop的伪分布(单节点)
1、设置ip地址,可以在centos系统桌面中有个电脑图标,右击edit connections进行IP设置
使用命令ifconfig验证,如果验证不过使用命令service network restart网络重启(或者重启系统)
2、关闭防火墙chkconfig iptables off ,用chkconfig --list iptables验证
service iptables stop 只是临时关闭防火墙,在重启系统后无效
3、设置主机名 vi /etc/sysconfig/network文件中 ,设置hostname=xxxx
4、设置主机名与ip映射关系,vi /etc/hosts文件中
加上 ip 主机名(主机名和ip之间有个空格)
5、进行免密码登录,执行ssh-keygen -t rsa ,连续按下enter键3次
然后执行ssh-copy-i -i 主机名,使用ssh命令ping 本机
6、安装Java环境
使用文件上传工具,把jdk-6u24-linux-i586.bin文件上传到Linux服务器上/usr/local/目录下
执行tar -zxvf jdk-6u24-linux-i586.bin进行解压,如果没有执行权限,用chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
配置环境变量,执行vi /etc/profile ,添加export JAVA_HOME=/usr/local/jdk ,export PATH=.:$JAVA_HOME/bin:$PATH
然后执行 source /etc/profile 命令,java -version命令验证
7、安装hadoop环境
使用文件上传工具,把hadoop-1.1.2.tar.gz文件上传到Linux服务器上 /usr/local/目录下
执行tar -zxvf hadoop-1.1.2.tar.gz进行解压,如果没有执行权限,用chmod u+x hadoop-1.1.2.tar.gz赋予执行权限
配置环境变量,执行 vi /etc/profile,添加export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
然后执行 source /etc/profile命令,
然后修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件
7.1 修改hadoop-env.sh文件
添加 export JAVA_HOME=/usr/local/jdk/
7.2 修改core-site.xm文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://cluster11:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
7.3 修改hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
7.4 修改4.mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>cluster11:9001</value>
</property>
</configuration>
8、格式化hadoop
bin/hdfs namenode -format
9、执行start-all.sh启动脚本
10、执行jps命令,可以看到5个进程
jobtracker
datanode
tasktracker
secondarynameNode
nameNode
1、设置ip地址,可以在centos系统桌面中有个电脑图标,右击edit connections进行IP设置
使用命令ifconfig验证,如果验证不过使用命令service network restart网络重启(或者重启系统)
2、关闭防火墙chkconfig iptables off ,用chkconfig --list iptables验证
service iptables stop 只是临时关闭防火墙,在重启系统后无效
3、设置主机名 vi /etc/sysconfig/network文件中 ,设置hostname=xxxx
4、设置主机名与ip映射关系,vi /etc/hosts文件中
加上 ip 主机名(主机名和ip之间有个空格)
5、进行免密码登录,执行ssh-keygen -t rsa ,连续按下enter键3次
然后执行ssh-copy-i -i 主机名,使用ssh命令ping 本机
6、安装Java环境
使用文件上传工具,把jdk-6u24-linux-i586.bin文件上传到Linux服务器上/usr/local/目录下
执行tar -zxvf jdk-6u24-linux-i586.bin进行解压,如果没有执行权限,用chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
配置环境变量,执行vi /etc/profile ,添加export JAVA_HOME=/usr/local/jdk ,export PATH=.:$JAVA_HOME/bin:$PATH
然后执行 source /etc/profile 命令,java -version命令验证
7、安装hadoop环境
使用文件上传工具,把hadoop-1.1.2.tar.gz文件上传到Linux服务器上 /usr/local/目录下
执行tar -zxvf hadoop-1.1.2.tar.gz进行解压,如果没有执行权限,用chmod u+x hadoop-1.1.2.tar.gz赋予执行权限
配置环境变量,执行 vi /etc/profile,添加export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
然后执行 source /etc/profile命令,
然后修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件
7.1 修改hadoop-env.sh文件
添加 export JAVA_HOME=/usr/local/jdk/
7.2 修改core-site.xm文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://cluster11:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
7.3 修改hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
7.4 修改4.mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>cluster11:9001</value>
</property>
</configuration>
8、格式化hadoop
bin/hdfs namenode -format
9、执行start-all.sh启动脚本
10、执行jps命令,可以看到5个进程
jobtracker
datanode
tasktracker
secondarynameNode
nameNode