hadoop伪分布环境搭建

hadoop的伪分布(单节点)
 1、设置ip地址,可以在centos系统桌面中有个电脑图标,右击edit connections进行IP设置
  使用命令ifconfig验证,如果验证不过使用命令service network restart网络重启(或者重启系统)
 2、关闭防火墙chkconfig iptables off ,用chkconfig --list iptables验证
  service iptables stop 只是临时关闭防火墙,在重启系统后无效
 3、设置主机名 vi /etc/sysconfig/network文件中 ,设置hostname=xxxx
 4、设置主机名与ip映射关系,vi /etc/hosts文件中 
   加上 ip  主机名(主机名和ip之间有个空格)
 5、进行免密码登录,执行ssh-keygen -t rsa ,连续按下enter键3次
  然后执行ssh-copy-i -i 主机名,使用ssh命令ping 本机
 6、安装Java环境
  使用文件上传工具,把jdk-6u24-linux-i586.bin文件上传到Linux服务器上/usr/local/目录下
  执行tar -zxvf jdk-6u24-linux-i586.bin进行解压,如果没有执行权限,用chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
  配置环境变量,执行vi /etc/profile ,添加export JAVA_HOME=/usr/local/jdk ,export PATH=.:$JAVA_HOME/bin:$PATH
  然后执行 source /etc/profile 命令,java -version命令验证
 7、安装hadoop环境
  使用文件上传工具,把hadoop-1.1.2.tar.gz文件上传到Linux服务器上 /usr/local/目录下
  执行tar -zxvf hadoop-1.1.2.tar.gz进行解压,如果没有执行权限,用chmod u+x hadoop-1.1.2.tar.gz赋予执行权限
  配置环境变量,执行 vi /etc/profile,添加export HADOOP_HOME=/usr/local/hadoop
  export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
  然后执行 source /etc/profile命令,
  然后修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件
  7.1 修改hadoop-env.sh文件
  添加 export JAVA_HOME=/usr/local/jdk/
  7.2 修改core-site.xm文件
  <configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://cluster11:9000</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/hadoop/tmp</value>
   </property>  
</configuration>
      7.3 修改hdfs-site.xml文件
<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property>
</configuration>
7.4 修改4.mapred-site.xml文件
<configuration>
   <property>
       <name>mapred.job.tracker</name>
       <value>cluster11:9001</value>
   </property>
</configuration>
 8、格式化hadoop
    bin/hdfs namenode -format
 9、执行start-all.sh启动脚本
 10、执行jps命令,可以看到5个进程
  jobtracker
  datanode
  tasktracker
  secondarynameNode
  nameNode











评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

database520

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值