伪分布式hadoop

1.ip addr

2.xshell xftp
传输 jdk+hadoop 传到 /opt

3.安装java

cd /opt
rpm -ivh /opt/jdk-7u67-linux-x64.rpm

4.解压hadoop
tar -zxf /opt/hadoop-2.6.5.tar.gz -C /usr/local/

5.修改环境变量->讓系統知道你裝了這個
vi /etc/profile
在文末添加

export HADOOP_HOME=/usr/local/hadoop-2.6.5/
export JAVA_HOME=/usr/java/jdk1.7.0_67
export JRE_HOME= J A V A H O M E / j r e e x p o r t P A T H = JAVA_HOME/jre export PATH= JAVAHOME/jreexportPATH=PATH: J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:JRE_HOME/bin: H A D O O P H O M E / b i n ; e x p o r t C L A S S P A T H = . : HADOOP_HOME/bin; export CLASSPATH=.: HADOOPHOME/bin;exportCLASSPATH=.:JAVA_HOME/lib/dt.jar: J A V A H O M E / l i b / t o o l . j a r JAVA_HOME/lib/tool.jar JAVAHOME/lib/tool.jarJRE_HOME/lib

source /etc/profile 重新加载配置文件

cd $HADOOP_HOME 测试是否能够跳转,测试是否配置成功
cd $JAVA_HOME 测试是否能够跳转,测试是否配置成功

6.修改hadoop运行环境
cd H A D O O P H O M E / e t c / h a d o o p v i h a d o o p − e n v . s h 找 到 e x p o r t J A V A H O M E = HADOOP_HOME/etc/hadoop vi hadoop-env.sh 找到 export JAVA_HOME= HADOOPHOME/etc/hadoopvihadoopenv.shexportJAVAHOME={JAVA_HOME}
改成->export JAVA_HOME=/usr/java/jdk1.7.0_67

7.启动单机版hadoop 测试 计算pi
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar pi 10 10

1.在单机版hadoop的前提下安装伪分布式hadoop
cd /usr/local/hadoop-2.6.5/ cd $HADOOP_HOME

2.vi etc/hadoop/core-site.xml


fs.defaultFS
hdfs://localhost:9000

  1. vi etc/hadoop/hdfs-site.xml


    dfs.replication
    1


    4.设置自己对自己免密登录->生成密钥
    ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

5.测试自己是否对自己免密登录
ssh localhost
logout退出

6.格式化namenode
hdfs namenode -format
如果格式化失败,在英文中会出现Exception Error Cause等字眼

7.启动hadoop 的dfs
sbin/start-dfs.sh

jps查看进程
NameNode
SecondaryNameNode
DataNode

8.关闭防火墙
systemctl stop firewalld.service
9.浏览器访问
192.168.xxx.xxx:50070

10.关闭集群
sbin/stop-dfs.sh

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值