hadoop安装

最新推荐文章于 2024-09-27 16:46:59 发布

ruby___

最新推荐文章于 2024-09-27 16:46:59 发布

阅读量115

点赞数

文章标签：大数据运维

本文链接：https://blog.csdn.net/ruby_luoping/article/details/84725671

版权

hadoop安装

1、prerequistis
jdk安装
ssh安装，服务启动

修改配置
etc/hadoop/hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}

$ bin/hadoop

三种模式：
Local (Standalone) Mode
Pseudo-Distributed Mode 使用
Fully-Distributed Mode

伪分布式：
Pseudo-Distributed Mode

ssh无密码验证：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh localhost

//替换64位的lib包
http://dl.bintray.com/sequenceiq/sequenceiq-bin/

#tar -x hadoop-native-64-2.7.0.tar -C hadoop/lib/native/

配置文件：
1、etc/hadoop/core-site.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/soft/hadoop_temp</value>
</property>

2、etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

格式化namenode：
$ bin/hdfs namenode -format

启动、停止dfs
sbin/start-dfs.sh 、 sbin/stop-dfs.sh

jps查看进程：
# jps
8822 DataNode
8692 NameNode
9137 Jps
8986 SecondaryNameNode

访问web：http://localhost:50070