1、hadoop单机版
https://www.jianshu.com/p/1352ce8c8d73 (Tested)
在hosts文件中进行主机的注册 什么也不配,所以配置什么也不改变,是单机模式。
下载
wget http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
解压缩:tar xzvf hadoop-2.8.0.tar.gz -C /usr/local/
修改配置
vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk #具体看每台机器安装的jdk的位置
测试
rm -rf /tmp/out; hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount ~/install/word_test /tmp/out/
2、hadoop伪分布式集群
https://blog.csdn.net/cx105200/article/details/78284761(Tested)
https://www.jianshu.com/p/1352ce8c8d73 (可参考)
https://www.imooc.com/article/24911 推荐参考
SSH免密登录与hosts注册
- 在hosts文件中进行主机的注册
#vim /etc/hosts
127.0.0.1 hadoop-alone
- ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh root@hadoop-alone (必须测试通过,可以自动登录)
配置文件修改
- mkdir -p /usr/local/hadoop/tmp
修改core-site.xml, 指定defaultFS和hadoop.tmp.dir
hadoop.tmp.dir 是 hadoop文件系统依赖的基本配置,很多配置路径都依赖它,它的默认位置在/tmp/{$user}下面。解决办法:在core-site.xml中配置 hadoop.tmp.dir 路径到持久化目录。
# vim core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-alone:9000</value>
</property>
</configuration>
- 建立 namenode 进程的保存路径 : mkdir -p /usr/local/hadoop/dfs/name
建立 datanode 进程的保存路径 : mkdir -p /usr/local/hadoop/dfs/data
将保存路径配置到hdfs-site.xml
#vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
- 在yarn-site.xml中配置nodemanager 和 resourcemanager
# vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop-alone:8033</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop-alone:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop-alone:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop-alone:8050</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop-alone:8030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop-alone:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>hadoop-alone:8090</value>
</property>
</configuration>
建议使用 /usr/local/hadoop/tmp 而非 /usr/data/hadoop/tmp 这种,避免各种权限问题引起的麻烦。
测试
vim input.txt # 这个随便构造一个待统计的文本文件就好。
hello java
hello java
hello c
hello c++
hello python
hello java
hadoop fs -mkdir /input
hadoop fs -put input.txt /input/input.txt
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/input.txt /output
3、hadoop: 完全分布式环境搭建
https://www.jianshu.com/p/103705f28494
作用介绍:https://blog.csdn.net/Gamer_gyt/article/details/51758881
ResourceManage 即资源管理,在YARN中,ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager)。
NM是ResourceManager在每台机器上的代理,负责容器管理,并监控它们的资源使用情况,以及向ResourceManager/Scheduler提供资源使用报告
几个关键点:
- /etc/hosts 参考如下:不要在127.0.0.1 这一行添加 hadoop1 否则hadoop1将会被映射到127.0.0.1。 造成DataNode连不上NameNode,因为此时NameNode仅仅监听在127.0.0.1 的9000端口,而非0.0.0.0 9000端口
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.12 hadoop1
192.168.0.13 hadoop2
192.168.0.15 hadoop3
如果出现下面的情况,hadoop1将被映射到192.168.0.15, 以前者为准。因 hosts文件是文本文件,每个地址映射占一行.每行的格式如下: IP地址 主机或者域名 [主机的别名] [主机的别名]....
192.168.0.15 hadoop1
192.168.0.12 hadoop1
- 格式化文件系统
hdfs namenode -format #Tested 过的是在scp -r hadoop-2.7.5 root@xxx:/root/. 之前 - 如果仅仅需要HDFS,只需要 start-dfs.sh。 而不需要 start-yarn.sh。
start-all.sh 本质上是调用了start-dfs.sh 和 start-yarn.sh
start-dfs.sh 主机上是 NameNode SecondaryNameNode。 从机是 DataNode
start-yarn.sh 主机上是 ResourceManager。 从机是 NodeManager - 不能直接访问非80端口,用rinetd转发。
- dfs 和 yarn 的访问页面如下,其中的Live Nodes 必须> 0
############## HBase 完全分布式部署
参考: https://blog.csdn.net/qq_38799155/article/details/77198985
- 前提 zookeeper集群已经安装好、HDFS已经安装好
- hbase-env.sh
export JAVA_HOME=/root/jdk-1.8.0_101
export HBASE_MANAGES_ZK=false
- hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop1:9000/hbase</value>
<description>The directory shared byRegionServers.</description>
</property>
<!-- 必须。分布式集群 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/root/hadoop-2.7.5/hbase/tmp</value>
</property>
<!-- 必须。配置独立Zookeeper端口 -->
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<!-- 必须。配置独立Zookeeper集群,本文就只有localhost -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>
<!-- 必须。配置独立Zookeeper数据存储路径,根据实际情况修改 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/root/hadoop-2.7.5/zookeeper-data/data</value>
</property>
<!-- 可选。若需要打开Web UI,则设置该属性 -->
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
</configuration>
- regionservers
hadoop2
hadoop3
- start-base.sh