网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
# Hadoop系统环境变量
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
完成系统环境变量文件profile配置后保存退出,不过此时配置内容尚未生效,还需要执行“source /etc/profile
”命令初始化系统环境变量使配置内容生效。
- 测试
执行“hadoop version
”命令查看Hadoop版本
二、Hadoop高可用集群配置
安装好Hadoop后,只读默认配置文件,包括core-default.xml、hdfs-default.xml、mapred-default.xml和yarn-default.xml,这些文件包含了Hadoop系统各种默认配置参数,位于jar文件中。
自定义配置文件,这些文件基本没有任何配置内容,存在于Hadoop安装目录下的etc/hadoop/目录中,包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等,开发人员可以根据实际需求进行修改,Hadoop会优先选择自定义配置文件中的参数。
- 修改hadoop-env.sh文件
在虚拟机Spark01中,进入Hadoop安装包的/etc/hadoop/目录,执行“vi hadoop-env.sh
”命令编辑hadoop-env.sh文件,将文件内默认的JAVA_HOME参数修改为本地安装JDK的路径。如下图所示:
- 修改yarn-env.sh文件
在虚拟机Spark01中,进入Hadoop安装包的/etc/hadoop/目录,执行“vi yarn-env.sh
”命令编辑yarn-env.sh文件,将文件内默认的JAVA_HOME参数修改为本地安装JDK的路径。如下图所示:
- 修改core-site.xml文件
在虚拟机Spark01中,进入Hadoop安装包的/etc/hadoop/目录,执行“vi core-site.xml
”命令编辑Hadoop的核心配置文件core-site.xml。如下:
<property>
<name>fs.defaultFS</name> #配置命名空间管理服务制定通信地址
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name> #存储临时文件的目录
<value>/export/servers/hadoop-2.7.4/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name> #ZooKeeper集群地址
<value>spark01:2181,spark02:2181,spark03:2181</value>
</property>
- 修改hdfs-site.xml文件
在虚拟机Spark01中,进入Hadoop安装包的/etc/hadoop/目录,执行“vi hdfs-site.xml
”命令编辑HDFS的核心配置文件hdfs-site.xml。
<property>
<name>dfs.replication</name> #HDFS副本数
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name> #NameNode 节点数据(即元数据)的存放位置
<value>/export/data/hadoop/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name> #DataNode 节点数据(即数据块)的存放位置
<value>/export/data/hadoop/datanode</value>
</property>
<property>
<name>dfs.nameservices</name> #处理外部访问HDFS的请求
<value>master</value>
</property>
<property>
<name>dfs.ha.namenodes.master</name> #定义每个NameNode节点的唯一标识符
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.master.nn1</name> #标识符nn1的RPC服务地址
<value>spark01:9000</value>
</property>
<property>
<name>dfs.namenode.rpc-address.master.nn2</name> #标识符nn2的RPC服务地址
<value>spark02:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.master.nn1</name>#标识符nn1的HTTP服务地址
<value>spark01:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.master.nn2</name>#标识符nn2的HTTP服务地址
<value>spark02:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>#NameNode元数据在JournalNode上的共享存储目录
<value>qjournal://spark01:8485;spark02:8485;spark03:8485/master</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>#JournalNode存放数据地址
<value>/export/data/hadoop/journaldata</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.master</name>#访问代理类,用于确定当前处于 Active 状态的 NameNode节点
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>#配置隔离机制,确保集群中只有一个NameNode处于活动状态
<value>
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>#sshfence隔离机制需要配置本机密钥地址
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>#开启自动故障状态切换
<value>true</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>#sshfence隔离机制超时时间
<value>30000</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name> #开启webhdfs服务
<value>true</value>
</property>
- 修改mapred-site.xml文件
在虚拟机Spark01中,进入Hadoop安装包的/etc/hadoop/目录,执行“cp mapred-site.xml.template mapred-site.xml
”命令,通过复制模板文件方式创建MapReduce
的核心配置文件mapred-site.xml,执行“vi mapred-site.xml
”命令编辑配置文件
mapred-site.xml ,指定MapReduce运行时框架。如下:
<property>
<name>mapreduce.framework.name</name>#指定MapReduce 作业运行在 YARN框架之上
<value>yarn</value>
</property>
- 修改yarn-site.xml文件
在虚拟机Spark01中,进入Hadoop安装包的/etc/hadoop/目录,执行“cp yarn-site.xml”命令,编辑YARN的核心配置文件yarn-site.xml。如下:
<property>
<name>yarn.nodemanager.aux-services</name>#配置NodeManager上运行的附属服务,需要配置为mapreduce_shuffle
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>#开启ResourceManager的HA机制
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>#自定义ResourceManager集群的标识符
<value>yarncluster</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>#自定义集群中每个ResourceManager节点的唯一标识符
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>#指定标识符rm1的ResourceManager节点
<value>spark01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>#指定标识符rm2的ResourceManager节点
<value>spark02</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>#ZooKeeper集群地址
<value>spark01:2181,spark02:2181,spark03:2181</value>
</property>
<property>
<name>yarn.resourcemanager.recovery.enabled</name>#开启自动恢复功能
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>#开启故障自动转移
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.store.class</name>#ResourceManager存储信息的方式,在HA机制下用ZooKeeper(ZKRMStateStore)作为存储介质
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>#开启YARN日志
<value>true</value>
</property>
- 修改slaves文件
在虚拟机Spark01中,进入Hadoop安装包的/etc/hadoop/目录,执行“vi slaves
”命令,编辑记录Hadoop集群所有DataNode节点和NodeManager节点主机名的文件slaves。如下:
spark01
spark02
spark03
- 配置Hadoop环境变量
在虚拟机Spark01中,执行“vi /etc/profile
”命令编辑系统环境变量文件profile,
配置Hadoop系统环境变量。如下:
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
1)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新