Hadoop集群搭建学习

最新推荐文章于 2024-04-27 23:53:24 发布

三三三三酱

最新推荐文章于 2024-04-27 23:53:24 发布

阅读量185

点赞数

分类专栏：学习

本文链接：https://blog.csdn.net/weixin_35894821/article/details/79747353

版权

学习专栏收录该内容

16 篇文章 0 订阅

订阅专栏

需要用到的安装包 JDK hadoop

1.安装jdk、

a. cp jdk名称 /opt/ 【个人习惯喜欢把安装包放在opt文件目录下，也可以直接在根目录下解压】

b. rpm -ivh jdk名称【解压】
c. vi /etc/profile 【添加环境变量】
添加：JAVA_HOME=/usr/java/default 【jdk的安装目录】
d. source /etc/profile 【使刚才的更改生效】

2.免密登录
a. ssh -keygen -t rsa【用来生成一个秘钥文件】
b. cd .ssh/
c. cat 公钥 >> authorized【公钥是ls .ssh文件中.pub结尾的文件】
d. chmod 664 authorized【更改权限】
e. yes 输入密码
d. exit

3.安装hadoop

a. tar zxf hadoop文件名称【解压hadoop】

b. cd hadoop的配置文件中【路径：/opt/hadoop-2.7.5/etc/hadoop/】

修改五个xml文件

core-site.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://bigdata:9000</value>
  </property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-2.7.2/current/tmp</value>
  </property>
<property>
    <name>fs.trash.interval</name>
    <value>4320</value>

</property>

hdfs-site.xml

<property>
   <name>dfs.namenode.name.dir</name>
   <value>/opt/hadoop-2.7.2/current/dfs/name</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>/opt/hadoop-2.7.2/current/data</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
<property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
</property>
<property>
   <name>dfs.permissions.superusergroup</name>
   <value>staff</value>
</property>
<property>
   <name>dfs.permissions.enabled</name>
   <value>false</value>

</property>

yarn-site.xml

<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>bigdata</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>bigdata:18040</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>bigdata:18030</value>
</property>
<property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>bigdata:18025</value>
</property> <property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>bigdata:18141</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>bigdata:18088</value>
</property>
<property>
   <name>yarn.log-aggregation-enable</name>
   <value>true</value>
</property>
<property>
   <name>yarn.log-aggregation.retain-seconds</name>
   <value>86400</value>
</property>
<property>
   <name>yarn.log-aggregation.retain-check-interval-seconds</name>
   <value>86400</value>
</property>
<property>
   <name>yarn.nodemanager.remote-app-log-dir</name>
   <value>/tmp/logs</value>
</property>
<property>
   <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
   <value>logs</value>

</property>

slaves

bigdata

mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.jobtracker.http.address</name>
  <value>bigdata:50030</value>
</property>
<property>
  <name>mapreduce.jobhisotry.address</name>
  <value>bigdata:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>bigdata:19888</value>
</property>
<property>
  <name>mapreduce.jobhistory.done-dir</name>
  <value>/jobhistory/done</value>
</property>
<property>
  <name>mapreduce.intermediate-done-dir</name>
  <value>/jobhisotry/done_intermediate</value>
</property>
<property>
  <name>mapreduce.job.ubertask.enable</name>
  <value>true</value>
</property>