hadoop基础搭建

最新推荐文章于 2024-04-25 13:49:06 发布
最新推荐文章于 2024-04-25 13:49:06 发布
阅读量176 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ylm2999/article/details/104751755
版权

基于hadoop2.7.6的搭建

解压

hdfs-site.xml配置

    <!--副本数据-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <!--2namenode -->
    <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>YZ-222-113-91.h.chinabank.com.cn:50090</value>
    </property>
      <property>
        <name>hadoop.http.staticuser.user</name>
        <value>supdev</value>
    </property>
 

core-site.xml配置

   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://YZ-222-113-88.h.chinabank.com.cn:9000</value>
    </property>

    <!--运行时候产生临时文件存放地址 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/module/hadoop/data/tmp</value>
    </property>

yarn-site.xml配置

<!--rm-->
   <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>YZ-222-113-90.h.chinabank.com.cn</value>
   </property>
<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!--下面两个主要是针对spark配置，防止任务大了不执行直接就溢出-->
        <property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                <value>false</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
 

maperd-site.xml配置

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  <description>The runtime framework for executing MapReduce jobs.
  Can be one of local, classic or yarn.
  </description>
</property>

修改hadoop-env.sh配置

修改 export JAVA_HOME=/export/servers/jdk1.8.0_66

 

修改maperd-env.sh配置

修改 export JAVA_HOME=/export/servers/jdk1.8.0_66

 

修改yarn-env.sh配置

修改 export JAVA_HOME=/export/servers/jdk1.8.0_66

配置slaves（主要一台机器启动hdfs，其他全部都能启动）
YZ-222-113-88.h.chinabank.com.cn
YZ-222-113-90.h.chinabank.com.cn
YZ-222-113-91.h.chinabank.com.cn

以上就是基本的配置，然后修改/etc/profile文件，配置#HADOOP_HOME
export HADOOP_HOME=/usr/local/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin                                                                                               然后source  /etc/profile,接着就是启动hadoop了                                                                                                                                 记得分发 第一步需要先格式化 bin/hdfs namenode -format，第二步需要在任何一台机子上执行sbin/start-dfs.sh（启动nn dn 2nn），第三步是在配置的rm的机子上执行sbin/start-yarn.sh,以上是最基本的配置

 

 

高可用的配置，首先配置好zookeeper

解压 创建一个文件夹zkData，在这个文件夹下面touch myid 这个里面填写一个序号。然后打开 conf,将zoo.cfg.telm改成zoo.cfg这里面的配置 dataDir=/usr/local/module/zookeeper-3.4.10/zkData，同时配置集群                          server.1=10.222.113.88:2888:3888
server.2=10.222.113.90:2888:3888
server.3=10.222.113.91:2888:3888

同时避免日志乱放可以在zkEnv.sh将ZOO_LOG_DIR="$ZOOKEEPER_PREFIX/logs"，这样还是会出个日志，虽然日志已经是0字节的，还可以在zkServer.sh，增加一个_ZOO_DAEMON_OUT="$ZOO_LOG_DIR/zookeeper.log"，完美了

接着配置高可用（相同还是hadoop-env.sh配置，yarn-env.sh配置，maperd-env.sh配置都一样，不做说明 ）

hdfs-site.xml配置

<!--https://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html-->
    <!--副本数据-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <!--此新名称服务的逻辑名称-->
    <property>
       <name>dfs.nameservices</name>
       <value>mycluster</value>
    </property>

   <!-- 服务中每个NameNode的唯一标识符 -->
        <property>
                <name>dfs.ha.namenodes.mycluster</name>
                <value>nn1,nn2</value>
        </property>

        <!-- 每个NameNode监听的标准RPC地址-->
        <property>
                <name>dfs.namenode.rpc-address.mycluster.nn1</name>
                <value>10.222.113.88:9000</value>
        </property>

        <property>
                <name>dfs.namenode.rpc-address.mycluster.nn2</name>
                <value>10.222.113.90:9000</value>
        </property>

        <!-- 每个NameNode监听的标准HTTP地址-->
        <property>
                <name>dfs.namenode.http-address.mycluster.nn1</name>
                <value>10.222.113.88:50070</value>
        </property>

        <property>
                <name>dfs.namenode.http-address.mycluster.nn2</name>
                <value>10.222.113.90:50070</value>
        </property>

        <!-- 标识NameNode将在其中写入/读取编辑内容的JN组的URI-->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://10.222.113.88:8485;10.222.113.90:8485;10.222.113.91:8485/mycluster</value>
        </property>

   <!--脚本或Java类的列表，这些列表将用于在故障转移期间隔离Active NameNodesshfence -SSH到Active NameNode并终止进程 -->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>sshfence</value>
        </property>

        <!-- 该sshfence选项SSHes到目标节点，然后通过定影杀该服务的TCP端口上侦听的过程。为了使该防护选项起作用，它必须能够在不提供密码的情况下SSH到目标节点。因此，还必须配置dfs.ha.fencing.ssh.private-key-files选项，这是一个用逗号分隔的SSH私钥文件列表-->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/home/supdev/.ssh/id_rsa</value>
        </property>


        <!--JournalNode守护程序将存储其本地状态的路径-->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/usr/local/module/hadoop/data/jn</value>
        </property>

        <!-- 关闭权限检查-->
        <property>
                <name>dfs.permissions.enable</name>
                <value>false</value>
        </property>


        <!-- Hadoop当前随附的唯一实现是ConfiguredFailoverProxyProvider-->
        <property>
                <name>dfs.client.failover.proxy.provider.mycluster</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>

      <!--发生故障自动转移-->
       <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
      </property>

core-site.xml配置

<!---绑定namenode-->
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://mycluster</value>
    </property>

    <!--运行时候产生临时文件存放地址 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/module/hadoop/data/tmp</value>
    </property>

<!--锁定zk-->
<property>
        <name>ha.zookeeper.quorum</name>
        <value>10.222.113.88:2181,10.222.113.90:2181,10.222.113.91:2181</value>
</property>

yarn-site.xml配置

<!--http://hadoop.apache.org/docs/r2.7.6/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html-->
<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
        <property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                <value>false</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>


    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>10.222.113.88</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>10.222.113.90</value>
    </property>

    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>10.222.113.88:2181,10.222.113.90:2181,10.222.113.91:2181</value>
    </property>

    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
 

maperd-site.xml配置


<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  <description>The runtime framework for executing MapReduce jobs.
  Can be one of local, classic or yarn.
  </description>
</property>
基本上就是一些配置。关于高可用的启动

首先还是需要格式化 bin/hdfs namenode -format，然后启动zookeeper,然后启动hdfs和yarn就可以了

Hadoop环境搭建与入门实例
doubleXnine的专栏
01-03 3716
1目的及要求 基于Hadoop平台，实现广度优先搜索(BFS)的Mapreduce算法找到图中两个点的最短路径。 给定一个图&lt;V，E&gt;（采用邻接列表输入文件格式：源节点ID，相邻节点ID，源节点到相邻节点的距离），基于MapReduce的方式，采用广度优先搜索(BFS)找到两个顶点的最短距离。   2实验环境 本实验基于虚拟机环境，所采用的软件及其版本如下： 虚拟机软件：O...
Spark动态资源分配在yarn的配置
浅汐
02-24 896
配置文件$SPARK_HOME/conf/spark-defaults.conf$HADOOP_HOME/conf/yarn-site.xml1、启用动态资源分配功能在spark-defaults.conf 中添加spark.dynamicAllocation.enabled=true配置其他参数：spark.dynamicAllocation.minExecutors 最小executor数量s...
Hadoop基础环境搭建
myHes的博客
07-02 420
Hadoop基础环境搭建 前言： 1、萌新在此向给各位大佬问好，这也是我第一次发博客，如有不对，望各位大佬手下留情???? 2、此Hadoop集群搭建由三台虚拟机（master、slave1、slave2）组成练习 1、修改主机主机名 vim /etc/hostname 进入修改名字即可（此方法需要重启） reboot（重启） 2、修改hosts文件 vim /etc/hosts 3、关闭防火墙 systemctl stop firewalld.service #关闭防火墙 systemctl d
hadoop入门一（基础搭建环境）
盼盼
09-20 519
阿里云技干货 知乎hadoop干货 首先描述一下环境： 我使用的是Linux操作系统：deepin（一款比较好用的国产改造版Linux） 首先呢 在深度商店里面安装VMware workstation 安装成功以后 准备好自己将要安装的centos操作系统来搭建环境这是我自己安装的centos镜像的分配情况，当然这里安装的是精简版，无桌面操作系统的，因为在正常的情况下，一般都是作为
Hadoop环境搭建
美国梦中国心
06-29 7113
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
从零开始Hadoop安装和配置（超详细图文步骤）
最新发布
2301_77836489的博客
04-25 1万+
从零开始Hadoop安装和配置（超详细图文步骤）
Hadoop基础搭建与Eclipse/Cygwin插件教程
Hadoop的搭建过程涉及环境配置、工具选择、配置文件管理以及基本操作流程，这些步骤相互关联，缺一不可。通过这些步骤，你可以在Windows环境下构建和测试Hadoop环境，从而有效地管理和处理大数据。
《Hadoop系统搭建及项目实践》课程标准.pdf
04-04
课程内容丰富，总计54学时，涵盖Hadoop基础知识、安装与配置、HDFS、MapReduce、Hadoop I/O操作、HBase、ZooKeeper、Hive、Pig、Sqoop和实时数据处理技术等多个项目。教学建议采用任务驱动模式，教师演示、学生实践...
hadoop全套配置详细步骤（基础环境搭建+hadoop集群搭建+hive搭建）
08-15
本文件包含hadoop集群搭建的详细步骤，包含基础环境搭建，Hadoop集群搭建，Hive搭建。小白放心食用，无坑。 其中基础环境搭建包括虚拟机安装、centos7、网络配置、xshell、notepad等环境的安装。注：本文里安装的...
hadoopHA搭建资源包
04-01
总的来说，这个资源包提供了一套完整的Hadoop HA搭建基础，涵盖了从环境准备到服务配置的所有关键组件。通过详细的配置和测试，你可以构建一个可靠的Hadoop集群，为大数据处理提供稳定的平台。在实际操作中，还需要...
3.基于hadoop集群搭建hbase
06-17
Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在进行数据分析时，以文件形式存储在Hadoop上的数据往往难以快速检索和访问。为了解决这一问题，HBase应运而生。本文将详细介绍如何...
Hadoop平台安装及运行————详细版搭建流程
2301_82049895的博客
04-24 7933
如果已经存在/output 目录，就要先删除/output目录，再执行上述命令。另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。上述安装完成的 Hadoop 软件只能让 root 用户使用，要让 hadoop 用户能够 运行 Hadoop 软件，需要将目录/usr/local/src 的所有者改为 hadoop 用户。
Spark学习笔记之-Spark on yarn（External Shuffle Service）
dandykang的博客
09-01 8636
Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle 数据，给其他Executor提供shuffle数据。     当Executor进程任务过重，导致GC而不能为其 他Executor提供shuffle数据时，会影响任务运行。     这里实际上是利用External Shuffle Service 来提升性能，External s
大数据之Yarn和Spark配置与说明
延宝小白马的博客
08-20 436
Executor关闭后，其输出的文件，也就无法供其他Executor使用了。在将NodeManager的总内存平均分配给每个Executor，最后再将单个Executor的内存按照大约10:1的比例分配到spark.executor.memory和spark.executor.memoryOverhead。此处的Executor个数是指分配给一个Spark应用的Executor个数，Executor个数对于Spark应用的执行速度有很大的影响，所以Executor个数的确定十分重要。
spark on yarn
热门推荐
stark_summer的专栏
09-22 2万+
说明这篇文章记录下 spark提交左右在yarn上运行hadoop配置主要配置yarn-site.xml文件,我们目前使用mapreduce_shuffle,而有些公司也增加了spark_shuffle 只使用mapreduce_shuffle<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuf
【Hadoop】yarn-site.xml配置文件详解
康师傅没有眼泪
10-16 1万+
<-- 允许跨域访问的来源，如果有多个，用逗号(,)分隔 --> <property> <name>hadoop.http.cross-origin.allowed-origins</name> <value>*</value> </property><-- 与 DNS 侦听器应绑定到的网络接口关联的地址。 --> ...
176、Spark运维管理进阶之作业资源调度yarn模式下使用动态资源分配
ZJ__ZFH的博客
02-11 318
先停止之前为standalone集群启动的shuffle service，./sbin/stop-shuffle-service.sh 然后进行配置 动态资源分配功能使用的所有配置，都是以spark.dynamicAllocation作为前缀的。要启用这个功能，你的作业必须将spark.dynamicAllocation.enabled设置为true。 此外，你的作业必须有一个外部shuffle...
hadoop基础环境搭建
qq_35254085的博客
04-19 279
对于java想往大数据方向转的小伙伴或者感兴趣的，请跟着步骤慢慢搭建，你会有很大的收获的！ 以下是基础环境搭建步骤1-11步骤 1.安装rz用来文件上传下载 yum install -y lrzsz 安装阿里云源： 地址：http://mirrors.aliyun.com/repo/Centos-7.repo 上传这个repo 备份并替换系统的repo文件 #拷贝 cp Cntos-7.repo /etc/yum.repos.d/ cd /etc/yum.repos.d/ #备份 mv Ce
Spark Streaming调优参数及最佳实践深入剖析-Spark商业调优实战
weixin_33904756的博客
11-18 248
本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。版权声明：禁止转载，欢迎学习。QQ邮箱地址：1120746959@qq.com，如有任何商业交流，可随时联系。 1 开门见山 1.1 优化1：进行HA机制处理-针对updateStateByKey与window等有状态的操作 HA高...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值