Hadoop安装部署

已于 2022-07-19 16:23:29 修改
阅读量2.2k 收藏 1
点赞数
分类专栏： 大数据技术 文章标签： Hadoop 大数据
于 2019-03-17 15:25:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HSJ_knight/article/details/88562756
版权

目录

HDFS安装部署

hadoop-env.sh配置

core-site.xml配置

hdfs-site.xml配置

工作节点配置

目录分发

环境变量配置

初始化HDFS

YARN安装部署

yarn-env.sh配置

yarn-site.xml配置

mapred-env.sh配置

mapred-site.xml配置

启动YARN集群

Hadoop作为大数据的基石，提供数据存储能力（HDFS）、数据分析编程框架（MapReduce）、计算资源管理框架（YARN），允许使用者在普通的Linux服务器上创建大规模的分布式文件系统，HBase、Hive等大数据软件底层都依赖Hadoop。

Hadoop集群一般采用高可用的方式部署，即两个NameNode和两个Resourcemanager，构成主备结构，当主进程异常时会自动切换到备进程上，保证服务的正常运行，根据经验，比较常见的Hadoop版本为2.6.x、2.8.x、3.2.x，目前大部分公司还是Hadoop 2的大版本，但是也有越来越多的公司转移到Hadoop 3版本，本次安装部署选择Apache Hadoop 3.2.2版本，默认以root用户进行操作。

详细部署规划如下表所示：

master

backup

worker1

worker2

worker3

NameNode

√

√

JournalNode

√

√

√

DataNode

√

√

√

DFSZKFailoverController

√

√

ResourceManager

√

√

NodeManager

√

√

√

JobHistoryServer

√

HDFS安装部署

将Apache Hadoop 3.2.2的安装包下载或上传至其中一台机器上，此处选择master机器，解压至合适的目录，并以解压后得到的目录作为HADOOP_HOME目录，完成所有的配置完成后将HADOOP_HOME目录复制到其他所有机器上。

hadoop-env.sh配置

修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh文件，修改内容如下：

# Hadoop使用的Java配置
export JAVA_HOME=/opt/jdk1.8.0_301

# Hadoop安装目录配置
export HADOOP_HOME=/opt/hadoop-3.2.2/

# Hadoop日志目录配置
export HADOOP_LOG_DIR=/data/hadoop/logs

# Hadoop进程默认的最大和最小内存配置，单位：MB
export HADOOP_HEAPSIZE_MAX=2048
export HADOOP_HEAPSIZE_MIN=1024

# SSH端口配置，如果修改了默认的SSH，需要配置该项
export HADOOP_SSH_OPTS="-p 22"

# Hadoop进程号文件目录配置
export HADOOP_PID_DIR=/data/hadoop/pids

# NameNode的JVM参数配置
export HDFS_NAMENODE_OPTS="-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=8010 -Xms4096m -Xmx4096m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 $HDFS_NAMENODE_OPTS"

# DataNode的JVM参数配置
export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xms2048m -Xmx4096m $HDFS_DATANODE_OPTS"

core-site.xml配置

修改${HADOOP_HOME}/etc/hadoop/core-site.xml文件，修改内容如下：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hc-hdfs</value>
    <discription>参数fs.default.name已经废弃</discription>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hdfs/tmp/${user.name}</value>
    <discription>Hadoop临时目录配置，该配置非常重要</discription>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>master:2181,backup:2181,worker1:2181</value>
    <discription>Hadoop集群高可用使用的Zookeeper集群</discription>
  </property>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
    <discription>Hadoop页面的静态用户</discription>
  </property>

<!-- 使用Hive Beeline时需要配置以下两项 -->
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
    <discription>允许通过httpfs的方式访问HDFS的主机，*表示任意</discription>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
    <discription>允许通过httpfs的方式访问HDFS的用户组，*表示任意</discription>
  </property>
</configuration>

hdfs-site.xml配置

修改${HADOOP_HOME}/etc/hadoop/hdfs-site.xml文件，修改内容如下：

<configuration>
<!-- 基础配置 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hdfs/metadata</value>
    <discription>NameNode元数据目录列表，逗号分隔</discription>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/data1，/data/hadoop/data2</value>
    <discription>DataNode数据目录列表，逗号分隔</discription>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/data/hdfs/editlogs</value>
    <discription>JournalNode数据目录</discription>
  </property>
  <property>
    <name>dfs.datanode.du.reserved</name>
    <value>53687091200</value>
    <discription>磁盘预留大小，根据DataNode数据盘大小来设置，单位：Byte</discription>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
    <discription>数据块的副本数</discription>
  </property>

<!-- HDFS短路读配置 -->
  <property>
    <name>dfs.client.read.shortcircuit</name>
    <value>true</value>
    <discription>开启HDFS短路读</discription>
  </property>
  <property>
    <name>dfs.domain.socket.path</name>
    <value>/var/lib/hadoop-hdfs/dn_socket</value>
    <discription>用于实现短路读的socket文件生成路径</discription>
  </property>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
    <discription>DataNode使用使用目录的权限</discription>
  </property>
  <property>
    <name>dfs.block.local-path-access.user</name>
    <value>root</value>
    <discription>允许访问dfs.domain.socket.path目录的用户列表，逗号分隔</discription>
  </property>

<!-- HDFS高可用配置 -->
  <property>
    <name>dfs.nameservices</name>
    <value>hc-hdfs</value>
    <discription>HDFS文件系统的逻辑名称</discription>
  </property>
  <property>
    <name>dfs.ha.namenodes.hc-hdfs</name>
    <value>nn1,nn2</value>
    <discription>在dfs.nameservices中的NameNode节点列表</discription>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.hc-hdfs.nn1</name>
    <value>master:8020</value>
    <discription>nn1节点上客户端请求的RPC地址</discription>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.hc-hdfs.nn2</name>
    <value>backup:8020</value>
    <discription>nn2节点上客户端请求的RPC地址</discription>
  </property>
  <property>
    <name>dfs.namenode.http-address.hc-hdfs.nn1</name>
    <value>master:50070</value>
    <discription>nn1节点上的HDFS网页访问地址</discription>
  </property>
  <property>
    <name>dfs.namenode.http-address.hc-hdfs.nn2</name>
    <value>backup:50070</value>
    <discription>nn2节点上的HDFS网页访问地址</discription>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master:8485;backup:8485;worker1:8485/hc-hdfs</value>
    <discription>共享元数据编辑日志存放的目录</discription>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
    <discription>自动故障转移，需要在core-site.xml中配置ha.zookeeper.quorum参数</discription>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.hc-hdfs</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    <discription>开启高可用的情况下，客户端访问Active NameNode的代理类</discription>
  </property>
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
    <discription>防止脑裂的方法</discription>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
    <discription>使用sshfence时ssh私钥的路径</discription>
  </property>
  <property>
    <name>ha.zookeeper.session-timeout.ms</name>
    <value>60000</value>
    <discription>高可用依赖的Zookeeper集群的会话超时时间，单位：ms</discription>
  </property>
</configuration>

工作节点配置

修改${HADOOP_HOME}/etc/hadoop/workers文件，在其中添加工作节点的IP，每个IP占用一行，修改内容如下：

${worker1 ip or hostname}
${worker2 ip or hostname}
${worker3 ip or hostname}

目录分发

至此，HDFS的配置已经完成，可以将HADOOP_HOME目录复制到其他机器上，命令如下：

# 其他机器上的HADOOP_HOME目录最好与当前机器保持一致，方便管理
scp -r ${HADOOP_HOME path} ${other node}:${HADOOP_HOME path}

环境变量配置

在每一台部署HDFS的机器上配置相关的环境变量，命令如下：

# 为了避免覆盖环境变量文件，不建议直接分发环境变量文件
# 在环境变量文件/etc/profile中增加如下内容
export HADOOP_HOME=/opt/hadoop-3.2.2
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
export HADOOP_CLASSPATH=`hadoop classpath`

# 保存退出后，执行以下命令使环境变量生效
source /etc/profile

初始化HDFS

HDFS在首次启动时需要进行初始化操作，初始化只能执行一次，多次执行会导致已存在数据丢失，具体步骤如下：

首先需要在zookeeper中注册HDFS节点，命令如下：

hdfs zkfc -formatZK

以上命令执行成功时如下图所示：

在master、backup、worker1机器上启动JournalNode进程，命令如下：

hdfs --daemon start journalnode

在任意NameNode机器上执行NameNode初始化操作，此处选择master机器，命令如下：

hdfs namenode -format

以上命令执行成功时如下图所示：

在这个成功初始化的NameNode机器上启动NameNode进程，命令如下：

hdfs --daemon start namenode

在backup机器上拷贝maser机器上已经初始化好的NameNode的元数据，命令如下：

hdfs namenode -bootstrapStandby

以上命令执行成功时如下图所示：

在backup机器上启动NameNode进程，命令如下：

hdfs --daemon start namenode

在master和backup机器上启动DFSZKFailoverController进程，使NameNode完成选举，命令如下：

hdfs --daemon start zkfc

在worker1、worker2、worker3机器上启动DataNode进程，命令如下：

hdfs --daemon start datanode

至此，HDFS的所有相关进程启动完毕，可以对集群进行简单的测试，命令如下：

# 检查NameNode状态
# 正常情况下两个NameNode分别有两种状态：active，standby
# active状态：对外提供服务
# standby状态：同步Active NameNode的元数据
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

# 查看HDFS文件系统根目录
hdfs dfs -ls /

# 在HDFS的根目录下创建test目录，并上传文件到test目录中
hdfs dfs -mkdir /test
hdfs dfs -put ${local file} /test

# 从HDFS上下载文件到本地
hdfs dfs -get ${hdfs file path} ${local path}

在日常使用中，一般使用start-dfs.sh和stop-dfs.sh两个脚本来启停HDFS集群进程，但是当使用root用户执行时会报错，需要${HADOOP_HOME}/sbin目录下的start-dfs.sh和stop-dfs.sh脚本，命令如下：

# 在脚本开头添加以下内容，指定进程的启动用户
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

# 保存退出后，将修改的脚本分发到其他机器上
scp ${HADOOP_HOME}/sbin/st*-dfs.sh ${other ip}:${HADOOP_HOME}/sbin

YARN安装部署

yarn-env.sh配置

在master机器上修改${HADOOP_HOME}/etc/hadoop/yarn-env.sh文件，增加或修改以下内容，命令如下：

# 配置YARN进程日志的目录
export YARN_LOG_DIR=/data/yarn/logs

# 配置YARN进程pid文件保存目录
export YARN_PID_DIR=/data/yarn/pids

# 配置ResourceManager的JVM内存
export YARN_RESOURCEMANAGER_OPTS="-Xms4096m -Xmx4096m $YARN_RESOURCEMANAGER_OPTS"

# 配置NodeManager的JVM内存
export YARN_NODEMANAGER_OPTS="-Xms2048m -Xmx2048m $YARN_NODEMANAGER_OPTS"

# 保存退出后，将yarn-env.sh文件分发到其他机器上
scp ${HADOOP_HOME}/etc/hadoop/yarn-env.sh ${other ip}:${HADOOP_HOME}/etc/hadoop/

yarn-site.xml配置

在master机器上修改${HADOOP_HOME}/etc/hadoop/yarn-site.xml文件，增加或修改以下内容：

<configuration>
  <!-- ResourceManager配置项 -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
    <description>开启RM高可用</description>
  </property>
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master:2181,backup:2181,worker1:2181</value>
    <description>高可用使用的ZK集群，该参数已废弃，不推荐使用</description>
  </property>
  <property>
    <name>hadoop.zk.address</name>
    <value>master:2181,backup:2181,worker1:2181</value>
    <description>高可用使用的ZK集群</description>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
    <description>开启自动故障转移，默认情况下，仅在开启高可用时启用</description>
  </property>
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
    <description>启用任务自动恢复</description>
  </property>
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    <description>指定任务状态存储的类，启用任务自动恢复时需要配置该参数</description>
  </property>
  <property>
    <name>yarn.resourcemanager.zk-state-store.parent-path</name>
    <value>/rmstore</value>
    <description>RM在ZK中的存储节点</description>
  </property>
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarncluster</value>
    <description>集群名称</description>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
    <description>参与高可用的RM的别称</description>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>master</value>
    <description>指定别称rm1对应的RM节点主机名</description>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>backup</value>
    <description>指定别称rm2对应的RM节点主机名</description>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>master:8088</value>
    <description>指定别称rm1对应的Yarn web页面地址</description>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>backup:8088</value>
    <description>指定别称rm2对应的Yarn web页面地址</description>
  </property>

  <!-- NodeManger配置项 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle,spark_shuffle</value>
    <description>辅助服务，mapreduce_shuffle用于运行MR，spark_shuffle用于支持spark动态资源管理</description>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    <description>指定mapreduce_shuffle使用的类</description>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
    <value>org.apache.spark.network.yarn.YarnShuffleService</value>
    <description>指定spark_shuffle的类，需要把jar放到${HADOOP_HOME}/share/hadoop/yarn/lib目录</description>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>32768</value>
    <description>当前节点可用于计算的内存大小</description>
  </property>
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>32</value>
    <description>当前节点可用于计算的核心数量，非物理CPU核心数，该参数可以大于物理核心数</description>
  </property>
  <property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
    <description>虚拟内存和物理内存的比例，一般默认2.1即可</description>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>10240</value>
    <description>单个container允许的最大内存</description>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>10</value>
    <description>单个container允许的最大核心数</description>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/yarn/local</value>
    <description>任务本地数据目录</description>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/yarn/log</value>
    <description>任务本地日志目录</description>
  </property>
  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>604800</value>
    <description>本地日志保留时间，开启日志聚合时该参数无效</description>
  </property>

<!-- 日志聚合配置项 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>开启日志聚合</description>
  </property>
  <property>
    <name>yarn.nodemanager.delete.debug-delay-sec</name>
    <value>86400</value>
    <description>开启日志聚合后，本地日志删除延迟时间</description>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
    <description>HDFS上日志保留时间</description>
  </property>
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/yarn/app-logs</value>
    <description>HDFS上日志保留目录，实际全路径为：该参数+${user}+子目录</description>
  </property>
  <property>
    <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
    <value>logs</value>
    <description>日志目录的子目录</description>
  </property>
  <property>
    <name>yarn.log.server.url</name>
    <value>http://backup:19888/jobhistory/logs</value>
    <description>日志服务器url</description>
  </property>

  <property>
    <name>yarn.application.classpath</name>
    <value>
      /opt/hadoop-3.2.2/etc/hadoop,
      /opt/hadoop-3.2.2/share/hadoop/common/lib/*,
      /opt/hadoop-3.2.2/share/hadoop/common/*,
      /opt/hadoop-3.2.2/share/hadoop/hdfs,
      /opt/hadoop-3.2.2/share/hadoop/hdfs/lib/*,
      /opt/hadoop-3.2.2/share/hadoop/hdfs/*,
      /opt/hadoop-3.2.2/share/hadoop/mapreduce/lib/*,
      /opt/hadoop-3.2.2/share/hadoop/mapreduce/*,
      /opt/hadoop-3.2.2/share/hadoop/yarn/*,
      /opt/hadoop-3.2.2/share/hadoop/yarn/lib/*
    </value>
    <description>Yarn任务的classpath</description>
  </property>
</configuration>

配置完成后，将该文件分发到其他机器上，命令如下：

scp ${HADOOP_HOME}/etc/hadoop/yarn-site.xml ${other ip}:${HADOOP_HOME}/etc/hadoop

mapred-env.sh配置

在master机器上修改${HADOOP_HOME}/etc/hadoop/mapred-env.sh文件，增加或修改以下内容：

# 历史服务器进程的JVM内存配置
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1024

# 日志目录配置
export HADOOP_LOG_DIR=/data/yarn/logs

# 进程pid文件目录配置
export HADOOP_PID_DIR=/data/yarn/pids

# 保存退出后，将该文件分发到其他机器上
scp ${HADOOP_HOME}/etc/hadoop/mapred-env.sh ${other ip}:${HADOOP_HOME}/etc/hadoop

mapred-site.xml配置

在master机器上修改${HADOOP_HOME}/etc/hadoop/mapred-site.xml文件，增加或修改以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>MapReduce运行的资源调度框架</description>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>backup:10020</value>
    <description>任务历史服务器通信地址</description>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>backup:19888</value>
    <description>任务历史服务器web页面访问地址</description>
  </property>
</configuration>

配置完成后，将该文件分发到其他机器上，命令如下：

scp ${HADOOP_HOME}/etc/hadoop/mapred-site.xml ${other ip}:${HADOOP_HOME}/etc/hadoop

启动YARN集群

在master和backup机器上启动ResourceManager进程，命令如下：

yarn --daemon start resourcemanager

在worker1、worker2、worker3机器上启动NodeManager进程，命令如下：

yarn --daemon start nodemanager

在backup机器上启动JobHistoryServer进程，命令如下：

mapred --daemon start historyserver

在日常使用中，一般使用start-yarn.sh和stop-yarn.sh两个脚本来启停YARN集群进程（JobHistoryServer需要单独启停，该进程属于非必要进程），但是当使用root用户执行时会报错，需要${HADOOP_HOME}/sbin目录下的start-yarn.sh和stop-yarn.sh脚本，命令如下：

# 在脚本开头添加以下内容，指定进程的启动用户
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root

# 保存退出后，将修改的脚本分发到其他机器上
scp ${HADOOP_HOME}/sbin/st*-yarn.sh ${other ip}:${HADOOP_HOME}/sbin

向YARN集群提交MapReduce任务来测试YARN集群，运行Hadoop自带的WordCount测试用例，命令如下：

# 在以下目录找到对应的测试用例jar文件
cd ${HADOOP_HOME}/share/hadoop/mapreduce/

# 运行WordCount任务
# /test是HDFS目录，存放需要分析的文本文件
# /output是HDFS目录，存放结果文件，运行任务时该目录必须不存在，由任务自动创建
hadoop jar hadoop-mapreduce-examples-3.2.2.jar wordcount /test /output

任务运行成功之后如下图所示：

在HDFS查看结果目录，_SUCCESS文件是任务运行状态标志文件，part-r-00000文件中存放统计结果，如下图所示：

HSJ_knight
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop的安装与部署
qq_62792484的博客
09-30 1274
点击vmware的编辑，然后点击虚拟网络编辑器。在点击这个更改设置，进入NAT的设置与DHCP设置。在这里面设置自己的网关192.168.000.2,其中000在每台电脑不一样需要自己去看。设置 DHCP，192.168.000.128与192.168.000.254.然后点击确定。退出后选择应用。这个是给虚拟机联网的。
FLINK HADOOP_CLASSPATH设置，集成hadoop
m0_67391377的博客
04-18 3474
HADOOP_CLASSPATH未设置 初次尝试在etc/profile 中添加 export HADOOP_CLASSPATH=hadoop classpath 并source，发现没有起效 再次尝试在flink/bin/start-cluster.sh中添加 export HADOOP_CLASSPATH=hadoop classpath 即生效 运行flink run时也存在相同问题 衍生： 配置此环境变量后，不用在lib中添加hadoop，hive等相关jar包，自动获取当前环境依.
最全Hadoop安装部署手册_hadoop部署手册(1)，这么香的技术还不快点学起来
最新发布
2301_82243558的博客
05-12 791
Hadoop包括HDFS(文件系统)，yarn(任务调配)，mapReduce(编程模型，大数据并行运算)，Hadoop集群其实就是HDFS集群。HDFS其实就是一个分布式的文件系统。HDFS分有NameNode和DataNode，NameNode是整个文件系统目录，基于内存存储，存储的是一些文件的详细信息，比如文件名、文件大小、创建时间、文件位置等。Datanode是文件的数据信息，也就是文件本身，不过是分割后的小文件。
黑马大数据学习笔记2-HDFS环境部署
weixin_45735391的博客
07-11 2365
HDFS环境部署
1.Hadoop全分布式集群搭建及Hadoop相关操作
wang37444的专栏
03-15 359
前面写过一篇基于Dockerfile的Hadoop集群安装，但是在安装过程中遇到了很多问题（如：权限，端口与宿主机间访问等），本篇主要基于VM虚拟机实现Hadoop集群安装。 1.相关环境 软件 版本 CentOS CentOS Linux release 7.5 Jdk jdk-8u201-linux-x64.tar.gz Hadoop hadoop-3.0.0.tar....
Hadoop调优第一篇
qq_50024279的博客
11-24 937
1.hdfs核心参数——回收站设置 第一步，在调优前我们需要对namenode与datanode的内存配置进行参数化设置。通过hadoop-env.sh查看namenode与datdanode的具体参数。相关参数设置如下 export HDFS_NAMENODE_OPTS=”-Dhadoop.security.logger=INFO,RFAS -Xmx1024m” export HDFS_DATANODE_OPTS=”-Dhadoop.security.logger=ERROR,RFAS -Xmx10
大数据Hadoop安装部署文档
04-21
主要介绍了Hadoop在windows上伪分布式的安装过程、在Linux单节点伪分布式的安装过程、Eclipse开发环境介绍
hadoop安装部署手册
03-06
《Hadoop安装部署手册》是指导用户在Linux环境中配置和管理Hadoop分布式文件系统的详尽指南。Hadoop作为开源的大数据处理框架，以其高容错性、可扩展性和高效的并行处理能力，广泛应用于大数据处理领域。本手册将...
Hadoop安装部署实验材料
11-05
【Hadoop 安装部署详解】 Hadoop 是一个开源的分布式计算框架，广泛应用于大数据处理。本实验将指导你如何在Linux环境下安装部署Hadoop，包括单机模式、伪分布式模式和分布式模式的概述，以及如何使用Vim编辑器、...
HDFS集群环境部署
qq_44286009的博客
11-15 288
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考配置HDFS集群，我们主要涉及到如下文件的修改：workers： 配置从节点（DataNode）有哪些hadoop-env.sh： 配置Hadoop的相关环境变量core-site.xml： Hadoop核心配置文件hdfs-site.xml： HDFS核心配置文件。
HDFS完全分布式集群搭建与配置及常见问题总结
qq_63040382的博客
09-16 1337
其次，用MapReduce处理大量小文件时，会产生过多的Map任务，进行管理开销会大大增加，因此处理大量小文件的速度远远低于处理同等规模的大文件的速度。NameNode节点可以将旧的fsimage文件及旧的日志文件，换为新的fsimage文件和新的日志文件(第一步生成的)，然后更新fstime文件，写入此次checkpoint的时间。数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者是名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送自己所存储的块的列表。
Hadoop3.0集群配置 在上千节点下的大规模集群的安装和配置
m0_58745896的博客
10-14 533
Hadoop3.0集群配置 在上千节点下的大规模集群的安装和配置
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2739
HDFS HA 高可用搭建详细图文教程
hadoop学习 2 HDFS的三种部署模式
Cupcake_JackY的博客
11-19 1026
先来讲讲安装hadoop的大致流程，备忘： 删除系统自带的openjdk 安装在官网下载的jdk 配置JAVA环境变量 source /etc/profile 输入 java -version，验证JAVA环境安装成功； 解压hadoop，并配置环境变量（这一步具体参考 https://www.bilibili.com/video/BV1tT4y1E7xf?p=14）； source /etc/profile 输入 hadoop version，验证hadoop安装成功。 HDFS的部署有3种模式：本地
hadoop 报不是内部或外部命令的解决办法
m0_47505062的博客
08-23 7559
Hadoop 运行报错 不是内部命令
Flink部署——Resource Providers之Apache Hadoop YARN
京河小蚁的博客
06-21 560
Resource Providers有以下三种：本文正是要将yarn，其他两个在Flink官网可查看。本入门部分将指导您在 YARN 上设置功能齐全的 Flink 集群。Apache Hadoop YARN是一个在许多数据处理框架中流行的资源提供程序。Flink 服务提交给 YARN 的 ResourceManager，它在 YARN NodeManager 管理的机器上生成容器。Flink 将其 JobManager 和 TaskManager 实例部署到此类容器中。Flink 可以根据 JobManag
史上最简单详细的Hadoop完全分布式集群搭建
热门推荐
Mage的博客
10-31 5万+
一.安装虚拟机环境 Vmware12中文官方版 链接：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码：6rep 激活秘钥：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 这个安装就十分的简单了，只需要不断点击下一步，直到安装完成就OK了； 二.虚拟机的安装（Centos7） 这个步骤我分享一个详细安装地址：https://www...
实验1：Hadoop安装部署
01-06
实验1：Hadoop安装部署

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值