Hadoop分布式环境(高可用集群的搭建)

最新推荐文章于 2024-05-14 04:09:21 发布
最新推荐文章于 2024-05-14 04:09:21 发布
阅读量428 收藏 1
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49834705/article/details/110525067
版权

1.原理

1.1 什么是高可用集群

高可用集群就是当某一个节点或服务器发生故障时，另一个节点能够自动且立即向外提供服务，即将有故障节点上的资源转移到另一个节点上去，这样另一个节点有了资源既可以向外提供服务。高可用集群是用于单个节点发生故障时，能够自动将资源、服务进行切换，这样可以保证服务一直在线。在这个过程中，对于客户端来说是透明的。

1.2 高可用集群的衡量标准

高可用集群一般是通过系统的可靠性(reliability)和系统的可维护性(maintainability)来衡量的。通常用平均无故障时间（MTTF）来衡量系统的可靠性，用平均维护 时间（MTTR）来衡量系统的可维护性。因此，一个高可用集群服务可以这样来定义：HA=MTTF/(MTTF+MTTR)*100%。

一般高可用集群的标准有如下几种：

99%：表示 一年宕机时间不超过4天

99.9% ：表示一年宕机时间不超过10小时

99.99%： 表示一年宕机时间不超过1小时

99.999% ：表示一年宕机时间不超过6分钟

1.3高可用集群的三种方式

实现高可用集群有三种方式：

（1）、主从方式（非对称）

这种方式组建的高可用集群通常包含2个节点和一个或多个服务器，其中一台作为主节点（active），另一台作为备份节点（standy）。备份节点随时都在检测主节点的健康状况，当主节点发生故障时，服务会自动切换到备份节点上以保证服务正常运行。

这种方式下的高可用集群其中的备份节点平时不会启动服务，只有发生故障时才会有用，因此感觉比较浪费。

（2）、对称方式

这种方式一般包含2个节点和一个或多个服务，其中每一个节点都运行着不同的服务且相互作为备份，两个节点互相检测对方的健康状况，这样当其中一个节点发生故障时，该节点上的服务会自动切换到另一个节点上去。这样可以保证服务正常运行。

（3）、多机方式

这种集群包含多个节点和多个服务。每一个节点都可能运行和不运行服务，每台服务器都监视着几个指定的服务，当其中的一个节点发生故障时，会自动切换到这组服务器中的一个节点上去。

2. 正式搭建

2.1 集群规划

分布式环境搭建（适用于工作当中正式环境搭建）
在这里插入图片描述

2.2 安装包解压

停止之前的hadoop集群的所有服务，然后重新解压编译后的hadoop压缩包

在三台机器上分别创建以下目录:
mkdir -p /opt/software
mkdir -p /opt/server

解压压缩包
node1机器执行以下命令进行解压
cd /opt/software
tar -zxvf hadoop-2.7.5.tar.gz -C /opt/server/
cd /opt/server/hadoop-2.7.5/etc/hadoop

3. 配置文件的修改

配置Hadoop集群其实就是配置文件的修改
以下操作都在afu01机器上进行:

3.1 修改 core-site.xml
在这里添加 只提醒一遍 
<!-- 指定NameNode的HA高可用的zk地址  -->
	 <property>
		   <name>ha.zookeeper.quorum</name>
		   <value>afu01:2181,afu02:2181,afu03:2181</value>
	 </property>
 <!-- 指定HDFS访问的域名地址  -->
	 <property>
		   <name>fs.defaultFS</name>
		   <value>hdfs://ns</value>
	 </property>
 <!-- 临时文件存储目录  -->
	<property>
		  <name>hadoop.tmp.dir</name>
		  <value>/opt/server/hadoop-2.7.5/data/tmp</value>
	</property>
	 <!-- 开启hdfs垃圾箱机制，指定垃圾箱中的文件七天之后就彻底删掉
			单位为分钟
	 -->
	<property>
		 <name>fs.trash.interval</name>
		 <value>10080</value>
	</property>
3.2 修改 hdfs-site.xml
<!--  指定命名空间  -->
        <property>
                <name>dfs.nameservices</name>
                <value>ns</value>
        </property>
<!--  指定该命名空间下的两个机器作为我们的NameNode  -->
        <property>
                <name>dfs.ha.namenodes.ns</name>
                <value>nn1,nn2</value>
        </property>

        <!-- 配置第一台服务器的namenode通信地址  -->
        <property>
                <name>dfs.namenode.rpc-address.ns.nn1</name>
                <value>afu01:8020</value>
        </property>
        <!--  配置第二台服务器的namenode通信地址  -->
        <property>
                <name>dfs.namenode.rpc-address.ns.nn2</name>
                <value>afu02:8020</value>
        </property>
        <!-- 所有从节点之间相互通信端口地址 -->
        <property>
                <name>dfs.namenode.servicerpc-address.ns.nn1</name>
                <value>afu01:8022</value>
        </property>
        <!-- 所有从节点之间相互通信端口地址 -->
        <property>
                <name>dfs.namenode.servicerpc-address.ns.nn2</name>
                <value>afu02:8022</value>
        </property>

        <!-- 第一台服务器namenode的web访问地址  -->
        <property>
                <name>dfs.namenode.http-address.ns.nn1</name>
                <value>afu01:50070</value>
        </property>
        <!-- 第二台服务器namenode的web访问地址  -->
        <property>
                <name>dfs.namenode.http-address.ns.nn2</name>
                <value>afu02:50070</value>
        </property>

        <!-- journalNode的访问地址，注意这个地址一定要配置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://afu01:8485;afu02:8485;afu03:8485/ns1</value>
        </property>
        <!--  指定故障自动恢复使用的哪个java类 -->
        <property>
                <name>dfs.client.failover.proxy.provider.ns</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>

        <!-- 故障转移使用的哪种通信机制 -->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>sshfence</value>
        </property>

        <!-- 指定通信使用的公钥  -->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <!-- journalNode数据存放地址  -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/opt/server/hadoop-2.7.5/data/dfs/jn</value>
        </property>
        <!-- 启用自动故障恢复功能 -->
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <!-- namenode产生的文件存放路径 -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///opt/server/hadoop-2.7.5/data/dfs/nn/name</value>
        </property>
        <!-- edits产生的文件存放路径 -->
        <property>
                <name>dfs.namenode.edits.dir</name>
                <value>file:///opt/server/hadoop-2.7.5/data/dfs/nn/edits</value>
        </property>
        <!-- dataNode文件存放路径 -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///opt/server/hadoop-2.7.5/data/dfs/dn</value>
        </property>
        <!-- 关闭hdfs的文件权限 -->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
        <!-- 指定block文件块的大小 -->
        <property>
                <name>dfs.blocksize</name>
                <value>134217728</value>
        </property>
3.3 修改yarn-site.xml，注意afu03与afu02配置不同
<!-- Site specific YARN configuration properties -->
<!-- 是否启用日志聚合.应用程序完成后,日志汇总收集每个容器的日志,这些日志移动到文件系统,例如HDFS. -->
<!-- 用户可以通过应用程序时间服务器访问日志 -->

<!-- 启用日志聚合功能，应用程序完成后，收集各个节点的日志到一起便于查看 -->
        <property>
                        <name>yarn.log-aggregation-enable</name>
                        <value>true</value>
        </property>


<!--开启resource manager HA,默认为false-->
<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
</property>
<!-- 集群的Id，使用该值确保RM不会做为其它集群的active -->
<property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>mycluster</value>
</property>
<!--配置resource manager  命名-->
<property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
</property>
<!-- 配置第一台机器的resourceManager -->
<property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>afu02</value>
</property>
<!-- 配置第二台机器的resourceManager -->
<property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>afu03</value>
</property>

<!-- 配置第一台机器的resourceManager通信地址 -->
<property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>afu02:8032</value>
</property>
<property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>afu02:8030</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>afu02:8031</value>
</property>
<property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>afu02:8033</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>afu02:8088</value>
</property>

<!-- 配置第二台机器的resourceManager通信地址 -->
        <value>afu03:8032</value>
</property>
<property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>afu03:8030</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>afu03:8031</value>
</property>
<property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>afu03:8033</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>afu03:8088</value>
</property>


<!--开启resourcemanager自动恢复功能-->
<property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
</property>
        <property>
                <name>yarn.resourcemanager.ha.id</name>
                <value>rm1</value>
       <description>If we want to launch more than one RM in single node, we need this configuration</description>
        </property>

           <!--用于持久存储的类。尝试开启-->
<property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>afu02:2181,afu03:2181,afu01:2181</value>
        <description>For multiple zk services, separate them with comma</description>
</property>
<!--开启resourcemanager故障自动切换，指定机器-->
<property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
        <description>Enable automatic failover; By default, it is enabled only when HA is enabled.</description>
</property>
<property>
        <name>yarn.client.failover-proxy-provider</name>
        <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
</property>
<!-- 允许分配给一个任务最大的CPU核数，默认是8 -->
<property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
</property>
<!-- 每个节点可用内存,单位MB -->
<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
<!-- 单个任务可申请最少内存，默认1024MB -->
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
</property>
<!-- 单个任务可申请最大内存，默认8192MB -->
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
</property>
<!--多长时间聚合删除一次日志 此处-->
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value><!--30 day-->
</property>
<!--时间在几秒钟内保留用户日志。只适用于如果日志聚合是禁用的-->
<property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>604800</value><!--7 day-->
</property>
<!--指定文件压缩类型用于压缩汇总日志-->
<property>
        <name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
</property>
<!-- nodemanager本地文件存储目录-->
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/opt/server/hadoop-2.7.5/yarn/local</value>
</property>
<!-- resourceManager  保存最大的任务完成个数 -->
<property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
</property>
<!-- 逗号隔开的服务列表，列表名称应该只包含a-zA-Z0-9_,不能以数字开始-->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!--rm失联后重新链接的时间-->
<property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
</property>
3.4 修改mapred-site.xml.template
<!--指定运行mapreduce的环境是yarn -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<!-- MapReduce JobHistory Server IPC host:port -->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>afu03:10020</value>
</property>
<!-- MapReduce JobHistory Server Web UI host:port -->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>afu03:19888</value>
</property>
<!-- The directory where MapReduce stores control files.默认 ${hadoop.tmp.dir}/mapred/system -->
<property>
        <name>mapreduce.jobtracker.system.dir</name>
        <value>/opt/server/hadoop-2.7.5/data/system/jobtracker</value>
</property>
<!-- The amount of memory to request from the scheduler for each map task. 默认 1024-->
<property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
</property>
<!-- <property>
                     <name>mapreduce.map.java.opts</name>
                <value>-Xmx1024m</value>
        </property> -->
<!-- The amount of memory to request from the scheduler for each reduce task. 默认 1024-->
<property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>1024</value>
</property>
<!-- <property>
                    <name>mapreduce.reduce.java.opts</name>
               <value>-Xmx2048m</value>
        </property> -->
<!-- 用于存储文件的缓存内存的总数量，以兆字节为单位。默认情况下，分配给每个合并流1MB，给个合并流应该寻求最小化。默认值100-->
<property>
        <name>mapreduce.task.io.sort.mb</name>
        <value>100</value>
</property>

<!-- <property>
             <name>mapreduce.jobtracker.handler.count</name>
        <value>25</value>
        </property>-->
<!-- 整理文件时用于合并的流的数量。这决定了打开的文件句柄的数量。默认值10-->
<property>
        <name>mapreduce.task.io.sort.factor</name>
        <value>10</value>
</property>
<!-- 默认的并行传输量由reduce在copy(shuffle)阶段。默认值5-->
<property>
        <name>mapreduce.reduce.shuffle.parallelcopies</name>
        <value>15</value>
</property>
<property>
        <name>yarn.app.mapreduce.am.command-opts</name>
        <value>-Xmx1024m</value>
</property>
<!-- MR AppMaster所需的内存总量。默认值1536-->
<property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>1536</value>
</property>
<!-- MapReduce存储中间数据文件的本地目录。目录不存在则被忽略。默认值${hadoop.tmp.dir}/mapred/local-->
<property>
        <name>mapreduce.cluster.local.dir</name>
        <value>/opt/server/hadoop-2.7.5/data/system/local</value>
</property>
3.5.修改slaves
<!--自己的主机名字 -->
afu01
afu02
afu03
3.6.修改hadoop-env.sh
<!-- 自己安装的JDK -->
export JAVA_HOME=/export/server/jdk1.8.0_241

4. 启动集群

4.0 将第一台机器的安装包发送到其他机器上
第一台机器执行以下命令，创建目录
mkdir -p /opt/server/hadoop-2.7.5/data/dfs/nn/name
mkdir -p /opt/server/hadoop-2.7.5/data/dfs/nn/edits
mkdir -p /opt/server/hadoop-2.7.5/data/dfs/nn/name
mkdir -p /opt/server/hadoop-2.7.5/data/dfs/nn/edits

第一台机器执行以下命令：
cd /opt/server
scp -r hadoop-2.7.5/ node2:$PWD
scp -r hadoop-2.7.5/ node3:$PWD


更改afu03的rm2
第二台机器执行以下命令
vim yarn-site.xml

<!--在afu02上配置rm1,在afu03上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，
所以要修改  afu02 和 afu03 yarn-site.xml中如下一段: 
一个改成rm1 一个rm2
-->

<property>       
	<name>yarn.resourcemanager.ha.id</name>
	<value>rm1</value>
   <description>If we want to launch more than one RM in single node, we need this configuration</description>
</property>
4.1 启动HDFS

afu01机器执行以下命令:

cd   /opt/server/hadoop-2.7.5
bin/hdfs zkfc -formatZK
sbin/hadoop-daemons.sh start journalnode
bin/hdfs namenode -format
bin/hdfs namenode -initializeSharedEdits -force
sbin/start-dfs.sh

afu02上面执行:


cd   /opt/server/hadoop-2.7.5
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
4.2 启动yarn过程

afu02上面执行:

cd   /opt/server/hadoop-2.7.5
sbin/start-yarn.sh

afu03上面执行:

cd   /opt/servers/hadoop-2.7.5
sbin/start-yarn.sh
4.3 查看resourceManager状态

afu02上面执行:

cd   /opt/server/hadoop-2.7.5
bin/yarn rmadmin -getServiceState rm1

afu03上面执行:

cd   /opt/server/hadoop-2.7.5
bin/yarn rmadmin -getServiceState rm2
4.4 afu03启动jobHistory

afu03机器执行以下命令启动jobHistory:

cd /opt/server/hadoop-2.7.5
sbin/mr-jobhistory-daemon.sh start historyserver
4.5 查看各个的状态
afu01机器查看hdfs状态
http://192.168.88.161:50070/dfshealth.html#tab-overview
		主
afu02机器查看hdfs状态
http://192.168.88.162:50070/dfshealth.html#tab-overview
		备
		
yarn集群访问查看
http://192.168.88.163:8088/cluster

历史任务浏览界面
页面访问：
http://192.168.88.163:19888/jobhistory

如果namenode其中一个宕机, 无法完成自动切换, 则是缺少 fuser这个安装包, 需要使用: yum -y install psmisc

LBJ_小松鼠
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx
05-11
在搭建Hadoop 2.5.2环境的过程中，我们需要经历几个关键步骤，包括本地模式、伪分布式集群和分布式集群的设置，以及HDFS系统的高可用性配置。首先，确保你的系统已经安装了JDK 1.8，因为Hive等组件需要1.7以上的版本...
hadoop高可用集群搭建手册.docx
04-17
Hadoop高可用集群搭建手册 本文档主要介绍了Hadoop 2.6高可用集群的搭建过程，包括集群规划、搭建准备、集群搭建和配置等步骤。下面是从中提取的知识点： 1. 集群规划 在规划Hadoop集群时，需要考虑到集群的拓扑...
Hadoop集群完全分布式高可用搭建
muqiu2912的博客
03-23 1141
hadoop 支持单机模式、伪分布式和完全分布式模式3种安装模式（1）单机模式：又叫本地模式，即只在一台机器安装 hadoop ，其属于默认安装模式，无需进行配置就可以运行 hadoop。该模式主要用于 MapReduce 应用程序的调试，没有使用分布式文件系统，也不会加载程序。
Hadoop之分布式搭建高可用集群
weixin_48482704的博客
12-10 756
步骤一、Hadoop分布式环境搭建1.虚拟机环境准备2.安装jdk1.83.安装Hadoop 一、Hadoop分布式环境搭建 1.虚拟机环境准备 准备一台虚拟机，操作系统centos7.x 配置虚拟机的静态ip 修改主机名为hadoop101并进行端口映射 [root@master ~]# vi /etc/hostname master [root@master ~]# vi /etc/hosts 192.168.247.200 master 此时需要重启机器 reboot 关闭防火墙 [roo
2024年最全Hadoop之Ha高可用搭建教程_启动hadoop高可用集群，2024年最新白嫖党最爱
2401_84181193的博客
05-14 803
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。
2024年最新Hadoop分布式高可用HA集群搭建笔记（含Hive之构建）(1)，java面试核心知识
2301_82241647的博客
05-08 430
jps是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。我们使用一下我们发现每个节点上都出先了JPS进程和QuorumPeerMain。JPS是这条命令本身拉起的进程，QuorumPeerMain则是zookeeper拉起的，那么QuorumPeerMain是什么呢？根据官方文档来看，是个入口类。用来加载myid二、Hadoop三节点搭建2.1 环境准备还是需要JDK，这个在1.2.6中已经完成。
Hadoop分布式高可用HA集群搭建笔记（含Hive之构建）
枫枫的抽屉
10-28 6264
一、Zookeeper三节点搭建 1.1 设备规划 HOSTNAME IP 操作系统 masterndoe 192.168.122.128 Manjaro 20.1 slavenode1 192.168.122.130 CentOS 7.4 slavenode2 192.168.122.131 CentOS 7.4 1.2 环境准备 1.2.1 新增hadoop用户 已有 没有的话使用该命令 groupadd hadoop useradd -g hadoop -m -d
Hadoop3 HA高可用集群搭建-hadoop3ha高可用集群搭建
峰
03-17 723
Hadoop3高可用（HA:High Available）测试集群搭建。NameNode是整个Hadoop集群的大脑。HDFS 在非 HA 模式的集群下，NameNode 和 DataNode 是一个主从的架构。在这样的主从架构之下只有一台 NameNode。一台 NameNode 的好处是无需因为元数据的同步而考虑数据的一致性问题。但这种模式下一旦NameNode挂掉，整个集群将不可用。
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4361
一文带你了解Hadoop的HA高可用搭建!
Hadoop完全分布式集群搭建
qq_64451048的博客
04-13 2122
Hadoop完全分布式集群搭建
Hadoop 完全分布式及HA高可用集群搭建
m0_58675408的博客
04-19 2572
基础环境：三个节点 前提/etc/hosts master对其他节点可免密登录（包括自己） 上传jdk和hadoop包到master节点，都解包到/usr/local/src下 vim /etc/profile 末尾追加 #set java environment export JAVA_HOME=/usr/local/src/jdk export JRE_HOME=/usr/local/src/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_
Hadoop分布式集群搭建完整版（持续更新中）
mmdewhite的博客
11-09 2478
Hadoop集群的搭建，从零到一
Hadoop 分布式集群搭建_部分1.docx
12-04
在构建Hadoop分布式集群时，首先要理解Hadoop的特性与核心设计。Hadoop是由Apache基金会开发的开源分布式系统基础设施，其主要目标是处理和存储大量数据。它具有高可靠性、高扩展性、高效性和高容错性，这些特性使得...
Hadoop分布式集群搭建所需安装包资源
09-01
总结一下，本资源包提供了搭建Hadoop分布式集群所需的两个基础组件：JDK 8和Hadoop 2.7.5。在实际操作中，你需要在每个节点上安装JDK，配置Hadoop环境，调整相关配置文件以适应你的集群需求，最后启动服务，确保集群...
hadoop HA高可用性完全分布式集群安装
11-05
本文将详细介绍如何搭建一个Hadoop HA高可用性的完全分布式集群，并提供关键步骤和注意事项。 #### Hadoop HA概述 Hadoop HA主要是指NameNode的高可用性实现方案。在传统的Hadoop架构中，NameNode是整个HDFS...
【中科院1区】Matlab实现天鹰优化算法AO-RF锂电池健康状态估计算法研究.rar
最新发布
08-02
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
汽车行业数字化转型报告顶层规划设计.docx
08-02
汽车行业数字化转型报告顶层规划设计.docx
毕业设计，基于ASP.NET+SqlServer开发的企业投资价值分析系统，内含完整源代码，数据库，毕业论文
08-02
毕业设计，基于ASP.NET+SqlServer开发的企业投资价值分析系统，内含完整源代码，数据库，毕业论文 自中国证券市场产生以来，投资者进行投资理财迫切需要有一个科学的理论依据，在众多投资理论体系中，确定企业的价值和股票的价值，是一个重要的流派。著名的投资专家巴非特就是通过分析企业的内在价值，寻找价值被低估的股票，等到市场认可了该企业的价值，再将股票抛出，从而获得了的投机收益，其管理的基金也一度成为世界上最成功的投资基金之一。从西方国家理论界对相关领域的研究结果来看，也取得了一些成果，包括：CAPM 模型、 ICAPM模型、APT模型等，也有人用市盈率方法对股票进行定价。国内在相关的领域也取得了一些研究成果。然而，尽管国内外理论界研究成果较多，但真正适应中国证券市场、适应中国广大投资者的切实有效的理论至今仍是一个空白。在中国这样一个特殊的背景下，股权结构的特殊性、证券市场初创时期的投资性等因素，使得一些模型受到挑战，而且这些模型的精确化程度也受到限制，有必要探求新的思路和方法，为广大的投资者提供切实可靠的操作依据。对股票的价值进行评估必须综合尽可能全面的因素才能使得这些评估更加科
"Hadoop3.0高可用分布式集群搭建详解
Hadoop3.0分布式集群搭建(HA)详细文档是一份详细描述Hadoop3.0高可用分布式集群搭建的文档。在开始搭建Hadoop分布式集群之前，需要准备好3台主机，并在每台主机上安装好Linux系统，并完成网络配置和系统配置。文档...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值