Hadoop集群版 高可用

最新推荐文章于 2024-08-24 17:05:29 发布
最新推荐文章于 2024-08-24 17:05:29 发布
阅读量287 收藏
点赞数 2
文章标签： hadoop 大数据 big data HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51903852/article/details/121140957
版权

在这里插入图片描述
所需脚本网址
jqop https://blog.csdn.net/qq_51903852/article/details/121120429
xsync https://blog.csdn.net/qq_51903852/article/details/121141166
zkop https://blog.csdn.net/qq_51903852/article/details/121120516

[root@mihaoyu152 install]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../soft

[root@mihaoyu152 soft]# mv hadoop-2.6.0-cdh5.14.2/ hadoop260

[root@mihaoyu152 hadoop]# vi ./hadoop-env.sh 
25 export JAVA_HOME=/opt/soft/jdk180

[root@mihaoyu152 hadoop]# vi ./yarn-env.sh 
23 export JAVA_HOME=/opt/soft/jdk180

[root@mihaoyu152 hadoop]# vi ./mapred-env.sh
16 export JAVA_HOME=/opt/soft/jdk180

[root@mihaoyu152 hadoop]# vi ./core-site.xml 
<configuration>
  <!-- 指定的hdfs的nameservice 为mycluster -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster/</value>
  </property>

  <!-- 指定的hadoop工作目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop260/hadooptmp/</value>
  </property>

  <!-- 指定zookeeper集群访问地址 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>mihaoyu153:2181,mihaoyu154:2181,mihaoyu155:2181</value>
  </property>

  <!-- 配置为了解决以后其他组件连接HDFS集群 -->
  <property>
    <name>hadoop.proxyuser.bigdata.hosts</name>
    <value>*</value>
  </property>

  <property>
    <name>hadoop.proxyuser.bigdata.groups</name>
    <value>*</value>
  </property>
</configuration>

[root@mihaoyu152 hadoop]# vi ./hdfs-site.xml 
<configuration>
  <!-- 指定副本数 -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

  <!-- 指定HDFS的nameservices为mycluster，需要跟core-site.xml中保持一致 -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>

  <!-- 设置mycluster集群有两个namenode，分别为nn1，nn2 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

  <!-- 配置nn1的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>mihaoyu152:9000</value>
  </property>

  <!-- 配置nn1的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>mihaoyu152:50070</value>
  </property>

  <!-- 配置nn2的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>mihaoyu153:9000</value>
  </property>

  <!-- 配置nn2的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>mihaoyu153:50070</value>
  </property>

  <!-- 指定JournalNode 在本地磁盘存放数据的位置 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/soft/hadoop260/journaldata</value>
  </property>

  <!-- 指定NameNode的edits元数据在journalNode上的服务器 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://mihaoyu152:8485;mihaoyu153:8485;mihaoyu154:8485/mycluster</value>
  </property>

  <!-- 开启NameNode 自动切换 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

  <!-- 配置namenode失败自动切换的实现方式 -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 配置隔离机制方法 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
  </property>

  <!-- 使用sshfence隔离机制时需要ssh免密登陆 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>

  <!-- 配置sshfence隔离机制超时时间 -->
  <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
  </property>

  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
</configuration>

[root@mihaoyu152 hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@mihaoyu152 hadoop]# vi ./mapred-site.xml
<configuration>
  <!-- 指定mapreduce运算时资源调度框架为 yarn 模式 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <!-- 配置mapreduce历史服务器地址 端口号 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>mihaoyu155:10020</value>
  </property>

  <!-- 配置mapreduce历史服务器WEB访问地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>mihaoyu155:19888</value>
  </property>
</configuration>

[root@mihaoyu152 hadoop]# vi ./yarn-site.xml
<configuration>
  <!-- 开启高可用 -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>

  <!-- 指定ResourceManager的标识：yrc -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
  </property>

  <!-- 指定RM的名字 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>

  <!-- 指定rm1服务器 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>mihaoyu152</value>
  </property>

  <!-- 指定rm2服务器 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>mihaoyu153</value>
  </property>

  <!-- 指定rm 被管理的zk 地址 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>mihaoyu153:2181,mihaoyu154:2181,mihaoyu155:2181</value>
  </property>

  <!-- 运行mapreduce任务时需要使用的服务 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <!-- 开启yarn集群的日志聚合功能 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <!-- 设置日志保存时间 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>86400</value>
  </property>

  <!-- 启动rm自动恢复功能 -->
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>

  <!-- 制定rm 状态信息存储在zookeeper集群上 -->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
</configuration>

[root@mihaoyu152 hadoop]# vi ./slaves
mihaoyu152
mihaoyu153
mihaoyu154
mihaoyu155

[root@mihaoyu152 hadoop]# vi /etc/profile
#hadoop
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

[root@mihaoyu152 soft]# source /etc/profile

[root@mihaoyu152 soft]# xsync hadoop260

[root@mihaoyu152 soft]# xsync /etc/profile

第一次启动集群服务

1、先将zookeeper启动
[root@mihaoyu152 soft]# zkop start
--------------- mihaoyu153 zookeeper start ---------------
JMX enabled by default
Using config: /opt/soft/zookeeper345/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
--------------- mihaoyu154 zookeeper start ---------------
JMX enabled by default
Using config: /opt/soft/zookeeper345/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
--------------- mihaoyu155 zookeeper start ---------------
JMX enabled by default
Using config: /opt/soft/zookeeper345/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[root@mihaoyu152 soft]# zkop status
--------------- mihaoyu153 zookeeper status ---------------
JMX enabled by default
Using config: /opt/soft/zookeeper345/bin/../conf/zoo.cfg
Mode: follower
--------------- mihaoyu154 zookeeper status ---------------
JMX enabled by default
Using config: /opt/soft/zookeeper345/bin/../conf/zoo.cfg
Mode: leader
--------------- mihaoyu155 zookeeper status ---------------
JMX enabled by default
Using config: /opt/soft/zookeeper345/bin/../conf/zoo.cfg
Mode: follower

2、启动journalnode
[root@mihaoyu152 soft]# hadoop-daemon.sh start journalnode
starting journalnode, logging to /opt/soft/hadoop260/logs/hadoop-root-journalnode-mihaoyu152.out

[root@mihaoyu152 soft]# ssh mihaoyu153 "source /etc/profile; hadoop-daemon.sh start journalnode"
starting journalnode, logging to /opt/soft/hadoop260/logs/hadoop-root-journalnode-mihaoyu153.out
[root@mihaoyu152 soft]# ssh mihaoyu154 "source /etc/profile; hadoop-daemon.sh start journalnode"
starting journalnode, logging to /opt/soft/hadoop260/logs/hadoop-root-journalnode-mihaoyu154.out
[root@mihaoyu152 soft]# jqop jps
--------------- mihaoyu152 指令信息 ---------------
jps
5986 Jps
5894 JournalNode
--------------- mihaoyu153 指令信息 ---------------
jps
4676 QuorumPeerMain
4807 Jps
4748 JournalNode
--------------- mihaoyu154 指令信息 ---------------
jps
3570 JournalNode
3493 QuorumPeerMain
3629 Jps
--------------- mihaoyu155 指令信息 ---------------
jps
3378 Jps
3318 QuorumPeerMain

3、格式化 namenode mihaoyu152 mihaoyu153
[root@mihaoyu152 soft]# hadoop namenode -format

[root@mihaoyu152 soft]# cd ./hadoop260/
将mihaoyu152格式化后的hadooptmp文件同步到mihaoyu153
[root@mihaoyu152 hadoop260]# scp -r ./hadooptmp/ root@mihaoyu153:/opt/soft/hadoop260/
VERSION                                                         100%  205   235.0KB/s   00:00    
seen_txid                                                       100%    2     2.4KB/s   00:00    
fsimage_0000000000000000000.md5                                 100%   62   106.3KB/s   00:00    
fsimage_0000000000000000000                                     100%  320   565.5KB/s   00:00    

4、初始化zookeeper
[root@mihaoyu152 hadoop260]# hdfs zkfc -formatZK

[root@mihaoyu153 hadoop260]# zkCli.sh 

5、启动HDFS
[root@mihaoyu152 hadoop260]# start-dfs.sh 
21/11/04 21:40:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [mihaoyu152 mihaoyu153]
mihaoyu153: starting namenode, logging to /opt/soft/hadoop260/logs/hadoop-root-namenode-mihaoyu153.out
mihaoyu152: starting namenode, logging to /opt/soft/hadoop260/logs/hadoop-root-namenode-mihaoyu152.out
mihaoyu153: starting datanode, logging to /opt/soft/hadoop260/logs/hadoop-root-datanode-mihaoyu153.out
mihaoyu155: starting datanode, logging to /opt/soft/hadoop260/logs/hadoop-root-datanode-mihaoyu155.out
mihaoyu154: starting datanode, logging to /opt/soft/hadoop260/logs/hadoop-root-datanode-mihaoyu154.out
mihaoyu152: starting datanode, logging to /opt/soft/hadoop260/logs/hadoop-root-datanode-mihaoyu152.out
Starting journal nodes [mihaoyu152 mihaoyu153 mihaoyu154]
mihaoyu153: journalnode running as process 4748. Stop it first.
mihaoyu154: journalnode running as process 3570. Stop it first.
mihaoyu152: journalnode running as process 5894. Stop it first.
21/11/04 21:40:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting ZK Failover Controllers on NN hosts [mihaoyu152 mihaoyu153]
mihaoyu153: starting zkfc, logging to /opt/soft/hadoop260/logs/hadoop-root-zkfc-mihaoyu153.out
mihaoyu152: starting zkfc, logging to /opt/soft/hadoop260/logs/hadoop-root-zkfc-mihaoyu152.out

[root@mihaoyu152 hadoop260]# jqop jps
--------------- mihaoyu152 指令信息 ---------------
jps
6581 DFSZKFailoverController
5894 JournalNode
6312 DataNode
6185 NameNode
6666 Jps
--------------- mihaoyu153 指令信息 ---------------
jps
4883 NameNode
4676 QuorumPeerMain
5147 Jps
4748 JournalNode
4972 DataNode
5085 DFSZKFailoverController
--------------- mihaoyu154 指令信息 ---------------
jps
3570 JournalNode
3493 QuorumPeerMain
3767 Jps
3659 DataNode
--------------- mihaoyu155 指令信息 ---------------
jps
3318 QuorumPeerMain
3495 Jps
3407 DataNode

6、启动yarn
[root@mihaoyu152 hadoop260]# start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /opt/soft/hadoop260/logs/yarn-root-resourcemanager-mihaoyu152.out
mihaoyu154: starting nodemanager, logging to /opt/soft/hadoop260/logs/yarn-root-nodemanager-mihaoyu154.out
mihaoyu153: starting nodemanager, logging to /opt/soft/hadoop260/logs/yarn-root-nodemanager-mihaoyu153.out
mihaoyu155: starting nodemanager, logging to /opt/soft/hadoop260/logs/yarn-root-nodemanager-mihaoyu155.out
mihaoyu152: starting nodemanager, logging to /opt/soft/hadoop260/logs/yarn-root-nodemanager-mihaoyu152.out
[root@mihaoyu152 hadoop260]# jqop jps
--------------- mihaoyu152 指令信息 ---------------
jps
7139 Jps
6581 DFSZKFailoverController
6821 NodeManager
5894 JournalNode
6312 DataNode
6185 NameNode
6719 ResourceManager
--------------- mihaoyu153 指令信息 ---------------
jps
4883 NameNode
4676 QuorumPeerMain
5188 NodeManager
4748 JournalNode
4972 DataNode
5085 DFSZKFailoverController
5310 Jps
--------------- mihaoyu154 指令信息 ---------------
jps
3570 JournalNode
3922 Jps
3493 QuorumPeerMain
3800 NodeManager
3659 DataNode
--------------- mihaoyu155 指令信息 ---------------
jps
3650 Jps
3318 QuorumPeerMain
3528 NodeManager
3407 DataNode

[root@mihaoyu152 hadoop260]# ssh mihaoyu153 "source /etc/profile; yarn-daemon.sh start resourcemanager"
starting resourcemanager, logging to /opt/soft/hadoop260/logs/yarn-root-resourcemanager-mihaoyu153.out

[root@mihaoyu152 hadoop260]# jqop jps
--------------- mihaoyu152 指令信息 ---------------
jps
6581 DFSZKFailoverController
6821 NodeManager
5894 JournalNode
6312 DataNode
6185 NameNode
7179 Jps
6719 ResourceManager
--------------- mihaoyu153 指令信息 ---------------
jps
4883 NameNode
4676 QuorumPeerMain
5188 NodeManager
5352 ResourceManager
5418 Jps
4748 JournalNode
4972 DataNode
5085 DFSZKFailoverController
--------------- mihaoyu154 指令信息 ---------------
jps
3570 JournalNode
3493 QuorumPeerMain
3800 NodeManager
3659 DataNode
3948 Jps
--------------- mihaoyu155 指令信息 ---------------
jps
3318 QuorumPeerMain
3528 NodeManager
3676 Jps
3407 DataNode

7、启动historyserver
[root@mihaoyu152 hadoop260]# ssh mihaoyu155 "source /etc/profile; mr-jobhistory-daemon.sh start historyserver"
starting historyserver, logging to /opt/soft/hadoop260/logs/mapred-root-historyserver-mihaoyu155.out
[root@mihaoyu152 hadoop260]# jqop jps
--------------- mihaoyu152 指令信息 ---------------
jps
7219 Jps
6581 DFSZKFailoverController
6821 NodeManager
5894 JournalNode
6312 DataNode
6185 NameNode
6719 ResourceManager
--------------- mihaoyu153 指令信息 ---------------
jps
5458 Jps
4883 NameNode
4676 QuorumPeerMain
5188 NodeManager
5352 ResourceManager
4748 JournalNode
4972 DataNode
5085 DFSZKFailoverController
--------------- mihaoyu154 指令信息 ---------------
jps
3570 JournalNode
3972 Jps
3493 QuorumPeerMain
3800 NodeManager
3659 DataNode
--------------- mihaoyu155 指令信息 ---------------
jps
3797 Jps
3318 QuorumPeerMain
3528 NodeManager
3720 JobHistoryServer
3407 DataNode
honconM
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop集群搭建(完全版)——零基础版(附安装包)
weixin_45873289的博客
04-18 1025
首先我们确认要搭建集群的分配： node-1 NameNode DataNode ResourceManager node-2 DataNode NodeManager SecondaryNameNode node-3 DataNode NodeManager 文章目录网络环境准备服务器系统设置JDK 环境安装安装HadoopHadoop 配置文件修改Hadoop 环境变量Hadoop 集群启动...
Hadoop高可用集群
yalin7076的博客
12-20 376
1.简介 若HDFS集群中只配置了一个NameNode，那么当该NameNode所在的节点宕机，则整个HDFS就不能进行文件的上传和下载。 若YARN集群中只配置了一个ResourceManager，那么当该ResourceManager所在的节点宕机，则整个YARN就不能进行任务的计算。 * Hadoop依赖Zookeeper进行各个模块的HA配置，其中状态为Active的节点对外提供服务...
Hadoop安装(集群版)
爱编程
07-12 170
一主两从集群 192.168.32.128 bigdata01 192.168.32.129 bigdata02 192.168.32.130 bigdata03 基础环境准备 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 修改主机名 vim /etc/hostname 免登录设置 ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/auth
Hadoop集群版搭建
ningyunrui的博客
10-19 180
准备搭建一个主机,两个从机的hadoop集群 Host,ip cluster规划 192.168.17.162 namenode,secondarynamenode,Datanode,ResourceManagerNodeManager 192.168.17.163 Datanode, NodeManager 192.168.17.164 Datanode, NodeMan...
Hadoop集群部署（最新版）
不能如期而至的专栏
06-13 456
文章目录准备工作部署计划1.安装JDK和Hadoop2.编写一个集群同步脚本3.配置Hadoop4.单节点启动5.配置SSH免登录6.集群启动7.访问 准备工作 三台虚拟机 hostname hosts配置文件 ip 用户 hadoop101 192.168.43.11 hadoop101192.168.43.12 hadoop102192.168.43.13 hadoop103 192.168.43.11 xiaomao hadoop102 同上 192.168.43.
最详细的Hadoop集群搭建
夜阑听风
05-07 8699
本文，针对hadoop的整体搭建过程，给予一个详细的介绍。1：hadoop版本：采用hadoop-2.6.5版本，下载地址：下载地址下载190M的tar包即可，该包是编译直接可用的。2：我使用的机器版本：Linux version 2.6.32-504.el6.x86_64 (mockbuild@c6b9.bsys.dev.centos.org) (gcc version 4.4.7 201203...
Hadoop集群、高可用、一致性、ETL资料包.zip
10-05
这个资料包主要涵盖了四个关键领域：Hadoop集群、高可用性(HA)、一致性（通过Zookeeper实现）以及ETL（数据提取、转换和加载）过程，特别关注了如何使用Sqoop进行ETL操作。 首先，让我们深入理解Hadoop集群。Hadoop...
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
Hadoop集群高可用与性能优化
05-09
本篇文章将深入探讨Hadoop集群的高可用性和性能优化策略，帮助你构建更加稳定、高效的Hadoop环境。 一、Hadoop高可用性 1. **NameNode HA**: Hadoop集群中的NameNode是元数据管理的关键节点，其高可用性至关重要。...
Hadoop集群高可用的搭建
05-31
在构建Hadoop集群时，高可用（High Availability, HA）是一个关键特性，它旨在消除单点故障，确保服务的连续性和稳定性。本文将详细介绍如何在Hadoop 2.x版本中搭建HDFS-HA（Hadoop Distributed File System - High ...
Hadoop集群高可用配置
weixin_41765352的博客
11-29 1512
最近在学习hadoop大数据技术，自己动手搭建了HA集群，为记录学习过程，特将搭建过程记录在博客。文中的各配置文件均来源于我的自己的配置，只需修改为自己的主机名和路径就可以使用，给和我一样初涉大数据的小白们提供个参考。
Hadoop集群搭建教程（详细）
热门推荐
fanxin_i的博客
05-24 21万+
需要的安装包：    1.jdk压缩包    2.hadoop压缩包请前往我的github上下载相关安装包开始搭建hadoop集群一.使用VMvare创建两个虚拟机，我使用的是ubuntu16.04版本的因为默认的虚拟机主机名都是ubuntu，所以为了便于虚拟机的识别，创建完成虚拟机后我们对虚拟机名进行修改，我们把用于主节点的虚拟机名称设为master(按自己的喜好创建)，把用于从节点的虚拟机名称...
Hadoop环境搭建-3. Hadoop集群版
super_wj0820的博客
02-26 467
在 Hadoop 单机版基础上，搭建一个简单的集群版 文章目录0. 规划1. 克隆虚拟机2. 启动虚拟机，改动静态ip3. 在hosts文件修改ip映射4. 修改 hostname5. 修改hadoop配置文件5.1 core-site.xml 修改5.2 yarn-site.xml 修改5.3 更改 slaves 文件6. 集群版ssh免密钥登录7. 重新格式化 namenode8. 启动 Ha...
Hadoop全分布式集群（3.3.1版本）CentOS7
weixin_46029055的博客
09-30 653
参考了林子雨的教程Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu_厦大数据库实验室博客 但他使用的是ubuntu 的，在一些方面和centos还是不同 Hadoop的安装同样可以参考：Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客 Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客e 但是centos版本的太过时了，我同样通过查询学习，整理了一
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
08-19 1396
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
分享一个基于文本挖掘的微博舆情分析系统Python网络舆情监控系统Flask爬虫项目大数据（源码、调试、LW、开题、PPT）
最新发布
m0_72599287的博客
08-24 1646
本系统的开发旨在构建一个高效的微博舆情分析与监控平台，帮助企业、政府及相关机构实时了解社交媒体上的舆情动态。通过Scrapy爬虫技术自动化地采集微博中与特定舆情相关的数据，并将其存储到MySQL数据库中，以便后续的数据处理和分析。系统还集成了大屏可视化分析功能，通过Echarts展示微博数据的多维度统计信息，如评论、分享、点赞数量以及发布城市和舆情数量等，帮助用户直观地掌握舆情分布和发展态势，为及时应对突发事件和优化决策提供数据支持。
Kubernetes Pod调度基础
henanchenxuyuan的博客
08-22 840
metadata:spec:selector:ports:metadata:spec:selector:template:metadata:labels:spec:ports:备注:kind:service 定义了一个名字为redis-svc 的服务,定义了一个名字为redis-sts的 statefulset，replicas 表示部署 Podkind: statefulset的副本数。
使用docker-compose 搭建es集群
weixin_59367598的博客
08-22 927
docker 部署 es 集群
Hadoop集群高可用与性能优化：深入研究与实践
Hadoop集群的高可用性和性能优化是大数据处理领域的重要议题。Hadoop分布式文件系统(HDFS)作为核心组件，设计初衷是为大规模数据集提供高吞吐量、容错性强的存储解决方案。HDFS的核心结构包括： 1. **NameNode的高...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

honconM

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值