![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 75
Wangsh@
言念君子,温其如玉。
展开
-
Datanode 启动失败
原因:部署新大数据集群时执行了多次namenode format操作,导致clusterID 变化了,而我在第一次format操作后启动了一次datanode,所以启动datanode后/data/hadoop/hdfs/datanode/current/VERSION 里记录了第一次的clusterID,第二次format后clusterID发生了变化,导致datanode启动不了,原创 2024-04-23 11:46:15 · 164 阅读 · 0 评论 -
Hbase基本操作
Hbase创建表的时候不需要创建所有列簇,对于空(null)的列,并不占用存储空间,因此表可以设计的非常稀疏。命令格式:put '表名',‘行键','列簇名','列名','值',[时间戳]命令格式1:create ‘表名’,‘列簇名1’,‘列簇名2’…获取指定行,指定行中的列簇,列的信息。原创 2023-04-18 14:01:19 · 1315 阅读 · 1 评论 -
redis 5.0.3 安装部署
redis 5.0.3 安装部署原创 2023-04-06 14:16:43 · 734 阅读 · 0 评论 -
Kafka + Canal + MySQL 集群部署
canal产生的背景:早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。canal 翻译为水道,管道,沟渠,是由java语言开发的,它的定位就是基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持mysql/mariadb。原创 2023-04-04 17:58:58 · 2867 阅读 · 0 评论 -
Hbase 集群的安装部署
hbase集群安装部署原创 2023-03-31 16:48:19 · 699 阅读 · 0 评论 -
ZooKeeper 集群部署
ZooKeeper集群部署原创 2023-03-30 14:06:35 · 576 阅读 · 0 评论 -
Hadoop - YARN
Hadoop能有今天的地位,YARN功不可没,因为有了YARN,更多计算框架可以接入到HDFS中,而不单单是MapReduce,正是因为YARN的包容,使得其他计算框架能专注于计算性能的提升。可以把Hadoop YARN理解为相当于一个分布式的操作系统平台,而MapReduce等计算程序则相当于运行于操作系统之上的应用程序,YARN为这些程序提供运算所需的资源(内存,CPU等)。第二个阶段是由ApplicationMaster根据本次程序内部具体情况,为它申请资源,并监控它的整个运行过程,直到运行完成。原创 2023-03-29 14:17:19 · 1244 阅读 · 0 评论 -
Hadoop - HDFS文件系统
文件系统是一种存储和组织数据的方法,实现了数据的存储,分离组织,访问和获取等操作,使得用户对文件访问和查找变得容易。文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念,用户不必关心数据底层存在硬盘哪里,只需要记住这个文件的所属目录和文件名即可。文件系统通常使用硬盘和光盘这样的存储设备,并维护文件在设备中的物理位置。所谓传统常见的文件系统更多指的的单机的文件系统,也就是底层不会横跨多台机器实现。比如windows操作系统上的文件系统、Linux上的文件系统、FTP文件系统等等。原创 2023-03-29 14:06:09 · 2126 阅读 · 0 评论 -
Hadoop集群安装部署
hadoop集群的搭建原创 2023-03-28 17:58:30 · 3023 阅读 · 0 评论 -
Hadoop概况
广义上的Hadoop指的是围绕Hadoop打造的大数据生态圈原创 2023-03-28 11:59:13 · 1518 阅读 · 0 评论