![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
问简
源码寻真爱
展开
-
Flink CDC 2.0 实践
一、什么是Flink CDC1.1 什么是 Flink-CDCFlink-CDC 是 Flink 上的 CDC 项目,该项目为各数据库产品提供 CDC 能力。将该项目的相关 jar 包放置在 {Flink安装目录}/lib/ 下,就完成了 CDC 的部署。此时可通过 flink-sql 创建 flink-job 进行数据库 CDC 。1.2 什么是 CDCChange Data Capture , 使用CDC我们可以从数据库中获取已提交的【数据变更】并将这些【数据变更】发送到下游【目标数据库原创 2022-01-26 18:08:23 · 2963 阅读 · 0 评论 -
2021-08-02 Spark , Flink 区别
Spark , Flink 区别spark , 是基于批次的流计算。(秒级)flink , 是基于单条记录的流计算。(毫秒级)时间spark , 仅支持处理时间。(如果数据堆积,会有误差)flink , 支持事件时间、注入时间、处理时间。(watermark 可以处理迟到的数据,对于乱序更有优势)架构Spark 角色: Master 、Worker 、 Driver 、ExcutorFlink 角色:JobManager 、TaskManger 、Slot...转载 2021-08-26 10:14:58 · 161 阅读 · 0 评论 -
Zookeeper UI工具
Client UI 方式ZooViewerPrettyZoo( 推荐 )Client Web UI 方式原创 2021-07-30 18:17:24 · 205 阅读 · 0 评论 -
HDFS 命令
(1) 列出HDFS下的文件/usr/local/hadoop$bin/hadoop dfs -ls(2) 列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/hadoop dfs -ls in(3) 上传文件将hadoop目录下的test1文件上传到HDFS上并重命名为test:/usr/local/hadoop$bin/hadoop dfs -put test1 test(4) 文件被复制到本地系统中将HDFS中的in文件复制到本地系统并命名为get原创 2021-05-14 17:28:44 · 121 阅读 · 0 评论 -
Hive、HBase的区别
hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。hbase可以认为是hdfs的一个包装。他的本质是数据存储,是个NoSql数据库;hbase部署于hdfs之上,并且克服了hdfs在随机读写方面的缺点。-HiveHbase定位数据仓库Key/Value存储简述高延迟、结构化、面向分析低延迟、非结构化和面向编程结构行存储列存储类型逻辑表物理表SQL..转载 2021-04-25 18:07:38 · 195 阅读 · 0 评论 -
Hadoop版本树、分代
Hadoop版本混乱多变,应该分代学习,而非分版本学习。 第一代hadoop 和 第二代 hadoop 是完全不同的两个产品第一代 Hadoop ● 0.20.x 2010年 ● 0.21.x ● 0.22.x ● 1.0.x (由 0.20.x 演化而来)(稳定版)第二代 Hadoop (完全不同于Hadoop 1.0,是一套全新的架构) ● 0.23.x 2011原创 2017-05-03 00:19:45 · 313 阅读 · 0 评论 -
Hive 用户权限管理
角色创建角色create role role_name;显示角色show roles;删除角色drop role role_name;12345678用户用户进入admin角色权限set hive.users.in.admin.role;set role admin;查看某用户的所有角色show role grant user...转载 2019-04-02 15:05:42 · 3879 阅读 · 0 评论 -
CDH 是什么
一、痛点一个产品的出现肯定是为了解决用户的痛点,在大数据领域,我们这些使用Hadoop、Hive、Hbase等的开发者来说就是其用户。如果使用原生的ApacheHadoop,在工作中我总结出了如下痛点(部分):1、集群规模很庞大时搭建Hadoop集群复杂度越来越高,工作量很大2、规模很大的集群下升级Hadoop版本很费时费力3、需要自己保证版本兼容,比如升级Hadoop版本后需要自己保证与...原创 2019-04-02 15:51:26 · 49244 阅读 · 0 评论