- 博客(1089)
- 资源 (10)
- 收藏
- 关注
原创 数据仓库思维导图
一、数据仓库 1.1、什么是数据仓库 1.1.1、简介 1.1.2、四个特性 1.1.2.1、面向主题 1.1.2.2、集成化的 1.1.2.3、稳定性 1.1.2.4、随着时间变化的 1.2、数据仓库发展 1.3、数据库与数据仓库的区别 1.4、数据仓库架构分层 1.5、元数据介绍 1.6、数据仓库建模 1.6.1、事实表 与 维度表 1.6.2、雪花模型 1.6.3、星型模型 1.6.4、星座模型 1.7、 1.x、 1.
2021-08-25 21:16:15 1432 5
原创 impala目录导图
一、Impala介绍二、Impala架构及组件三、安装(这个忽略,使用的CDH,傻瓜式安装v3.1.0-cdh6.1.1)四、Impala-shell五、SQL语法
2020-12-29 06:53:53 295
原创 kafka目录导读(入门到进阶)
一、部署1.1、安装部署二、概念及理论2.1、2.2、kafka文件存储三、整合3.1、kafka+flume3.2、flume+kafka+stormflume之kafkaSinkstrom之KafkaSpout测试问题
2020-05-06 15:48:58 489
原创 大数据开发 岗位需要的知识
一、大数据的三个发展方向平台搭建/优化/运维/监控大数据开发/设计/架构数据分析/挖掘。二、大数据的4V特征:数据量大,TB->PB数据类型繁多,结构化、非结构化文本、日志、视频、图片、地理位置等;商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖掘出来;处理时效性高,海量数据的处理需求不再局限在离线计算当中。 现如今,正式为了应对大数据...
2020-04-22 17:54:33 819
原创 ES入门与进阶
ES 类比 MySqlMySqlESdatabase(数据库)index(索引库)table(表)type(类型)row(行)document(文档)column(列)field(字段)
2019-02-07 14:22:48 1244 1
原创 Hive目录导图
一、hive基础篇1.1、介绍1.2、安装1.3、命令1.4、数据模型1.5、表结构1.6、函数1.7、hive的jdbc模式
2018-08-06 09:46:38 858 2
原创 【SQL】Spark SQL 比较上下两条数据,多个字段多个条件,赋值一个结果字段成一个array,
比较上下两条数据,多个字段多个条件,赋值一个结果字段成一个array,
2023-10-10 10:03:51 420
原创 nvcc not found
报错:nvcc fatal : Value ‘compute_30’ is not defined for option ‘gpu-architecture’检查cuda 安装成功。cuda 目录下没有。
2023-08-14 21:41:36 791
原创 [docker] Error response from daemon: reference does not exist
docker 删除镜像报错
2023-05-14 21:29:28 4313
原创 UTC时间、GMT时间、CST时间(北京时间)、时间戳
Greenwich Mean Time,格林尼治平时,又称格林尼治平均时间或格林尼治标准时间。是指位于英国伦敦郊区的皇家格林尼治天文台的标准时间。GMT存在较大误差,因此现在已不再被作为标准时间使用。现在的标准时间,是由原子钟报时的协调世界时(UTC):Universal Time Coordinated,中文名称:世界标准时间或世界协调时。UTC时间可以理解为。它实际上反映了一种约定,即为全世界所认可的一个统一时间,而不是某特定地区的时间。中国人常用的。
2023-04-22 12:25:19 25744
原创 Hudi集成Flink-写入方式
参考: https://chbxw.blog.csdn.net/article/details/119841434。CDC(change data capture) 保证了完整数据变更,目前主要有两种方式。1、kafak 作为 源表,flinksql 消费kafka。1、使用 mysql-cdc 监听 binlog。3、将 kafka 中数据 写入 hudi。2、kafka 作为 sink表。接下来我们主要介绍 第二种方式。2、创建hudi目标表。3、写入sink 表。
2023-04-14 00:08:25 1824
原创 hudi 与 Flink 整合
只编译 packaging/hudi-flink-bundle 及其依赖的模块。修改pom.xml 中 flink 的版本。
2023-04-09 15:09:31 536
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人