- 博客(7)
- 资源 (4)
- 收藏
- 关注
原创 大数据之-flink
Flink实战 Flink的具体优势 1)同时支持高吞吐、低延迟、高性能 2)支持事件时间(发生暗杀事件) 3)支持有状态计算(计算案发时间) 4)高度灵活的窗口(时间窗口) 5)分布式快照(现场拍照) 6)基于JVM实现独立的内存管理(管理现场,拉条) 7)Save Points(保存点)(保存足迹点) Flink编程模型 数据集类型 有界 无界 flink编程接口(对表的操作方式) 高级语言(用SQL) S
2022-01-25 16:23:53
1115
原创 clickhouse杂记
### clickhouse内存不足解决 1、调大内存 2、减少max_threads的值。 peakmemory峰值内存 < (峰值时)线程数*单个内存使用### 同步bug clickhouse tsv->clickhouse 存在null值的时候需要修改配置input_format_tsv_empty_as_default=1### 查看进程 show PROCESSLIST;### 查询并删除查询 select query_...
2022-01-25 16:19:09
394
原创 大数据之-clickhouse
Clickhouse原理解析 OLAP常见架构 OLAP名为联机分析(豆腐分析) 下钻(豆腐下钻) 从“省”下钻到“市” 上卷(豆腐上卷) 从“市”汇聚成“省” 切片(豆腐切片) 将一个或多个维度设为单个固定值,然后观察剩余的维度 切块(豆腐切块) 将商品维度固定成“足球”“篮球”和“乒乓球” 旋转(豆腐旋转) 旋转立方体的一面,如果要将数据映射到一张二维表,那么就要进行旋转,这就等同
2022-01-25 16:14:56
3041
原创 离线和实时大数据开发
离线和实时大数据开发 数据分类 业务系统 Web系统 通常是非格式化的文本文件 外部系统 人工整理 数据结构分类 结构化数据 半结构化数据 非结构化数据 图片 语音 视频 数据开发流程 数据采集和传输 离线 实时 数据存储处理 数据应用 数据管理 数据质量 完整性 数据信息是否存在缺失的状况 .
2021-03-27 15:09:44
846
1
原创 整体性学习法
整体性学习法 模型学习法 第一步:找东西吃(对应获取信息) 简化 长篇大论转关键字 高速 指读法 练习阅读法 积极阅读法 第二步:点菜(对应理解) 理解字面意思 第三步:等菜(对应扩展) 深度拓展(知识的背景探究) 知识从何而来 结论来自何处 为何有这结论 横向括展 相关知识点之间建立联系 纵向拓展 不同知识点之.
2021-03-27 15:03:13
186
原创 flink源码debug
准备:1.下载源码https://flink.apache.org/downloads.html2.git开始:1.通过git cd到flink目录,如下:2.编译mvn clean install -DskipTests -Dhadoop.version=2.6.1 (hadoop版本),然后就是漫长的等待。3.编译成功后,导入idea,file->open...
2018-11-22 09:55:20
470
原创 Mysql的一些优化
记录一些对数据库操作及一些优化措施,结合截图来验证1. 小结1:对经常使用的字段,添加索引.但是也不宜过多,会占用磁盘空间并会降低写操作的性能.============================================================================2.小结2:尽量减少全表扫描的操作,通过explain获取type类型,进行优化. select...
2018-06-11 10:29:18
180
apache-carbondata-1.5.2-bin-spark2.3.2-hadoop2.7.2
2019-03-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人