- 博客(7)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 大数据之-flink
Flink实战 Flink的具体优势 1）同时支持高吞吐、低延迟、高性能 2）支持事件时间（发生暗杀事件） 3）支持有状态计算（计算案发时间） 4）高度灵活的窗口（时间窗口） 5）分布式快照（现场拍照） 6）基于JVM实现独立的内存管理（管理现场，拉条） 7）Save Points（保存点）（保存足迹点） Flink编程模型 数据集类型 有界 无界 flink编程接口（对表的操作方式） 高级语言（用SQL） S
2022-01-25 16:23:53
1115
原创 clickhouse杂记
### clickhouse内存不足解决 1、调大内存 2、减少max_threads的值。 peakmemory峰值内存 < （峰值时）线程数*单个内存使用### 同步bug clickhouse tsv->clickhouse 存在null值的时候需要修改配置input_format_tsv_empty_as_default=1### 查看进程 show PROCESSLIST;### 查询并删除查询 select query_...
2022-01-25 16:19:09
394
原创 大数据之-clickhouse
Clickhouse原理解析 OLAP常见架构 OLAP名为联机分析（豆腐分析） 下钻（豆腐下钻） 从“省”下钻到“市” 上卷（豆腐上卷） 从“市”汇聚成“省” 切片(豆腐切片) 将一个或多个维度设为单个固定值，然后观察剩余的维度 切块（豆腐切块） 将商品维度固定成“足球”“篮球”和“乒乓球” 旋转（豆腐旋转） 旋转立方体的一面，如果要将数据映射到一张二维表，那么就要进行旋转，这就等同
2022-01-25 16:14:56
3041
原创 离线和实时大数据开发
离线和实时大数据开发 数据分类 业务系统 Web系统 通常是非格式化的文本文件 外部系统 人工整理 数据结构分类 结构化数据 半结构化数据 非结构化数据 图片 语音 视频 数据开发流程 数据采集和传输 离线 实时 数据存储处理 数据应用 数据管理 数据质量 完整性 数据信息是否存在缺失的状况 .
2021-03-27 15:09:44
846
1
原创 整体性学习法
整体性学习法 模型学习法 第一步：找东西吃（对应获取信息） 简化 长篇大论转关键字 高速 指读法 练习阅读法 积极阅读法 第二步：点菜（对应理解） 理解字面意思 第三步：等菜（对应扩展） 深度拓展（知识的背景探究） 知识从何而来 结论来自何处 为何有这结论 横向括展 相关知识点之间建立联系 纵向拓展 不同知识点之.
2021-03-27 15:03:13
186
原创 flink源码debug
准备：1.下载源码https://flink.apache.org/downloads.html2.git开始：1.通过git cd到flink目录，如下：2.编译mvn clean install -DskipTests -Dhadoop.version=2.6.1 (hadoop版本)，然后就是漫长的等待。3.编译成功后，导入idea，file->open...
2018-11-22 09:55:20
470
原创 Mysql的一些优化
记录一些对数据库操作及一些优化措施,结合截图来验证1. 小结1:对经常使用的字段,添加索引.但是也不宜过多,会占用磁盘空间并会降低写操作的性能.============================================================================2.小结2:尽量减少全表扫描的操作,通过explain获取type类型,进行优化. select...
2018-06-11 10:29:18
180
apache-carbondata-1.5.2-bin-spark2.3.2-hadoop2.7.2
2019-03-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人