大数据
文章平均质量分 71
!@123
这个作者很懒,什么都没留下…
展开
-
spark sql-Broadcast Hash Join、SMB-JOIN
brocast join、SMB-join原创 2023-12-05 09:54:54 · 840 阅读 · 0 评论 -
spark sql基于CBO的优化
SparkSql RBO原创 2023-12-05 09:15:50 · 723 阅读 · 0 评论 -
spark sql基于RBO的优化
SparkSql、RBO原创 2023-12-04 23:59:11 · 788 阅读 · 0 评论 -
flink集群部署
flink集群部署原创 2023-10-06 07:08:29 · 742 阅读 · 0 评论 -
spark on hive
spark on hive原创 2023-10-05 18:10:28 · 1269 阅读 · 0 评论 -
spark集群搭建
虚拟机配置bigdata-hmaster 192.168.135.112 4核心 32GBbigdata-hnode1 192.168.135.113 4核心 16GBbigdata-hnode2 192.168.135.114 4核心 16GBspark常用端口:8081:主界面18080:历史服务,该配置在配置文件中指定hosts配置,且三台机器中master节点能够通过ssh免密登录其它两台机器。原创 2023-10-05 17:37:49 · 377 阅读 · 0 评论 -
flink的状态和容错
RocksDB状态量受限于本地磁盘的大小,但是rocksdb支持增量的快照,对于大量变化的缓慢状态应用来说是很好的。假设存在一个序列,序列中的元素是具有不同颜色与形状的图形,我们希望在序列里相同颜色的图形中寻找满足一定顺序模式的图形对(比如在红色的图形里,有一个长方形跟着一个三角形)。因为flink不具备跨task的通信,所以给予了广播流的读写权限,这样在所有task中都能够看到,并且要求对这些元素的处理是一致的,那么所有的task得到的broadcast sate是一致的。原创 2023-09-25 11:42:21 · 127 阅读 · 0 评论 -
flink窗口相关
flink窗口原创 2023-09-21 14:24:15 · 77 阅读 · 0 评论 -
flink关于watermark的生成
flink关于watermark原创 2023-09-21 06:36:01 · 171 阅读 · 0 评论 -
spark应用优化与调优
spark优化原创 2023-09-08 15:02:23 · 137 阅读 · 0 评论 -
spark结构化数据api
spark原创 2023-09-08 14:57:41 · 66 阅读 · 0 评论 -
hive文件存储格式orc和parquet详解
hive orc parquet原创 2023-09-02 09:41:11 · 3587 阅读 · 0 评论 -
hive基础知识
hive、大数据原创 2023-08-28 11:07:57 · 68 阅读 · 0 评论 -
kafka的架构和组成,kakfa生产者详解
kafka生产者原创 2023-08-15 23:00:45 · 228 阅读 · 0 评论 -
hadoop集群部署
linux、hadoop原创 2023-08-14 13:32:13 · 113 阅读 · 0 评论 -
linux部署kafka集群
linux、kafka原创 2023-08-12 10:59:28 · 150 阅读 · 1 评论 -
centos7部署zookeeper集群
linux、zookeeper原创 2023-08-11 22:20:08 · 73 阅读 · 1 评论