![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
流计算
文章平均质量分 82
麒思妙想
二手数据科学家
展开
-
一点点魔法,驯服野生Spark
跟大家分享下Spark,谈谈如何修改Spark SQL解析,让其更符合你的业务逻辑原创 2021-12-24 11:04:46 · 347 阅读 · 14 评论 -
半小时学会在Win10上部署K8S,玩转云原生【全干货,建议收藏】
01引子鸽了好久了,终于又一次克服了拖延症,决心写点啥,起因也是因为最近刚好重做了系统,把win10从home版升级到了专业版,可以愉快的安装docker destop 而不需要借助 docker toolbox了。这个使用体验的提升真的是很不错。无论是配置,还是运行容器的可视化,还是一些辅助工具,真的友好了很多,降低了使用门槛。02 Kubernetesk8s 这个名字,起源于古希腊,是舵手的意思,所以它的 logo 即像一张渔网又像一个罗盘,谷歌选择这个名字还有一个深意:既然docke...原创 2021-06-16 15:57:00 · 3292 阅读 · 36 评论 -
[新星计划]通过扩展 Spark SQL ,打造自己的大数据分析引擎
Spark SQL 的 Catalyst ,这部分真的很有意思,值得去仔细研究一番,今天先来说说Spark的一些扩展机制吧,上一次写Spark,对其SQL的解析进行了一定的魔改,今天我们按套路来,使用砖厂为我们提供的机制,来扩展Spark...首先我们先来了解一下 Spark SQL 的整体执行流程,输入的查询先被解析成未关联元数据的逻辑计划,然后根据元数据和解析规则,生成逻辑计划,再经过优化规则,形成优化过的逻辑计划(RBO),将逻辑计划转换成物理计划在经过代价模型(CBO),输出真...原创 2021-06-06 14:25:34 · 1135 阅读 · 18 评论 -
手把手教你玩转物联网
首先,先允许我,读者小可爱们,节日快乐。之前的文章,介绍了Iotdb的LSM,以及Iot中的最佳实践,这次我们看看如何将mqtt和Iotdb整合起来。下面我们开始:iotdb in docker首先,做一个测试环境,我现在越发喜欢docker 和 WSL 了,除了吃点硬盘,内存和CPU资源以外......run in docker直接把该开的端口打开,只是测试环境,我就没再挂目录。docker run -d -p 6667:6667 -p 31999:3199...原创 2021-06-01 21:35:35 · 1447 阅读 · 18 评论 -
案例解析 GBase8s 在工业互联网平台中的应用
目录工业互联网平台 工业4.0 和 中国智造2025 工业大数据 以 GBase8s 为核心的工业互联网数据平台逻辑架构案例解析 模拟MQTT环境 创建MQTT Source 从 GBase8s 获取设备表信息 将处理结果写回数据库 流批混合 总结与展望参考文献工业互联网平台工业互联网作为新一代信息技术与制造业深度融合的产物,通过实现人、机、物的全面互联,构建了一个全要素、全产业链、全价值链连接的、新型的生产制造和服务体系,是..原创 2021-03-23 09:38:20 · 588 阅读 · 8 评论 -
零基础学Flink:实时热销榜Top5(案例)
如前文所预告的一样,今天我们来分析一下,如何通过flink完成实时热销榜单Top5的计算,本文案例,需要使用前文一些内容,如果不了解的同学,请移步《零基础学Flink:Join两个流》。案例代码存放在https://github.com/dafei1288/flink_casestudy前文我们已经聚合好了两条流,结果是将汇率和订单价格最终计算成最后的成交价格。其数据结构...原创 2019-08-12 23:30:28 · 1864 阅读 · 3 评论