![](https://img-blog.csdnimg.cn/20210426234346180.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
从零学习搭建物联网中台
文章平均质量分 59
从零学习物联网中台技术体系搭建(包含智能设备、传输设备、边缘计算、云平台、大数据、微服务等),基于flink+springboot+kafka+es+mongodb+mysql+emqx+alicloud
mask哥
手艺人,爱好撸码,折腾电子产品以及开源项目
展开
-
2.flink技术概览
1.流处理引擎的演变 第一代,2011年,专注于毫秒级延迟处理数据并保证系统故障时事件不会丢。缺点:api非常底层,没对流式应用结果饿准确性和一致性提供内置保障,结果完全取决于事件到达的时间和顺序。 lamda架构 第二代,2013,提供了完善的故障处理机制,即便出现故障,能保证每条记录仅参与一次结果运算。缺点:通过增加延迟,保证高吞吐量和故障处理,结果仍然依赖事件到来的时间和顺序。 第三代,2015,解决了结果对事件到来时间以及顺序的依赖问题。2.flink特点...原创 2021-09-20 20:42:22 · 335 阅读 · 0 评论 -
3.flink运行时架构解析
1.Flink 运行时架构主要组成: Client、JobManager(master节点)和TaskManger(slave节点)。Client:Flink 作业在哪台机器上面提交,那么当前机器称之为Client。用户开发的Program 代码,它会构建出DataFlow graph,然后通过Client提交给JobManager。JobManager:是主(master)节点,相当于YARN里面的REsourceManager,生产环境中一般可以做HA 高可...原创 2021-09-23 08:13:59 · 287 阅读 · 1 评论 -
1.实时数仓-典型应用场景
1.CDC备注:flink中已经实现了cdc机制,相比上图spark对cdc的实现更加简洁高效,对于做db数据全量和增量同步;2.ETL3.实时数仓典型技术架构原创 2021-09-21 10:33:44 · 1001 阅读 · 0 评论 -
0.如何高效的学习数据中台
数据仓库是面向主题的、集成的、稳定的和随时间变化的数据集合,是一个数据分析处理过程,而不仅仅是一个数据存储软件或产品 数仓建模理论 Inmon提出的自下而上的(EDW-DM)范式建模; kimbal提出的自上而下(DM-DW)的维度建模;(目前推荐使用的多) 数据建模流程3.数仓的分层 ODS(operational Data Store):数据操作层存放原始数据 DWD(Data Warehouse Detail):数据明细层,对ODS层数据进行清...原创 2021-09-21 11:50:39 · 129 阅读 · 0 评论 -
数据中台建设方法
分主题域管理 命名规范定义:表的名称需携带表的主题域、业务过程、分层以及分区信息;构建全局的指标字典。 数据中台采用分层的设计方法,常见的分层模型如下: 指标一致 数据模型复用 数据完善 #构建统一的数据规范标准; #数据即服务,数据中台中数据是通过API接口的方法访问;提高数据共享能力,让数据被用好; 元数据: 数据中台技术体系: HADOOP HDFS:分布式文件系统 YARN/K8S:资源调度系统 SPARK/FLINK:计算引擎 ...原创 2021-10-28 13:51:54 · 977 阅读 · 0 评论 -
物联网常见协议技术汇总
常见物联网协议技术实现汇总原创 2022-04-24 18:33:14 · 2188 阅读 · 0 评论 -
物联网设备接入流程与平台架构
原创 2021-06-22 21:47:01 · 2706 阅读 · 0 评论 -
中台战略的本质
构建大中台,小前台组织机制和业务机制,敏捷快速适应市场变化 中台集合一个公司的运营数据能力、产品技术能力,对各前台业务形成强力支撑 提倡:厚平台,薄应用架构模式 共享服务中心的架构目的是通过业务拆分降低系统的复杂性;通过服务共享提供可重用行;通过服务化来支持业务的敏捷性;通过统一的数据架构来消除数据交换的屏障; 共享服务中心是承载业务逻辑、沉淀业务数据、产生业务价值的业务单元 共享服务的目标是把普通的服务能力升级为组件化的服务并提供良好的治理能力...原创 2021-06-17 19:49:03 · 256 阅读 · 0 评论 -
物联网平台:一份全面前端知识总结
总结这份前端知识主要包含以下几部分:1.开发工具 vscode 常用插eslint/npm/prettier(代码风格)/vetur/liveserver/ant desgin vue/stylelint/element ui helper chrome浏览器 nodejs vue-devtools:调试vue yarn/npm:依赖包管理 webpack:前端资源加载打包 根据模块规则生成静态资源; 安...原创 2021-06-12 19:44:58 · 4756 阅读 · 4 评论 -
物联网(lot)特定场景最佳实践
业务场景 参考方案IoT设备三元组烧录4种方案 https://developer.aliyun.com/article/776250设备离线时,消息触达2种方案 https://developer.aliyun.com/article/720745设备标签管理功能使用案例 https://developer.aliyun.com/article/720282设备在线/离线状态缓存方...原创 2021-05-25 15:11:45 · 823 阅读 · 0 评论 -
物联网平台:前端技术选型总结
(1)技术选型针对物联网管理平台主要负责设备管理、指令下发、上报数据图表展示等功能.结合当前流程的主流前端技术框架应用情况考虑如下: 前端开发技术选型可采用vue3.0+typescript+elementUI(组件库)+html5+vuex(状态管理)作为核心的开发技术.采用npm+nodejs:进行前端包管理 采用webpack/yarn:进行资源加载和打包工具 采用vuetools:调试vue#########...原创 2021-05-25 14:33:47 · 4317 阅读 · 11 评论 -
物联网平台:大数据技术体系
1.大数据技术生态体系:2.hadoop三大发行版本: apache:免收费,适合学习研究,主流 cloudera:收费版本CDH,互联网公司用的多 ,主流 hortonworks:文档好,使用的少3.大数据研发组织构成: 平台组:使用hadoop/hive/spark等框架搭建大数据集群平台;集群性能监控;性能优化; 数据仓...原创 2021-05-20 19:35:50 · 577 阅读 · 0 评论 -
最全物联网技术体系
1.物联网核心技术 三大热门技术: 家居自动化 工业物联网技术 三大要素:智能机器、高级分析、工作人员连接 无人驾驶 IPV6:物联网建设通信基础 IPv6优点:主机自动配置;传输数据包大于64k;安全机制IPsec 无线传感网络:信息采集保障 无线传感网络主要技术: 1.定位技术 2.数据融合技术:数据存储、数据计算加工 ...原创 2021-05-20 14:11:27 · 5085 阅读 · 12 评论 -
lot物联网场景通用架构分享
1.通用参考架构:2.lot物联网硬件设备上云技术方案:#lot物联网业务链路包含:数据采集,通信连接,数据存储,数据可视化,洞察,行动决策;其中以设备端各种厂商提供得协议差异,导致通讯连接困难#针对不同场景的设备上云可采取的方法: 1>.资源丰富类设备高性能硬件的发展,很多智能设备带有完整的Linux、Android、Arduino等操作系统,在操作系统层面,解决了不同通信模块的差异,硬件端的应用程序只需要集成云平台的IoT SDK,或者集成开源MQTT SDK即可和云..原创 2021-05-06 08:36:01 · 5423 阅读 · 10 评论 -
物联网技术体系(二)
接着上节。。。3.应用层:分为应用支撑层(数据采集、数据传输、数据处理(流批计算)、数据存储、数据分析、AI),行业应用层(智慧工地、智慧城市...)==================================================================================================================从实现技术角度自底向上主要采用以下技术:1.感知层: 智能网关:可以采用树莓派搭载以下环节进行开发,衔接起...原创 2021-04-29 12:56:39 · 1176 阅读 · 4 评论 -
物联网技术体系(一)
物联网的技术体系主要分为大三层:1.感知层:1.1终端设备:物联网芯片Arduino,Raspberry Pi,ESP32,C51,Stm32系列,华为NB-IOTstm32I4开发板,cc2530开发板;1.2.终端设备搭载的嵌入式操作系统:VxWorks、FreeRTOS(多任务实时操作系统)、LiteOS、mbed1.3.IoT 开发平台:Ruff、Tessel、JerryScript、Johnny-Five,PTC Thingworx,Software AG Cumulocit..原创 2021-04-28 23:39:49 · 4760 阅读 · 8 评论 -
理解物联网(定义)
1.物联网的定义:通过信息传感设备,按照约定协议,把任何物品与互联网连接起来,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理。是互联网的延伸扩展。2.物联网的特征:感知透彻性、互联广泛性、应用智能性3.互联网秩序:立言、立德、立法4.物联网连接场景5.四层物联网结构6.物联网三层结构模型示意图:7.物联网四要素:8.物联网数据使用流程:9.物联网技术体系:10.物联网中终端平台技术体系:11.物联网中台通用解决方案:...原创 2021-04-28 18:44:07 · 3773 阅读 · 0 评论 -
flink安装启动
1.下载安装包,解压缩;修改conf下flink-conf.yaml中参数2.启动flink server./bin/start-cluster.sh3.访问http://localhost:80814.执行程序./bin/flink run examples/batch/WordCount.jar5.停止flink server./bin/stop-cluster.sh...原创 2019-06-29 23:37:01 · 280 阅读 · 0 评论 -
物联网消息中间件:emqx broker安装(mqttserver)
1. 下载 emqx-ubuntu20.04-4.2.11-x86_64.deb SHA256wget https://www.emqx.cn/downloads/broker/v4.2.11/emqx-ubuntu20.04-4.2.11-x86_64.deb2. 安装sudo apt install ./emqx-ubuntu20.04-4.2.11-x86_64.deb3. 运行sudo emqx start4.访问emqx dashboard :http://192.168.0.110原创 2021-04-27 12:40:39 · 1090 阅读 · 4 评论 -
物联网中台学习框架
原创 2021-04-27 00:20:08 · 606 阅读 · 0 评论