- 博客(99)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 如何进行流批一体架构设计
1. “假如你是一个头脑封闭的人，又在自己有盲点的领域形成了一种观点，结果可能是致命的。所以，花点时间记录一下，你经常在哪些方面因为看不到别人看到的东西而做出糟糕的决策。可以请其他人帮你，...
2021-10-21 15:35:47
946
原创 Flink、Iceberg、Hive元数据互通性研究
今日原则不需要任何人的理解或引导，自然选择的试错过程就能实现改进。我们进行的学习也是这个道理。至少有三种学习能促进进化：以记忆...
2021-10-09 23:41:36
1599
原创 大数据开发设计十大模式总结
*本文为「码上观世界」原创内容今日政论：人类大脑不过3斤重，却能迸发出无情无尽的想法，作为个人，一个人对外部世界的影响微乎其微，但是如果将很多大脑联合起来，其造成的影响却能让整个太阳系不...
2021-09-18 22:16:18
762
原创 如何进行湖仓一体架构设计
*本文为「码上观世界」原创内容今日奇想：火星的现状被认为是未来地球的模样，目前世界主要国家相继探测火星生命存在的可能性，但是仍没有重要进展。假如火星在漫长的历史变迁的某一段时期存在高等生...
2021-09-10 19:30:29
3028
原创 Thrift RPC框架实现原理解析
*本文为「码上观世界」原创内容今日观点：当你是小人物的时候没有看书，当你成大人物后，看书也晚了。大人物没时间看书。你最卑微、最没地位、最不重要、最不被人看中的时候，是你时间最多的时候，你...
2021-08-26 10:50:11
966
原创 Reactor响应模型与实现方式
*本文为「码上观世界」原创内容今日爆料：杭州有家叫某鸭的上市公司，在猎头圈被称做抠鸭，看名字就知道在候选人心目中的形象了。不仅如此，某鸭的面试时间经常安排在饭点（11点）；还不顾大多数互...
2021-08-21 18:38:33
233
原创 基于Flink的实时数据同步原理
数据同步用一个简单的模型可以描述为源端（Source）到目标端（Sink）的数据复制过程。源端通常是数据库比如Mysql、目标端通常是分布式存储系统如HDFS等，在源端和目标端有时需要进行...
2021-08-06 15:49:33
2866
原创 物联网场景中的实时计算问题与方案
物联网应用中一种常见场景是：假设有一流量表（比如供气站的接纳量、风力发电站的风量流量计、居民用户表等），每隔1秒钟上报当前累积量，要求准实时统计该表具当日以及当月和当年的数据量。分析：初看...
2021-07-19 18:43:56
900
3
原创 动态规划在程序算法中的运用
文章首发微信公众号：码上观世界动态规划是在程序算法设计中最重要的方法之一，其重要性不言而喻，而在一些场合其解题思路足让人拍案叫绝，本文通过一个常见的案例开始引入动态规划，然后在其基础上对其...
2021-07-13 21:36:32
374
原创 实时数据应用系统设计方法
传统的大数据应用处理的一般流程是先将业务数据从数据源借助数据迁移工具同步到离线数仓。比如下面的流程图，其中数据源的存储介质可以是关系型数据库或者NOSQL数据库或者实时事件流等。数据管道可...
2021-06-29 21:21:56
508
原创 物联网数据传输协议MQTT介绍与应用开发详解
本文首发微信公众号：码上观世界Part 1 物联网概述1. 物联网概念物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控...
2021-06-13 08:00:00
22814
3
原创 STOMP原理与应用开发详解
本文首发微信公众号：码上观世界。STOMP概述我们已经知道WebSocket是基于TCP协议之上的应用层协议，在 WebSocket API 中，浏览器和服务器只需要完成一次握手，两者之间...
2021-06-08 19:00:00
3732
原创 WebSocket原理与应用
本文首发微信公众号：码上观世界WebSocket概述WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工（同时、双向）通讯的协议。WebSocket 使得客户...
2021-06-04 18:38:56
865
原创 高性能分布式任务队列Celery功能探究
本文讲述的是高性能分布式任务队列Celery的相关功能和设计，Celery因为其良好的设计思想和性能，跟分布式任务调度系统Airflow完美配合，成就了两套知名系统，而Celery更加掩藏...
2021-05-26 20:15:21
740
2
原创 如何快速低成本开发功能强大的分布式任务调度系统
文章首发微信公众号：码上观世界，本文字数9000+，推荐收藏细品。01分布式任务调度系统指的是什么本文将要讲的分布式任务调度系统指的是分布式任务编排系统，主要关注任务的编排和调度等功能，解...
2021-05-20 17:50:21
501
原创 物联网大数据存储利器IoTDB介绍
非物联网场景下的大数据应用通常是从业务库比如关系数据库同步数据到数仓，然后进行离线分析处理和展示。而在实时场景中，实时数据通常借助中间件消息系统如Kafka等转储，然后通过实时处理引擎如S...
2021-05-15 18:13:21
5396
2
原创 领域驱动设计理论与方法
本文首发 微信公众号：码上观世界作者：闻乃松DDD由来与优势软件架构设计的真正目的是解决软件复杂度带来的问题，软件复杂度由来主要由三方面：高并发场景下的对软件高性能要求、业务场景对软件高可...
2021-04-26 19:00:00
429
原创 燃气行业经营概况及数据模型设计指南
上篇中介绍了数仓的设计流程和规范，本篇结合实际案例和最新理论研究介绍数仓设计的实施方法。本案例从与民生直接相关的燃气行业入手，希望设计能够支持行业级的数据模型。在讨论设计之前，了解行业业务...
2021-04-12 12:59:23
813
原创 企业级业务架构设计理论与方法
本文首发微信公众号：码上观世界。导读企业架构转型是企业数字化转型的重要抓手和实施手段，而企业业务架构设计是企业架构设计的重要内容和决定部分，是衔接企业战略和IT项目的桥梁。而如何通过业务架...
2021-04-06 20:05:54
5402
3
原创 论数据湖与数据仓库一体化设计的必要性
数据湖概念数据湖最早是由Pentaho的创始人兼CTO，James Dixon，在2010年10月纽约 Hadoop World大会上提出来的。当时Pentaho刚刚发布了Hadoop的第...
2021-03-26 11:08:40
945
原创 数据仓库模型设计开发流程与规范
版本：V1.0最后修改日期：2021/03/17本文首发微信公众号：码上观世界1. 数据模型设计目标为使下游数据使用方低成本获取一致性的可靠数据服务，数据模型设计方需要达到如下目标...
2021-03-17 18:10:51
3670
1
原创 数据中台系统架构设计
架构总览数据中台通常采用分层架构，各层应用采用微服务化方式构建。针对不同的行业，系统托管方式各不一样，比如传统企业更倾向于采用私有云或自建机房，小型互联网企业倾向采用公有云等；针对不同应用...
2021-03-10 19:01:11
5612
4
原创 如何进行大文件传输？
本文首发微信公众号：码上观世界网络文件传输的应用场景很多，如网络聊天的点对点传输、文件同步网盘的上传与下载、文件上传到分布式文件存储器等，其传输速度主要受限于网络带宽、存储器大小、CPU处...
2021-03-03 09:53:37
2390
1
原创 Flink实时流处理开发入门指南
本文为Flink开发教程系列首篇文章，首发于微信公众号：码上观世界。文章目录Flink 的批和流批处理示例流处理示例开发环境准备PyFlink 安装Flink 服务部署再论流处...
2021-01-07 00:08:14
2360
1
原创 基于对象导航图语言（OGNL）的动态 SQL 生成实现原理
目录前言查找并替换动态查询模板中的变量如何计算查询模板中的变量或者表达式如何设计大众易接受的语法规则和查询模板如何从查询模板中解析动态标签并处理本文来源于微信公众号：码上观世界，本文为完...
2020-12-17 09:42:10
417
原创 高效定时调度算法原理与实现
目录理解定时任务定时任务基本算法基本定时程序完善完善添加任务操作完善调度操作哈希定时调度算法级联时间调度算法理解定时任务在实际应用中，经常会碰到定时的需求场景，大概分为以下几类：...
2020-11-19 23:34:49
984
1
原创 从大数据平台到数据中台
大数据概念2011年，美国麦肯锡在研究报告《大数据的下一个前沿：创新、竞争和生产力》中定义大数据是指大小超出典型数据库软件工具收集、存储、管理和分析能力的数据集。但是这个定义过于简单，作...
2020-10-06 16:11:54
1657
2
原创 大数据数仓设计过程
本文详细论述在大数据环境下的数据仓库设计理论，然后通过燃气行业一个小案例描述数仓的架构设计、ETL过程、模型设计方法和物理实施过程。欢迎订阅！数据仓库概念数据仓库是面向主题的、集成的、不...
2020-09-24 21:29:05
1120
原创 后起SAAS企业如何做数据中台？
在企业数字化转型成为大势所趋，大厂引领数据中台建设并且大包大揽的大背景下，本文就中小SAAS后起企业的数据中台该做什么以及如何做谈谈想法和思路，欢迎交流和斧正。首先开门见山，定义一下什么...
2020-07-17 23:55:25
1493
原创 TCP协议如何保证可靠传输？
文章正文编辑目錄TCP 协议基础面向连接的协议善始善终的连接管理TCP 容错功能 从编程实现角度看 TCP 连接 TCP 大包分裂和重组TCP 重传机制TCP 滑动窗口机制T...
2020-06-27 15:10:12
2467
原创 译|深入理解Metaspace
文章目录什么是 Metaspace？何时分配 Metaspace？何时释放 Metaspace？Metaspace 体系结构匿名类的元空间释放对象内存布局压缩指针 压缩对象指针 ...
2020-06-21 20:59:37
3648
2
原创 深入理解分布式共识算法 Paxos
Paxos算法是Lamport于1998年在《The Part-Time Parliament》论文中首次公开提出的一种基于消息传递的分布式一致性算法，是目前公认的解决分布式一致性问题最...
2020-06-18 12:22:00
1708
2
原创 B+树与数据库索引
目录B+树定义B+树查询操作实现B+树插入操作实现B+树删除操作实现数据库索引原理MySQL索引简介MyISAM索引InnoDB 索引数据库查询机制MySQL索引常见问题MySQL存储引...
2020-06-13 14:08:49
414
原创 限流原理和实现
文章正文编辑目录代理层限流容器限流API 限流 时间窗口 漏桶算法 令牌桶算法总结为了保护暴露在公网上的应用或者服务免遭大流量的系统攻击以及避免由于营销活动等...
2020-06-09 12:50:50
1085
原创 基于 python 协程的并发编程实践
前言假设有一批小文件，每个文件都可以通过 mysql load 的方式导入数据库，请问如何操作可以取得较小的时间和资源消耗？关于这个需求，我们自然会想到各种并发实现方式，比如多进程和多线...
2020-05-25 16:18:42
317
原创 Presto Connector 实现原理
前言Presto 的一大特色是支持多源联合查询，而实现多数据源是通过 Connector 机制来实现的，Presto 内置有多种数据源，如 Hive、MySQL、MongoDB、Kafk...
2020-05-23 22:16:29
2968
原创 如何基于微信小程序开发网约车应用
项目描述为了解决长途如跨城市的出行撮合需求，满足乘客和司机双方自由定价的意愿，特开发一款非及时的打车应用。基本功能是出行用户登录小程序后，根据自己角色选择发布行程计划。行程计划包括出行时间和起始位置以及期望价格；如果是乘客，发布自己的出行计划之后跳转到乘客发布的出行计划列表页，乘客可以点击期望的行程计划，邀请司机接单；如果是司机，需要验证是否已经认证通过。如果没有认证通过则跳转到认证页面，否则跳转到乘客发布的出行计划列表页，选择期望的出行计划，完成接单。司机和乘客通过聊天页面协调出行计划。暂不支持支付
2020-05-19 18:00:16
4732
原创 应用 Flask 开发在线证书颁发系统
Flask 简介Flask 是一个轻量级的可定制框架，使用 Python 语言编写，较其他同类型框架更为灵活、轻便、安全且容易上手。它可以很好地结合 MVC 模式进行开发，开发人员分工合...
2020-05-15 14:45:17
328
1
原创 防老年痴呆系列之手撕红黑树
红黑树是一种自平衡二叉查找树，是在计算机科学中用到的一种数据结构，典型的用途是实现关联数组(可以用非负整数或者字符串等不同类型的值作索引的特殊数组)。它是在1972年由鲁道夫·贝尔发明的...
2020-05-11 10:44:50
967
原创 基于canal的实时数据同步架构
技术背景数据同步作为数仓建设和数据分析的基础环节，其重要性不言而喻。目前业界最常用的做法是离线按天备份，通过批处理的方式直连业务库，将数据全量导入到数仓。这种方式简单直接，不会担心数据丢...
2020-05-02 14:25:01
2276
2
gps开发包（含有 GPSLIB 库的源代码和 Demo 程序）
2010-04-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人