情深@骚明-CSDN博客

原创 1-1-链表

1 单链表1.1 链表创建1.1.1 HeroNodeclass HeroNode { public int id; public String name; /** * 用来指向下一个节点 */ public HeroNode next; public HeroNode(int id, String name) { this.id = id; this.name = name; } @Ove

2021-12-19 09:20:53 148

如何处理缓存和高效处理1 自主管理内存Flink从一开始就选择了使用自主的内存管理，避开了JVM内存管理在大数据场景下的问题，提升了计算效率.1.1 JVM内存管理的不足1.1.1 有效数据密度低存储：对象头、实例数据、对齐填充部分导致JVM中有效信息的存储密度很低1.1.2 垃圾回收Full GC会严重影响性能以及和集群中的心跳信息超时，使得无法进行调优1.1.3 OOM问题影响稳定性1.1.4 缓存未命中问题CPU和内存访问效率和计算是差了很多1.2 自主管理内存管理定.

2021-12-18 10:04:40 1320

原创 1-1-03-电信（通信）数据建模

电信行业的计费小场景，该案例与公共事业公司建立的计费数据具有相同的特征1 电信公司的总线矩阵1.1 矩阵行样例1.2 评审前模式2 设计评审训练2.1 评审前考虑因素概述在组织设计评审时常常遇到的设计问题，经常性犯的问题，存在那些违反原则，再次强调，对模型记录各种想法，对设计评审训练更加有效2.1.1 业务需求与实际可用资源的权衡维度模型的设计应该基于对业务需求以及操作型源数据现实的综合理解开展，从业务用户收集到需求后，应该对涉及的数据来源有概略的认识。单单依靠需求来驱动模型会不可避.

2021-12-14 18:52:28 330

原创 1-1-02-OneData体系架构

1 总述1.1 什么是OneData大数据建设方法论从规范定义、数据模型、数据研发到数据服务、可管理、可追溯、规避重复建设、提供标准的、共享的、服务化的数据；1.2 数据架构体系2 规范定义2.1 指标的定义和管理体系统一指标、统一算法口径有效GMV：下单金额支付金额最近一天自然周财年去除大额的逻辑计算逻辑命名规范：下单有效金额：crt_ord_vld_amt最近1天下单有效金额：crt_ord_vld_amt_1d_0012.2 名词术语2.3 案

2021-12-13 21:44:41 1212

原创 9-9-01SQL-总结

1 SQL技能总结1.1 时间1.1.1 时间连续/*时间序列：将表t的数据b的字段扩充范围[2018-01-01,2018-01-07]，并累积对c求和 b字段的值较稀疏的*/CREATE DATABASE wmy DEFAULT CHARSET=utf8;CREATE TABLE wmy.test(`a` VARCHAR(20),`b` VARCHAR(20),`c` VARCHAR(20))DEFAULT CHARSET=utf8;INSERT INTO test

2021-12-13 21:41:24 195

原创 02-Flink检查点

记录：Flink 检查点和状态后端在实际生产中用得特别多，通过学习记录，如果有不对的地方大家多多指教1 Flink checkpoint实战篇1.1 Flink配置jobmanager.rpc.address: dw501jobmanager.rpc.port: 6123jobmanager.memory.process.size: 1600mtaskmanager.memory.process.size: 1728mtaskmanager.numberOfTaskSlots: 1par.

2021-12-12 13:07:33 1143

原创 001-产品和开发之间的区别

数据和产品的区别我是22年毕业，目前的打算是干10年的开发和，然后再从事产品或者做一些管理方便的，增加自己的工作年限和技术以及数据整体意识。一些是自己的一些简单的认识，不停的记录自己在整个大数据的行业的一些认识，希望10年以后回顾自己的学习历史，能有一丝丝的骄傲。...

2021-11-29 22:20:32 1501

原创 01-Apache Flink 中广播状态的实用指南

1 Apache Flink 中广播状态的实用指南本篇是转抄的，只是作为学习的笔记来进行学习使用，下面是作者的信息。王柯凝 Flink 中文社区翻译 | 王柯凝校对 | 邱从贤（山智）自版本 Flink 1.5.0 以来，Apache Flink 提供了一种新的状态类型，称为广播状态（Broadcast State）。在本文中，将解释什么是广播状态，并通过示例演示如何将广播状态应用在评估基于事件流的动态模式的应用程序，并指导大家学习广播状态的处理步骤和相关源码，以便在今后的实践中能实现此类的应

2021-11-29 16:36:05 99

原创 1-1-01-电商数据建模

第一章数据仓库概述1.1 数据仓库概念数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2 数据仓库核心架构第2章数据仓库建模概述2.1 数据仓库建模的意义如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看

2021-11-27 13:42:23 1760

原创 2_2_001_Clickhouse数据查询

2021-11-26 14:07:36 621

weixin_45098163的博客