自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 人工智能解决方案 --- 智能运维

运维背景知识 A. 运维体系:SRE/CRE A. Google SRE概述 B. Google SRE指导思想 B. Google SRE指导思想 - 拥抱风险 C. Google SRE 实践 C. Google SRE 实践 - 产品发布 D. Google SRE 管理 ...

2019-05-18 09:19:44 5604 0

原创 大数据平台 - 其他

大数据平台 - 其他 数据可视化平台 可视化平台产品定位和需求分析 大的产品功能维度 以页面维度为单位进行自定义配置开发,在页面中可以自由添加多个图表展示控件。 支持自定义图表页面布局的能力,包括但不限于 Frame 和 Column 等基础布局组件。 支持常用的图表和文本组件,支持过滤器等组...

2020-05-21 23:35:14 175 0

原创 大数据平台 - 整体建设思想

大数据平台 - 整体建设思想 大数据平台整体建设思想 目标 为使用平台的用户解决了哪些问题,扫除了哪些障碍,提升了多少工作效率,附加了哪些增值收益 内部组件的横向联通能力 业务流程上纵向贯穿打通上下游链路的能力 建设指导方针 组件工具化 工具平台化 平台服务化:平台提供的内容是不是用户最...

2020-05-21 23:30:22 90 0

原创 B. 阿里巴巴 数据中台 --- 总结

B. 阿里巴巴 数据中台 — 总结 最近发展 数据技术领域 数据模型领域:核心职责依然是负责数据模型的建设和管理。在阿里巴巴数据公共层建设时期,该领域关注全局数据模型的设计和数据模型师的培养,而此时更关注的是,如何将数据模型师的经验转换成专家系统,解决业务的逻辑建模、物理建模,以及两者的转换和...

2020-04-06 14:32:25 124 0

原创 B. 阿里巴巴 数据中台 --- OneEntity体系方法论 与 OneService体系方法论

B. 阿里巴巴 数据中台 — OneEntity体系方法论 与 OneService体系方法论 OneEntity体系方法论 OneEntity统一实体 分类 一般质量OneEntity:不能贴上“特定标签”的OneEntity 高质量OneEntity:能够贴上“特定标签”,这里的“特定标...

2020-04-06 14:29:55 815 0

原创 B. 阿里巴巴 数据中台 --- OneData体系方法论

B. 阿里巴巴 数据中台 — OneData体系方法论 第一个关键点:数据仓库规划和数据规范定义 基于业务但超越和脱离业务需求限制的抽象:例子 业务:电商 数据域:交易 业务过程:加入购物车 业务过程:下单 业务过程:支付 业务过程:确认收货 业务过程:申请退款 维度:订单 维度:买家 维...

2020-04-06 14:26:39 339 0

原创 A. 阿里巴巴 数据中台 --- 概述

A. 阿里巴巴 数据中台 — 概述 概述 云上数据中台业务模式 — 6大独特价值 业务体感 OneTeam协同作战 特色大数据人 云上数据中台大数据技术 云上数据中台建设方法论 云上数据中台产品化服务 底层基础设施 业务前台 — 业务数据化 VS 数据业务化 云上数据中台 — 智能数据能...

2020-04-06 14:22:46 90 0

原创 A. 阿里巴巴 数据中台 --- 建设之路

A. 阿里巴巴 数据中台 — 建设之路 现状 不同的业务有不同的ETL团队,有不同的数据体系 业务上的困扰 数据标准 定义:字段命名规范、口径不统一、算法不一致 开发:面向各业务线的“烟囱式”数据开发,在浪费技术资源的同时造成了数据重复且不可信 维护:上线容易下线难,源业务系统或业务自身变...

2020-04-06 14:14:06 86 0

原创 C. 数据仓库 --- ETL

C. 数据仓库 — ETL 需求综合 业务需求:在项目将要支持的业务需求定义期间,必须维护一个揭示关键性能指标的列表,以及业务用户需要研究某个KPI"为什么"发生变化时,所需要的下钻和跨钻目标 合规性:需要列出所有的数据以及最终报表主体要遵守的法律限制。 数据质量:将已经知道...

2020-04-06 13:44:09 38 0

原创 C. 数据仓库 --- 生命周期

C. 数据仓库 — 生命周期 概述 第一步:程序/项目规划 第二步实施(程序/项目管理):业务需求定义 技术结构设计 产品选择安装 维度建模 物理设计:ETL设计与开发 BI应用设计:BI应用开发 第三步部署(程序/项目管理) 第四步 发展 — 重新规划程序/项目 维护 ...

2020-04-06 13:35:42 37 0

原创 C. 数据仓库 --- Kimball架构

C. 数据仓库 — Kimball架构 Kimball关键性概念 总线架构:多维体系结构主要包括后台(Back Room)和前台(Front Room)两部分。 后台也称为数据准备区(Staging Area),是MD架构的最为核心的部件。在后台,是一致性维度的产生、保存和分发的场所。同时,代...

2020-04-06 13:08:05 35 0

原创 B. 数据仓库 --- 建模技术 --- 事实表 --- 针对事实表的时间跟踪

B. 数据仓库 — 建模技术 — 事实表 — 针对事实表的时间跟踪 概述 存在三种基本事实表粒度:事务级别、周期快照和累积快照。个别情况下,在事实表中增加行有效时期、行截止日期和当前行标识是非常有用的,与采用类型2缓慢变化维度,在事实行有效时获取时间的方式类似。尽管不太常用,但该模型能够解决诸如...

2020-04-06 12:43:51 63 0

原创 B. 数据仓库 --- 建模技术 --- 事实表

B. 数据仓库 — 建模技术 — 事实表 相关技术 事实表代理键 作为事实表的唯一主键列 在ETL中,用作事实表行的直接标识符,不必查询多个维度 允许将事实表更新操作分解为风险更小的插入和删除操作 蜈蚣事实表 属性或事实的数字值:设计者有时会遇到一些数字值,难以确定将这些数字值分类到维度表...

2020-04-06 12:37:52 65 0

原创 B. 数据仓库 --- 建模技术 --- 维度设计

数据仓库 — 建模技术 — 维度设计 处理缓慢变化维度属性 类型0:原样保留 类型1:重写:由于体现的是最新的值,历史值被修改,因此很容易产生原有的关系表混乱 类型2:增加新行(需要增加几列方便管理的列)需要增加关键字行有效期和行失效期 类型3:增加新属性:增加新的列表示新值,但是对于博客预测...

2020-04-06 12:29:12 25 0

原创 B. 数据仓库 --- 建模技术 --- 建模步骤

B. 数据仓库 — 建模技术 — 建模步骤 单场景维度设计步骤 选择业务过程业务过程:组织完成的操作型活动 业务过程通常用行为动词标示 由某个操作型系统支撑,如订单和购买系统 业务过程建立获取关键性能度量 业务过程通常由输入激活、产生输出度量 应该将注意力放在业务过程,而不是放在功能化的部门,...

2020-04-06 12:25:12 27 0

原创 B. 数据仓库 --- 建模技术 --- 基本概念

B. 数据仓库 — 建模技术 — 基本概念 基本概念 收集业务需求与数据实现 协作维度建模研讨:需要业务经验丰富的领域专家参与 维度设计 基于关系型数据的星型模式与OLAP多维数据库 事实表 事实表结构 一行对应一个度量事件 外键,用于关联与之相关的维度,也包含可选的退化维度和日期/...

2020-04-06 12:17:39 48 0

原创 A. 数据仓库 --- 概述
原力计划

A. 数据仓库 — 概述 概述 信息 操作型系统:以事务为主。以可预测的方式完成同样的操作型任务。 分析型系统:以评估效果为主。 数仓的需求 DW/BI系统要能方便地存取信息 DW/BI系统必须以一致的形式展现信息 DW/BI系统必须能够适应变化 DW/BI系统必须能够...

2020-04-06 12:03:04 59 0

原创 B. 智能运维 --- 质量保障 --- 混沌工程

B. 智能运维 --- 质量保障 --- 混沌工程 概述 目的:混沌工程是在分布式系统上进行实验的学科, 目的是建立对系统抵御生产环境中失控条件的能力以及信心。我们需要在异常行为出现之前,在整个系统内找出这些弱点。这些弱点包括以下形式: 当服务不可用时的不正确回滚设置; 不当的超...

2019-09-03 10:20:19 179 2

原创 编译器和调试器

编译器 高级语言编译器 Java编译器 基于MongoDB的SQL引擎 MongoDB SQL引擎 nasm源代码解析 nasm源代码解析,main()函数部分(08.5.9~08.5.10) nasm源代码解析 报错系统(report_error)(08.5.9~08.5.10) ...

2019-05-19 11:24:05 610 0

原创 Lguest虚拟机

Lguest 虚拟机源码分析 Lguest 虚拟机源代码分析:the asm offsets Lguest 虚拟机源代码分析:export symbols for lguest as a mod Lguest 虚拟机源代码分析:the Makefile and Kconfig Lguest...

2019-05-14 22:43:54 354 0

原创 FOS操作系统

第一章 绪 论 第二章 操作系统原理 第三章 FOS操作系统设计 结 论 FOS操作系统 配套源代码

2019-05-14 22:31:26 649 0

原创 [博弈论]Paint Chain

Paint Chain Time Limit: 2000/1000 MS (Java/Others)Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 2741Accepted Submission(s): 995 P...

2019-05-09 23:02:35 152 0

原创 [博弈论]Triangulation

Triangulation Time Limit: 2000/1000 MS (Java/Others)Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 943Accepted Submission(s): 389 ...

2019-05-09 22:59:38 367 0

原创 [博弈论]Stone

Stone Time Limit: 2000/1000 MS (Java/Others)Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 2532Accepted Submission(s): 1791 Proble...

2019-05-09 22:55:58 163 0

原创 [博弈论]Mine

Mine Time Limit: 2000/1000 MS (Java/Others)Memory Limit: 65535/32768 K (Java/Others) Total Submission(s): 1769Accepted Submission(s): 513 Problem ...

2019-05-09 22:52:58 128 0

原创 [图论]Jogging Trails(旅行商问题)

Jogging Trails Time Limit:1s Memory limit:32M Accepted Submit:56 Total Submit:144 Gord is training for a marathon. Behind his house is a p...

2019-05-09 22:42:41 213 0

原创 [图论]Boys and Girls(二分图)

Boys and Girls Time Limit:5s Memory limit:32M Accepted Submit:73 Total Submit:276 the second year of the university somebody started a stu...

2019-05-09 22:40:37 140 0

原创 C. 人工智能 --- 卷积神经网络

C. 卷积神经网络 概述 描述 第一点,在学习Deep learning和CNN之前,总以为它们是很了不得的知识,总以为它们能解决很多问题,学习了之后,才知道它们不过与其他机器学习算法如svm等相似,仍然可以把它当做一个分类器,仍然可以像使用一个黑盒子那样使用它。 第二点,Dee...

2019-05-09 22:33:21 286 0

原创 C. 人工智能 --- 神经网络

A. 神经网络概述 理论基础 神经生理学 思维过程是神经元的连接活动过程,由大量突触相互动态联系着的众多神经元协同作用来实现; 大脑的思维源于从神经元到神经网络再到神经回路的功能逐级整合; 大脑对信息的加工可以理解为复杂的多次特征提取过程; 在大脑中,数据的传输和处理...

2019-05-09 22:26:26 285 0

原创 C. 人工智能 --- 强化/增强学习

C. 强化/增强学习 离散 马尔可夫模型 马尔科夫链 马尔可夫决策过程 动态规划 贝尔曼方程 策略估计 策略改进 策略迭代 值迭代 蒙特卡罗方法 时间差分法 隐马尔可夫模 评估问题:前向后向算...

2019-05-04 01:16:59 396 0

原创 C. 人工智能 --- 聚类算法

C. 聚类算法 概要 距离:包括曼哈顿距离、欧拉距离等等 相似系数:主要有夹角余弦和相关系数 核函数:核函数的功能就是把数据从低维空间投影(project)到高维空间去 DTW 层次化聚类算法:该主要有两种路径:agglomerative和divisive,也可以理解为自下而上...

2019-05-04 01:16:40 3595 0

原创 C. 人工智能 --- 监督算法

C. 监督算法 数据 离散型 连续性 分类算法 k近邻算法kNN 贝叶斯 朴素贝叶斯算法 拉普拉斯平滑:为了避免属性携带的信息被训练集中未曾出现过的属性值所干扰。 半朴素贝叶斯分类器 Bayesian Belief Network(BBN) 线性分类...

2019-05-04 01:16:24 4903 0

原创 B. 人工智能 --- 算法概览

B. 算法概览 概率图模型 类型 贝叶斯网络:有向图模型 连接方式 顺连 分连 汇连 执行步骤 首先要根据变量之间的依赖关系建立网络的拓扑结构 其次要根据拓扑结构计算每条边上的权重,也就是条件概率 马尔科夫随机场:...

2019-05-04 01:16:06 427 0

原创 A. 人工智能 --- 算法设计步骤

A. 算法设计步骤 数据采集 数据类型 属性 数值型 字符串 类别 标签 类别 标签 数据预处理 数据采样 上采样 下采样 去除唯一属性 特征提取算法 文本 TFIDF 数据正则化,标准化 降...

2019-05-04 01:15:05 995 0

原创 A. 人工智能 --- 激活函数

A. 激活函数 激活函数分类 Sigmoid函数 优点 便于求导的平滑函数 缺点 容易出现gradient vanishing 函数输出并不是zero-centered 幂运算相对来讲比较耗时 tanh函数 它解决了zero-center...

2019-05-04 01:14:52 387 0

原创 A. 人工智能 --- 数学基础

A. 数学基础 线性代数 基本概念 标量 向量 矩阵 范数 L1:向量绝对值之和 L2:向量的长度 LP(P趋于无穷):向量中最大元素的取值 内积 两个向量之间的相对位置:余弦相似度 线性空间 内积空间 内积空间 ...

2019-05-03 16:39:10 785 0

原创 E. 业务场景 --- 秒杀系统

E. 业务场景 --- 秒杀系统 概要 核心问题 并发读 并发写 秒杀的整体架构可以概括为“稳、准、快”几个关键字 所谓“稳”,就是整个系统架构要满足高可用 就是“准”,就是秒杀 10 台 iPhone,那就只能成交10 台,多一台少一台都不行。 最后再看“...

2019-05-03 01:13:14 238 0

原创 D. 互联网架构模板

D. 互联网架构模板 架构如何演进 流派 潮流派 保守派 跟风派 架构演进的驱动力 产品类:技术创新推动业务发展 服务类:业务发展推动技术创新 答案就是基于业务发展阶段进行判断 互联网技术演进的模式 核心问题:业务复杂度和用户量 业务复杂度 ...

2019-05-03 01:13:04 187 0

原创 C. 高性能架构 --- 高性能负载均衡

C. 高性能架构 --- 高性能负载均衡 概述 不同类型的请求,对网络链路要求不一样,比如说 搜索请求的要求是:延迟 视频上传的要求是:吞吐量 单从硬件来看,关于优化资源的利用率,避免某个服务器负载过高 分类 DNS 负载均衡:DNS 是最简单也是最常见的负载均衡方式,...

2019-05-03 01:12:55 185 0

原创 C. 高性能架构

C. 高性能架构 基本思路 操作 并发读 并发写 技术 性能优化 限流、降级 单服务器高性能模式 关键技术 服务器采取的并发模型 问题 服务器如何管理连接。 服务器如何处理请求。 解决方案 I/O 模型:阻...

2019-05-03 01:12:46 151 0

提示
确定要删除当前文章?
取消 删除