thebgt的博客

原创 数据仓库建模-桥接表技术

事实表和维表存在多对多关系时候，以及维表和维表之间存在多对多关系时候，需要一个中间表来承载这种关系，所以出现了维度表。

原创 大数据随想

原创 提高性能的常见技术

1.数据库层面：

原创 简单谈一下微服务

微服务，说这个之前我们先了解一下soa，这个十几年前的火热词汇，说实话，虽然我是一个计算机行业人士，但是很反感这种造词的风气，尤其是云里雾里，旧瓶装新酒的，作为一个it技术，首先要实用，当然。从这种各种概念泛滥我们也能感受到大家的焦虑与思考，但是，方向不对，努力白费，任何事情是有一个基本的原理的，就像万物是由分子组成，认识到本质才能更好的服务于实际应用场景。

原创 关于AI的一些思考

目前，AI依旧是一个很好的助手，用来完成一些逻辑性，事务性的任务，比起自动化阶段，每个阶段，每个节点的任务需要设置，AI进一步进化了，可以进行一些基本的逻辑分析上下文理解，后续可以和人工进行协作，比如替员工完成诸如数据搜集，数据核对，文生图，等基础的操作，这对于生产效率的提高大有裨益。

原创 AI随想-看heygen有感

几种ai路径。

原创 行业观察-说说国内管理软件行业

这个无需多言，目前不止是消费，生产，设计、制造、运输都在系统化，如果系统宕机，那么我们将无法点外卖，买机票，极大影响社会运转。系统间集成是必须的，这就要求在产品设计时候既要关注自己本身功能，也要考虑对外的接口，系统是否提供标准化接口是一个重要指标。系统上线只是第一步，后续的运行才是关键，要做好定期的跟踪复盘，发现使用中的问题，进行迭代优化。每个公司的业务模式，流程不一样，这就需要根据标准化的产品，结合用户需求，进行分析设计。实施的主体是人，在项目过程种，要做到合理的职责分工，进度管控。

原创 工作的乐趣

工作是一个消遣时间的工具，人可以享乐，但是不能一直享乐，如果一直享乐，会陷入虚无，刺激会边际递减，得不到的才是最好的，七分饱才是健康的，工作会带来价值感，成就感，所以，以一种创造的心态去工作吧。

原创 adf_faces 60096 and adf_face60097错误

导航到\Oracle\Middleware\user_projects\domains\EPMSystem\servers\Planning0\tmp\servers。

原创 合并报表几个场景

4.计算功能，一些重分类，调整，折算功能，针对不同的科目，按照不同的方法进行折算，合并功能，把子公司数据合并到母公司过程，内部往来抵消功能，权益法与成本法互相转换功能。3.流程管理功能，合并报表从单体开始，到小合并节点，再到整体合并节点，期间的数据需要受控，子公司的调整数据由谁来审核，合并的数据由谁来进行，谁来审核。1.数据集成，针对不同公司得数据，不同类型得数据，提供一个数据接口，可以是pull，可以是push，把数据搜集出来。5.日记账调整功能，针对单体的调整，折算后数据的调整，母公司调整。

原创 zeroview 设置

设置系统数据的默认视图，视图维度有三个成员，scenarioview，YTD和periodic，当设置了defalutview后，选择scenarioview会显示默认的视图。hyperion hfm系统中有两个zeroview设置，一个是zeroviewfornonadj，一个是zeroviewforadj，说这两个参数之前，需要先了解另外两个设置，一个是ConsolidateYTD，一个是DefaultView。是设置系统是使用YTD方法合并还是periodic合并，设置为Y，则是按照YTD方法合并。

原创 多币种预算

对于开启全球业务的公司来说，公司可能是全资子公司，控股公司，以及驻外办，预算涉及的数据，可以以本位币进行填报，也可以以中间币种，或者以报告币种进行，或者使用多种币种，例如，销售使用美元、日元、英镑，费用使用港币，这就要求预算系统需要提供一个外币折算，记录汇率的功能，使得用户可以在录入数据时候使用不同的币种，之后根据汇率，把不同币种折算成系统固定的币种。

原创 YTD和periodic

PERIODIC：期间数，这个期间数根据周期确定，可以是一天的数据，一星期数据，一月数据。YTD:year-to-date，年初至今数，是一个累计数。

原创 IT视角的财务概念

借贷方向：根据资产=负债+所有者权益，利润=收入-费用，资产、费用增加计入借方，负债、所有者权益、利润增加计贷方。摊销：现在时点一笔费用，由未来若干期间承担，按照线性或者非线性规则摊销到未来期间。折旧：对固定资产，由于损耗导致的账面价值减少进行计算。会计科目：资产、负债、所有者权益、收入、费用、利润。计提：当下时点计算未来期间发生的费用，如工资等。预提：对于未发生的费用，预先提取。

原创 实时数仓应用场景

2.交易，在股票市场，我们知道价格是瞬息万变的，在量化的过程中，实时数据来说十分的重要，我们要根据市场情况、资金情况、情绪情况，提供一个实时计算的指标，决定买还是卖。4.系统监控，云计算的情况下，很多的设备，日志需要分析，网络情况、存储情况、内存情况、都需要实时的监控，以预测是不是需要扩容或者做备份。1.打车，当一个用户在平台进行打车时候，我们需要根据他的选择，订单类型，距离，实时的分析附近最近的车辆，交通拥堵情况推荐行驶的路线。3.订单处理情况，对于很多分布于全国乃至全球的业务，意义重大。

原创 数据仓库的建设步骤

1.需求，要和业务部门深入讨论，了解他们的现状，诉求，以及期望，包括我要分析什么内容，需要到什么样的颗粒度，数据从哪里来的，是手工还是系统，数据质量怎么样，期望数据提供的频率是什么样的，实时的还是按月、半月、周、日等，分析的指标有哪些，维度是什么，总之，就是多交流，作为技术人员，要一定先理解业务，如果分工比较明确，就是产品经理与用户进行沟通了，这个过程一定要多听，多问，进行苏格拉底式提问，前期工作越详细，实施和开发阶段就越顺畅。

原创 产品开发过程

原创 权限模型概述

系统权限是个绕不开的话题，系统设计之初，就要考虑权限，包括组件权限，数据权限等，常用的前端权限是和界面菜单绑定，划分为用户，组，角色，用户属于组，组有特定角色，角色为权限内容，例如管理员角色拥有所有权限，查看者只能看不能对数据进行删除修改插入操作，数据权限设计就有些复杂，对于数据，大概划分为按行控制以及按列控制，按行可以进行关键词过滤，比如部门长可以看部门下属所有数据，部门下属只能看自己复制模块数据，按列划分，比如用户只能看限价，不能看打折价，最低价等。

原创 数据更新策略

1.直接插入，适用于空表，把数据直接写入目标表。2.全删全插，保留最新数据。

原创 ESSBAE 数据挖掘

4.任务模板，可以重复执行的任务。1.算法：用来分析数据的方法。2.模型：系列的算法集合。3.任务：数据挖掘的步骤。

原创 oracle 复制其他表

只保留表结构，不复制数据。1.create方法,

原创 hyperion planning概念

planning应用程序、负责运行应用、essbase，作为后端的数据存储库。属性维度是一种特殊维度，用来描述标准维度，例如大、中、小为三个属性。smartview，作为数据分析和录入工具，规则，编写计算逻辑。2.planning有哪几部分。

原创 数据治理的思考

数据治理关注数据治理，数据治理的评价指标是可用性，准确性，及时性，可用性是基于价值的，我们时刻都在产生记录信息，可是并不是所有信息都需要价值，例如你每次迈步的幅度，这种没意义，而你运动的时间则可以记录下来分析消耗热量，准确性毋庸多言了，银行存款的数字，交易订单的金额，必须要准确无误，及时性呢，举例子天气预报，你今天发布昨天的天气信息，就没有现实意义了是吧，对于IT来说，怎么通过系统的方法，去开发程序，保证采集的数据，加工的数据，记录的数据是准确无误的，十分重要的。

原创 数据挖掘基础

数据仓库建立好之后，除了提供固定报表，自定义分析，供用户自行探查，还可以进行数据挖掘，以发现数据的价值，而数据挖掘的核心就是算法。

原创 数据仓库的基础

建立维度模型，与事实表模型，维度表由各个事实表进行分析建立。事实表存储id，建立星形模型，可以通过事实表关联维表形式，查询所需的属性。根据分析诉求，进行汇总，按照主题生成，指标计算。明细宽表，可以进行汇总处理，存储原始指标。数据清洗，完善，添加审计字段。1.数据仓库ODS层的处理。

原创 ODI报错

ODI-1298: 串行任务 "SERIAL-EU-j_lt_tar_UNIT (70)" 由于子任务 "Insert new rows-IKM Oracle Insert-Load CES_USERS_TARGET (80)" 出错而失败。ODI-1298: 串行任务 "SERIAL-EU-j_lt_tar_UNIT (70)" 由于子任务 "Insert new rows-IKM Oracle Insert-Load CES_USERS_TARGET (80)" 出错而失败。

原创 合并报表-管理合并与法定合并

管理合并按照管理单元，多进行分摊以及调整处理，以满足经营分析或者考核使用。法定合并需要抵消公司间往来，内部交易数据要严格抵消处理。管理合并灵活多样，可根据管理需求进行调整分摊。管理合并使用业务+财务数据，更加明细。法定合并使用账务数据，基于核算系统。管理合并主要是为了内部分析，预测。法定合并需要遵守当地财务会计准则。法定合并主要是为了向外部披露。

原创 HFM11.2

按照oracle说法，HFM11.2将是最后一个本地版本，可以看出，oracle还是希望推云版本，可是愿意使用本地版本的用户还是很多，下面就介绍下11.2版本的新功能：

原创 数据处理的灵魂

在日常工作中，我们经常是一步到位，拿到用户需求，就开始设计物理模型了，这样其实不被好，看起来效率很高，但是后续扩展使用时候，发现当初的设计不合理，返工修改的时候也是很痛苦的，所以，计算机领域也是要有工程的思维，先设计，在验证，反复推敲，然后再去落地实施，并且保留好设计文档，做好版本管理，这样日后进行版本迁移，升级就方便很多。最上层的抽象，更贴近用户，例如我们和用户沟通，说有客户，商品，订单这些信息，就构成了最上层的概念模型，三个表存储三类数据。5.支持数据使用，标准规范无误的数据，才能进行分析，产出价值。

原创 数据模型三范式

数据库设计中的范式，对于E-R模型来说，3NF足够了。3NF:数据库表的每一列都和主键直接相关。2NF：数据库表的每一列都和主键相关。1NF:数据库表的每列都不可分割。

原创 excel数值无法左对齐

右键，单元格格式修改为常规解决。

原创 ETL策略

数据仓库平台，ETL是很重要一环，看ETL的发展史，最初使用表格，人工从系统下载，在excel匹配，然后加载到数据仓库平台，到后来开始出现ETL工具，大概分为两个派别，以ETL架构的datastage，informatica，以ELT为代表的ODI，再到后来的批处理方式，SQL编码方式，但是其本质还是抽取数据，处理，再加载到目标平台，常用的方式：1.初始化：当我们建立数仓平台时候，一开始会涉及到同步历史数据问题，那么就有两种 策略：2.后续加载策略：3.数据处理过程。

原创 数据治理架构

数据治理是什么：通过一定的手段和标准，提高组织数据的可用性、安全性和质量。

原创 ESSBASE

aso和bso：多维数据库，由于是所有维度成员笛卡尔作为存储单元，当维度成员越多时候，占用存储越多，检索效率越低，试想下，如果有十个维度，每个维度五千个member，那么存储cell的数量为5000^10,这是一个多么恐怖的数字，如果你要插入一个数据进行排序，或存储这些数据，将花费多大空间，essbase为了解决这个问题，设计了一个高效的存储策略，将存储划分为aso和bso两种类型，因为在日常使用中，我们会有两种有倾向的诉求，例如主要专注于分析，另一种专注于分析计算，分摊等各种情况，aso叫做聚合存储，通常

原创 ETL系统

加工：搬运来的数据五花八门，格式不一，如果要使用，就要做规范化处理，常见的处理：缺失数据的补齐，数据格式的统一，数据维度的映射，数据的拆分、数据的整合，涉及到数据集成的策略：是全量抽取覆盖，或者增量抽取，对于变化的历史数据是怎么处理，是直接覆盖，还是保留，增加新的内容，对于源端删除数据的处理等等。搬运：数据仓库是一个中央存储库，它的数据来源于诸多的源系统，以制造业为例，涉及的系统有：MES、ERP、CRM、PLM、HR、OA等，搬运也有两种方式：pull和push。

原创 数据仓库建设

数据仓库是应数据分析BI平台而起来的，最初的数据仓库，包含集成不同数据源的数据，形成统一的数据模型，提供给报表平台生成报表，以及提供查询分析功能，后来，数据仓库也作为数据源，对第三方平台提供数据，作为一个数据存储中心，也有一些互联网平台利用数据仓库作为数据源，通过算法，将数据推送至用户端，进行营销或者数据推送，可以说数仓的经历是 存储->分析->使用的过程，当用于营销的时候，就直接产生了价值，而现在有些数据需要购买，也会产生经济价值。从不同数据源提取数据。根据规则转换处理数据。

原创 几种常见的数据模型

什么式数据模型：数据如果要被存储记录或者分析，要有一个组织形式，那么，怎么把数据按照一定规律组织呢，这个就是数据模型 数据模型分类层次模型：代表了一对多这类关系模型，常见的就是树状结构 关系模型：把数据分为实体，数据之间通过关系连接起来，E-R模型 多维模型：通过维度和度量进行建模，这在数据分析中常用

原创 数字化是什么

数字化是信息化的晋级版本，数字化是包含一系列的过程，从数据的产生，到数据的记录，数据的关联，数据存储，到数据分析，再到数据产生价值的过程，数字化的好处是可以度量，其实现实世界是可以通过数据来描述的，比如一个人，把他数字化，就可以描述他，例如记录他的身高、体重、肤色这种有形数据，喜好，价值观，世界观这些无形的数据，描述的越详细，越可以明确描述这个人。

原创 合并报表系统

1.数据集成，合并是把一系列分子公司数据集成到母公司，由母公司按照规则进行处理，最后形成合并报表的过程，集成又可以进行拆分，不同的数据源怎么集成，excel的，核算系统的，数据仓库的，取数后第二步，数据可能要进行处理，例如coa的映射转换，格式处理，再下一步，要把数据加载到合并报表系统。4.数据对外的接口，一个系统，有输入也有输出，一个完整的系统需要提供标准化的接口，可以供第三方系统进行取数。3.数据展现，数据处理完成后，需要以特定格式呈现，财务的三大表，附注。

原创 execel合并单元格无法复制

2.在选中区域最左上方单元格输入=，按住enter，等于需要复制区域的左上方单元格。1.在需要复制的区域旁边，鼠标选中与要复制的单元格同样大小的区域。3.按ctrl+enter。