weixin_42749734的博客

用户必须以系统检索机制能够理解的形式提交他们的需求，以便从这些系统中获取信息。同样， 需要一种检索机制，以支持快速识别匹配的数据和信息格式描述/索引文件、结构化和非结构化数据的目录。

理解数据的内容和结构是实现数据集成成功的关键基本剖析包括:1)数据结构中定义的数据格式和从实际数据中推断出来的格式。2)数据的数量，包括null值、空或默认数据的级别。3)数据值以及它们与定义的有效值集合的紧密联系。4)数据集内部的模式和关系，如相关字段和基数规则。5)与其他数据集的关系。剖析的目标之一是评估数据的质量。对于特定用途的适用性，评估数据时需要记录业务规则，并测量数据满足这些业务规则的程度。

制度提供行为准则，但并不能列出所有可能的意外情况。细则是对制度的补充，并提供有关如何满足制度意图的其他详细信息。保密等级分类是重要的元数据特征，用于指导用户如何获得访问权限。每个组织都应创建或采用满足其业务需求的分级方案。任何分级方案都应清晰易行，它将包含从最低到最高的一系列密级。例如，从“一 般用途”到“绝密”。高度公开的数据泄露事件(其中敏感的个人信息被泄露)日益增多，导致出台了很多与数据相关的法律。聚焦于金融的数据事件促使全球各国政府实施更多的法规。这就产生了新的数据类别，可称为“监管信息”。

DBA为数据库管理系统（DBMS）应用程序建立存储系统，为 NoSQL建立文件存储系统。网络存储管理员和DBA在建立文件存储系 统方面都发挥着重要作用。在正常的业务运营中，数据存入存储介质， 取决于是要永久性存放还是临时性存放。在真正提供存储空间之前，做好增加额外空间的规划是很重要的。所有项目都应该作第一年运营的初始容量估算，以及未来几年内的 空间增长预测。数据存储需求必须考虑与数据保留相关的法规。

清晰、准确、完整。

最为详细的数据架构设计文件是正式的企业数据模型，包含数据名称、数据属性和元数据定义、概念和逻辑实体、关系以及业务规则。物 理数据模型也属于数据架构文件，但物理数据模型是数据建模和设计的产物，而不是数据架构的产物。数据架构的基本组成部分1）数据架构成果，包括不同层级的模型、定义、数据流，这些通 常被称为数据架构的构件。2）数据架构活动，用于形成、部署和实现数据架构的目标。3）数据架构行为，包括影响企业数据架构的不同角色之间的协 作、思维方式和技能。数据架构的构件数据架构的目标是在业务战略和技术实现之间建立起一

1）数据对组织的价值。如果一个组织出售数据，显然数据治理具 有巨大的业务影响力。将数据作为最有价值事物的组织（如Facebook、 亚马逊）将需要一个反映数据角色的运营模式。对于数据是操作润滑剂 的组织，数据治理形式就不那么严肃了。2）业务模式。分散式与集中式、本地化与国际化等是影响业务发 生方式以及如何定义数据治理运营模式的因素。与特定IT策略、数据架 构和应用程序集成功能的链接，应反映在目标运营框架设计中（图3- 6）。3）文化因素。

简单来说，伦理是建立在是非观念上的行为准则。伦理准则通常侧重于公平、尊重、责任、诚信、质量、可靠性、透明度和信任等方面。数据处理伦理指如何以符合伦理准则的方式获取、存储、管理、使用和销毁数据。核心概念：对人的影响、滥用的可能、数据的经济价值定义：数据处理伦理是指如何以符合道德准则及社会责任的方式去获取、存储、管理、解释、分析、应用和销毁数据。

数据管理是为了交付、控制、保护并提升数据和信息资产的价值，在其整个生命周期中制定计划、制度、规程和实践活动，并执行和监督的过程。

Flink 连接MySQL做维表，定时刷新，并与实时流做join

flink基于文件，socket，集合的读取方式；主要适用于测试

第二部分 控制结构和函数第1节 if 表达式Scala中 if 表达式有返回值。如果if 和 else 的返回值类型不一样，那么就返回两个返回值类型公共的父类。-- if 语句有返回值val x = 10val s = if (x > 0) 1 else -1-- 多分支if 语句 val s = if (x==0) 0else if (x > 1) 1 else 0-- 如果返回的类型不一致就返回公共的父类val s = if (x > 0)

第一部分 Scala基础第1节 Scala语言概况1.1 Scala语言起源马丁·奥德斯基(Martin Odersky)是编译器及编程的狂热爱好者。主流JVM的Javac编译器就是马丁·奥德斯基编写出来的，JDK5.0、JDK8.0的编译器就是他写的。长时间的编程之后，他希望发明一种语言，能够让写程序这样的基础工作变得高效，简单。当接触到Java语言后，对Java这门语言产生了极大的兴趣，所以决定将函数式编程语言的特点融合到Java中，由此发明了Scala。1.2 Scala语

安装conda后终端出现的(base)字样去除方法使用anaconda很方便。但是在mac或linux下安装新版的anaconda后终端出现如下 (base)字样(终端显示成这样是因为shell使用了zsh并使用oh-my-zsh样式af-magic)让强迫症十分不爽！于是从网上找去除方法，果然也有人遇到同样困扰。 燃鹅都是复制过来changeps1: False复制过去的解决方法并没有真正解决问题每次终端输入：conda deactivate或者在.bash_prof

电商分析之广告业务互联网平台通行的商业模式是利用免费的基础服务吸引凝聚大量用户，并利用这些用户资源开展广告或其他增值业务实现盈利从而反哺支撑免费服务的生存和发展。广告收入不仅成为互联网平台的重要收入之一，更决定了互联网平台的发展程度。电商平台本身就汇聚了海量的商品、店铺的信息，天然适合进行商品的推广。对于电商和广告主来说，广告投放的目的无非就是吸引更多的用户，最终实现营销转化。因此非常关注不同位置广告的曝光量、点击量、购买量、点击率、购买率。第1节 需求分析事件日志数据样例：{ "l

Tez快速入门Hortonworks在2014年左右发布了Stinger Initiative，并进行社区分享，为的是让Hive支持更多SQL，并实现更好的性能。让Hive的查询功能更强大。增加类似OVER子句的分析功能，支持WHERE子查询，以及调整Hive的样式系统更多的符合标准的SQL模型; 优化Hive的请求执行计划，增加 Task 每秒处理记录的数量; 引入新的列式文件格式(ORC文件)，提供一种更现代、高效和高性能的方式来储存Hive数据; 引入新的runtime框架——Tez，消

DataX快速入门1.1、DataX概述及安装DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、 TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。概述为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时

电商分析之会员活跃度第 1 节 需求分析会员数据是后期营销的很重要的数据。网店会专门针对会员进行一系列营销活动。电商会员一般门槛较低，注册网站即可加入。有些电商平台的高级会员具有时效性，需要购买VIP会员卡或一年内消费额达到多少才能成为高级会员。计算指标:新增会员:每日新增会员数活跃会员:每日，每周，每月的活跃会员数会员留存:1日，2日，3日会员留存数、1日，2日，3日会员留存率指标口径业务逻辑:会员:以设备为判断标准，每个独立设备认为是一个会员。Androi..