大数据开发
文章平均质量分 82
羞儿
和我一起学习吧,有问题请积极讨论。费曼学习法,论证,整合,再论证,再整合。
展开
-
数据库,数据仓库,数据湖
数据仓库中的数据不可更新是针对应用来说的,也就是说,数据仓库的用户进行分析处理是不进行数据更新操作的。:这个阶段,主要是按照一定的数据模型,对整个企业的数据进行采集,整理,并且能够按照各个业务部门的需要,提供跨部门的,完全一致的业务报表数据,能够通过数据仓库生成对对业务具有指导性的数据,同时,为领导决策提供全面的数据支持。:这个阶段,主要是根据某个业务部门的需要,进行一定的数据的采集,整理,按照业务人员的需要,进行多维报表的展现,能够提供对特定业务指导的数据,并且能够提供特定的领导决策数据。原创 2023-07-15 12:34:19 · 3498 阅读 · 4 评论 -
数据库中删除数据方式的对比
Oracle 删除数据的几种方法deleteDELETE FROM表名 WHERE 条件;删除记录并不能释放Oracle里被占用的数据块表空间. 它只把那些被删除的数据块标成unused.delete是DML,执行delete操作时,每次从表中删除一行,并且同时将该行的的删除操作记录在redo和undo表空间中以便进行回滚(rollback)和重做操作,但要注意表空间要足够大,需要手动提交(commit)操作才能生效,可以通过rollback撤消操作。truncate原创 2021-08-31 11:01:23 · 262 阅读 · 1 评论 -
大数据基础
InceptorInceptor是一种交互式分析引擎,本质是一种SQL翻译器。Inceptor中一共可以操作五种类型的表结构:普通文本表(TXT表)普通表导入数据创建HDFS数据目录,在本地创建一个存放数据的文件夹,为了区分不同用户和不同数据源,建立以下两个目录hadoop fs -mkdir -p /user/user1/data/inceptorhadoop fs -mkdir -p /user/user1/data/hyperbase首先将本地path存放的数据文原创 2021-08-30 17:35:09 · 1342 阅读 · 0 评论 -
大数据基础,Linux,sql,周末记
inceptor系统架构:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vNaNrVGi-1630288222367)(C:\Users\Sunlight-E3B\AppData\Roaming\Typora\typora-user-images\image-20210817100626070.png)]功能:提供完整的SQL支持,支持主流的SQL模块化扩展,兼容通用开发框架和工具,支持事务特性保证数据的准确性,允许多租户的隔离与管理,且能够利用内存或者SSD来加原创 2021-08-30 09:53:19 · 619 阅读 · 0 评论 -
TPS,MIS,DSS,ESS,临时表
事务处理系统(TPS):运行人员及监督人员用于输入事务、事件,排序、列表、合并更新,输出详细报告、列表及总结等。其特点是处理问题的高度结构化,但功能单一,它所提供的信息是企业的实时信息,是对企业状况的直接反映。管理信息系统(MIS):中层管理人员用于输入概括性事务数据及简单模型,处理例行报表。决策支持系统(DSS):是专家、决策人员用于输入少量或大量数据分析的数据,处理人机交互、模拟、分析等,输出特殊报表及决策分析、查询响应。主管支持系统(ESS):在一个组织战略层中通过采用先进..原创 2021-08-28 10:46:45 · 2427 阅读 · 0 评论 -
数据脱敏,大厂分享
数据脱敏数据脱敏(Data Masking),顾名思义,是屏蔽敏感数据,对某些敏感信息(比如,身份证号、手机号、卡号、客户姓名、客户地址、邮箱地址、薪资等等 )通过脱敏规则进行数据的变形,实现隐私数据的可靠保护。业界常见的脱敏规则有,替换、重排、加密、截断、掩码,用户也可以根据期望的脱敏算法自定义脱敏规则。良好的数据脱敏实施,需要遵循如下两个原则,第一,尽可能地为脱敏后的应用,保留脱敏前的有意义信息;第二,最大程度地防止黑客进行破解。数据脱敏分为静态数据脱敏和动态数据脱敏。静态转载 2021-08-23 18:25:38 · 420 阅读 · 0 评论 -
大数据基础知识
作为一名数据的规划者,我们肯定希望自己的数据能够有秩序地流转,数据的整个生命周期能够清晰明确被设计者和使用者感知到。大多数情况下,我们完成的数据体系却是依赖复杂、层级混乱的。清晰数据结构:每一个数据分层都有它的作用域和职责,在使用表的时候能更方便地定位和理解减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算统一数据口径:通过数据分层,提供统一的数据出口,统一对外输出的数据口径复杂问题简单化:将一个复杂的任务分解成多个步骤来完成,每一层解决特定的问题屏蔽原..原创 2021-08-23 17:22:53 · 603 阅读 · 0 评论 -
ods基础架构理论
ODS:是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。ods是短期的实时的数据,供产品或者运营人员日常使用,而数据仓库是供战略决策使用的数据;ods是可以更新的数据。ODS的主要作用是提供实时访问和战术分析支持。通过比较各种基于ODS的数据仓库体系结构模型,提出具有通用性﹑可扩展性、灵活性和高性能的动态数据仓库体系结构模型,它能满足银行客户关系管理应用中业务和数据管理的要求。传统数据库(Database,DB)在联机事务处理( OLT.原创 2021-08-20 15:34:28 · 639 阅读 · 0 评论