大数据 (Big Data)
预见未来to50
不忘初心,方得始终!
展开
-
《Oracle大数据解决方案》学习笔记1——大数据简介(Introduction to Big Data)
从今天开始,正式学习大数据。首先,从Oracle大数据解决方案开始!这几个产品中,OBIEE用过,易用性真的不怎么样!原创 2018-11-27 11:44:00 · 546 阅读 · 1 评论 -
《数据库系统(上)》学习笔记——第四讲——关系模型之关系代数
1. 本讲内容概要基本内容1. 关系代数之基本操作2. 关系代数之扩展操作3. 关系代数之组合与应用训练4. 关系代数之复杂扩展操作(选学)重点与难点1. 关系代数基本操作:并、差、积、选择、投影、(更名)。2. 关系代数扩展操作:交、θ-连接、自然连接。3. 关系代数复杂扩展操作:除、外连接4. 书写关系代数的基本思维训练:“一个集合,施加一个操作得到一个集合,依次施加关...原创 2019-06-02 22:11:17 · 385 阅读 · 0 评论 -
Informatica学习笔记——第三部分——基本概念
1. PowerCenter ClientThe PowerCenter Client application consists of the tools to manage the repository and to design mappings, mapplets, and sessions to load the data. The PowerCenter Client applica...原创 2019-05-31 23:52:26 · 781 阅读 · 0 评论 -
Informatica学习笔记——第二部分——ETL基本开发流程
这两天费了不少力气,终于开发并跑通了一个有实用价值的Informatica流程。特点有:1. 源数据库和目标数据库为不同的数据库2. 使用了聚合功能,从一张数据量上千万行的大表中提炼出了关键信息3. 初步接触了Informatica的help文档和调试方法独学而无友,则孤陋而寡闻,一边好好干活,一边好好学习,知行合一,理论和实践相辅相成,这样挺好!1.开发六大步骤示意图...原创 2019-05-30 23:51:06 · 2222 阅读 · 0 评论 -
Informatica学习笔记——第一部分——PowerCenter基本架构
互联网时代的自主学习(自学),我觉得至少可以有以下几个别名:自学2.0、自学+、按需学习等。由于工作关系,需要好好学习Informatica了,本来想在官网上找点资料,结果点到一个培训课程,报价8400美元,瞬间感觉Informatica很“值钱”。是骡子是马,先学学看,毕竟只是一个工具而已,工具肯定会过时,但技能却可以越来越精深!1. Informatica PowerCenter应用...原创 2019-05-30 23:38:00 · 1212 阅读 · 4 评论 -
《Oracle大数据解决方案》学习笔记9-1——数据库库内分析-快速交付彰显时间价值(In-Database Analytics: Delivering Faster Time to Value)
1. Oracle大数据工作流2. Oracle库内分析架构3. Oracle MoviePlex商店应用程序的界面 (这些元素在现在的腾讯视频应用中都有)4. 词频分析可视化(标签云)5. 数据挖掘及统计技术的应用场景Sample Problem Type of Problem Algorithm Applicability ...原创 2018-12-11 13:45:24 · 420 阅读 · 1 评论 -
《Oracle大数据解决方案》学习笔记9-2——数据库库内分析-快速交付彰显时间价值(In-Database Analytics: Delivering Faster Time to Value)
1. Oracle文本挖掘模型Oracle Text Mining Models Model Type Typical Functions Rule-based classification Efficiently classify a stream of documents according to a set of queries. For example, ea...原创 2018-12-11 15:31:16 · 505 阅读 · 0 评论 -
《Oracle大数据解决方案》学习笔记8——Oracle NoSQL数据库
1. Oracle NoSQL数据库的架构组成2. NoSQL数据库驱动和分片 3. 分片和存储节点 4. 复制(以分片为单位) 5. 读一致策略 6. 写持久化策略 ...原创 2018-12-14 15:15:20 · 436 阅读 · 0 评论 -
《Oracle大数据解决方案》学习笔记6——将大数据集成到数据仓库和数据分析基础架构(Integration of Big Data with DW and Analytics Infra)
Oracle所有大数据基础设施和组件简图原创 2018-12-14 14:35:08 · 460 阅读 · 0 评论 -
《Oracle大数据解决方案》学习笔记5-2——BDA配置、部署架构和监控(BDA Configurations, Deployment Architectures, and Monitoring)
1. 基于X3-2L的Sun服务器的网络图2. BDA和数据中心局域网以及Exadata的互连原创 2018-12-14 14:11:10 · 479 阅读 · 0 评论 -
《Oracle大数据解决方案》学习笔记5-1——BDA配置、部署架构和监控(BDA Configurations, Deployment Architectures, and Monitoring)
1. Oracle大数据机NameNode的自动故障转移2. BDA满配机架——仅用于Hadoop 3. BDA满配机架——Hadoop+NoSQL数据库 4. 大数据机内部网络架构 5. 大数据机内部网络架构 ...原创 2018-12-14 12:23:49 · 612 阅读 · 1 评论 -
《Oracle大数据解决方案》学习笔记13——大数据开发架构和路线图(Developing Architecture and Roadmap for Big Data)
1. 大数据功能图2. Oracle信息架构框架3. 数据分类及特征数据分类及特征(Data Realms and Characteristics) Data Realm Structure Volume Description Examples 主数据(Master Data) Structured Low Enterp...原创 2018-12-14 11:18:33 · 562 阅读 · 0 评论 -
《Oracle大数据解决方案》学习笔记12——大数据治理(Big Data Governance)
这一节全是干货,值得认真学习。1. 模型化数据(传统数据)和原始数据(大数据)的特性对比Modeled Data vs. Raw Data Modeled Data Raw Data Standardize, control, and automate processes Discover, form, and test hypotheses Informa...原创 2018-12-12 18:23:55 · 1001 阅读 · 0 评论 -
学海无涯——大数据基本概念
公司举办了关于新技术的培训,提到了“大数据”这个对我而言火了有几年的概念。所以,有必要当好“小学生”了,不懂的字该怎么办,查字典。不懂的概念怎么办,学习呗!------------------------------------------------------------------------------------------------------------------------...原创 2018-07-19 23:04:05 · 693 阅读 · 0 评论 -
《Oracle大数据解决方案》学习笔记4——选择Appliance的理由(Why an Appliance?)
虽然这章的内容有点像Oracled的市场宣传资料,但也因此学习了一些大数据相关硬件的知识。1. Oracle大数据机(Big Data Appliance)X3-2硬件规格(全机架配置,18个节点)2. Oracle大数据机全机架配置环境规格3. Oracle大数据机和自制集群成本对比分布(标准化可降低成本)4. Oracle大数据机关键配置规格5. HP对比...原创 2018-12-05 15:19:37 · 299 阅读 · 0 评论 -
《Oracle大数据解决方案》学习笔记3——Apache Hadoop平台(Apache Hadoop Platform)
1. Hadoop逻辑栈2. 名称节点和数据节点的交互3. 数据块复制4. MR1框架原创 2018-11-27 15:09:32 · 236 阅读 · 0 评论 -
《Oracle大数据解决方案》学习笔记2——大数据的价值(The Value of Big Data)
大数据的价值是什么?这个问题太大了,不好回答。首先,我们应该思考以下几个问题:1. 我们是谁?2. 我们需要什么数据?3. 我们为什么需要这些数据?4. 这些数据的价值是什么? 大数据信息链式反应...原创 2018-11-27 14:39:44 · 357 阅读 · 0 评论 -
调试经验——Spotfire导入xlsb格式的Excel文件遇到的问题
我们知道,.xlsb格式的Excel文件存储容量小,打开速度快,一般交付时会使用这种格式。但是,在将.xlsb格式的Excel文件导入到Spotfire时,发现存在两个问题:1. 数据类型匹配错误(如,文本类型的会被匹配成日期型,数字格式的会被匹配成日期型)2. Excel数据导入后,某些列在Spotifre中没有任何数据,即,整个一列的数据都丢失了。这个错误比较隐匿,如果不是为了调整筛选...原创 2019-08-24 17:22:45 · 1070 阅读 · 0 评论