大数据相关

http://www.sohu.com/a/225506306_411876

人们在IaaS平台之上又加了一层，用于管理资源以上的应用弹性的问题，这一层通常称为PaaS（Platform As A Service）。这一层往往比较难理解，大致分两部分：一部分笔者称为“你自己的应用自动安装”，一部分笔者称为“通用的应用不用安装”。

所以安装的过程平台帮不了忙，但能够帮你做得自动化，你需要做一些工作，将自己的配置信息融入到自动化的安装过程中方可。

 

首先我们来看一下大数据里面的数据，就分三种类型，一种叫结构化的数据，一种叫非结构化的数据，还有一种叫半结构化的数据。

结构化的数据：即有固定格式和有限长度的数据。例如填的表格就是结构化的数据，国籍：中华人民共和国，民族：汉，性别：男，这都叫结构化数据。

非结构化的数据：现在非结构化的数据越来越多，就是不定长、无固定格式的数据，例如网页，有时候非常长，有时候几句话就没了；例如语音，视频都是非结构化的数据。

半结构化数据：是一些XML或者HTML的格式的，不从事技术的可能不了解，但也没有关系。

其实数据本身不是有用的，必须要经过一定的处理。例如你每天跑步带个手环收集的也是数据，网上这么多网页也是数据，我们称为Data。数据本身没有什么用处，但数据里面包含一个很重要的东西，叫做信息（Information）。

数据十分杂乱，经过梳理和清洗，才能够称为信息。信息会包含很多规律，我们需要从信息中将规律总结出来，称为知识（Knowledge），而知识改变命运。信息是很多的，但有人看到了信息相当于白看，但有人就从信息中看到了电商的未来，有人看到了直播的未来，所以人家就牛了。如果你没有从信息中提取出知识，天天看朋友圈也只能在互联网滚滚大潮中做个看客。

有了知识，然后利用这些知识去应用于实战，有的人会做得非常好，这个东西叫做智慧（Intelligence）。有知识并不一定有智慧，例如好多学者很有知识，已经发生的事情可以从各个角度分析得头头是道，但一到实干就歇菜，并不能转化成为智慧。而很多的创业家之所以伟大，就是通过获得的知识应用于实践，最后做了很大的生意。

所以数据的应用分这四个步骤：数据、信息、知识、智慧。

最终的阶段是很多商家都想要的。你看我收集了这么多的数据，能不能基于这些数据来帮我做下一步的决策，改善我的产品。例如让用户看视频的时候旁边弹出广告，正好是他想买的东西；再如让用户听音乐时，另外推荐一些他非常想听的其他音乐。

 

 

YARN、HDFS、IMPALA、HBASE等

精通Mysql，Mongodb、Postgresql、Elasticsearch等常用关系和非关系数据库；

Hadoop、Hive、Hbase、Spark、Storm等

 

数据智能时代的数据中台什么样？看完这篇，你也能是架构师

https://www.toutiao.com/i6782106418452365827/

调研了10家公司的技术架构，我总结出了一套大数据平台的套路

https://www.toutiao.com/i6782394622640390664/

 

基于Flink构建的实时数据仓库，这才是OPPO数据中台的基础

https://www.toutiao.com/i6789545103967912459/

10分钟零基础就可搞懂的Hadoop架构原理，阿里架构师详解

https://www.toutiao.com/i6750933194524066308/?tt_from=weixin&utm_campaign=client_share&wxshare_count=1&timestamp=1571895364&app=news_article&utm_source=weixin&utm_medium=toutiao_ios&req_id=2019102413360401002607706700C3BA85&group_id=6750933194524066308

 

数据仓库ODS、DW和DM概念区分

https://blog.csdn.net/zhu592665411/article/details/80836770

大数据时代如何建设ODS

https://ask.hellobi.com/question/13508