http://www.sohu.com/a/225506306_411876
人们在IaaS平台之上又加了一层,用于管理资源以上的应用弹性的问题,这一层通常称为PaaS(Platform As A Service)。这一层往往比较难理解,大致分两部分:一部分笔者称为“你自己的应用自动安装”,一部分笔者称为“通用的应用不用安装”。
所以安装的过程平台帮不了忙,但能够帮你做得自动化,你需要做一些工作,将自己的配置信息融入到自动化的安装过程中方可。
首先我们来看一下大数据里面的数据,就分三种类型,一种叫结构化的数据,一种叫非结构化的数据,还有一种叫半结构化的数据。
结构化的数据:即有固定格式和有限长度的数据。例如填的表格就是结构化的数据,国籍:中华人民共和国,民族:汉,性别:男,这都叫结构化数据。
非结构化的数据:现在非结构化的数据越来越多,就是不定长、无固定格式的数据,例如网页,有时候非常长,有时候几句话就没了;例如语音,视频都是非结构化的数据。
半结构化数据:是一些XML或者HTML的格式的,不从事技术的可能不了解,但也没有关系。
其实数据本身不是有用的,必须要经过一定的处理。例如你每天跑步带个手环收集的也是数据,网上这么多网页也是数据,我们称为Data。数据本身没有什么用处,但数据里面包含一个很重要的东西,叫做信息(Information)。
数据十分杂乱,经过梳理和清洗,才能够称为信息。信息会包含很多规律,我们需要从信息中将规律总结出来,称为知识(Knowledge),而知识改变命运。信息是很多的,但有人看到了信息相当于白看,但有人就从信息中看到了电商的未来,有人看到了直播的未来,所以人家就牛了。如果你没有从信息中提取出知识,天天看朋友圈也只能在互联网滚滚大潮中做个看客。
有了知识,然后利用这些知识去应用于实战,有的人会做得非常好,这个东西叫做智慧(Intelligence)。有知识并不一定有智慧,例如好多学者很有知识,已经发生的事情可以从各个角度分析得头头是道,但一到实干就歇菜,并不能转化成为智慧。而很多的创业家之所以伟大,就是通过获得的知识应用于实践,最后做了很大的生意。
所以数据的应用分这四个步骤:数据、信息、知识、智慧。
最终的阶段是很多商家都想要的。你看我收集了这么多的数据,能不能基于这些数据来帮我做下一步的决策,改善我的产品。例如让用户看视频的时候旁边弹出广告,正好是他想买的东西;再如让用户听音乐时,另外推荐一些他非常想听的其他音乐。
YARN、HDFS、IMPALA、HBASE等
精通Mysql,Mongodb、Postgresql、Elasticsearch等常用关系和非关系数据库;
Hadoop、Hive、Hbase、Spark、Storm等
数据智能时代的数据中台什么样?看完这篇,你也能是架构师
https://www.toutiao.com/i6782106418452365827/
调研了10家公司的技术架构,我总结出了一套大数据平台的套路
https://www.toutiao.com/i6782394622640390664/
基于Flink构建的实时数据仓库,这才是OPPO数据中台的基础
https://www.toutiao.com/i6789545103967912459/
10分钟零基础就可搞懂的Hadoop架构原理,阿里架构师详解
数据仓库ODS、DW和DM概念区分
https://blog.csdn.net/zhu592665411/article/details/80836770
大数据时代如何建设ODS
https://ask.hellobi.com/question/13508