大数据系列3-第一章-大数据概论

1.大数据概论

移动硬盘-tb级别

数据分析的场景：

金融行业-信息密集；；股票市场预测；；小额贷款；；支付宝信用：给用户打标签，银行贷款；；

互联网需求更大（更多的是一个媒体）：精准营销，流量运营，通过流量做营收，流量变现，ctr预测，；；

电信-移动互联网；；政府行业；；用户服务-云平台

1）大数据技术框架

nosql指的是key-value的引擎（mygdb，hbase，单机（redis），，解决了扩展问题，但不能写sql，事务支持的不好）

oracle，sqlserver，dbto不能

大数据事务支持的不好

newsql，ortp（oracla，mysql，分析能力较差，跑复杂的系统通常没结果。），orap（analysis-）高扩展

mysql引擎的扩展性不好。

2.hadoop开源生态系统

存储，监控，工作流管理

3.spark开源生态系统

计算，开源大数据里面的python，提供底层kernel，

4.Nosql简介

5.典型数据平台架构

6.liunx常用命令

二、大数据