好记星不如烂笔头,这里记录平时工作中用到的东西,不喜可以留言。
大数据
- 大数据最早我是16年左右听到的被吹嘘的很火,但具体是什么自己很模糊。
- 目前自己的理解是,大数据是在传统的IT项目中增加了一个部门(大数据部门),主要是处理海量的一些非结构形数据,进行分析提取有用的一点数据放回到结构性数据库中,供决策者进行决策。
- 大数据80%的使用场景都是让没有完成交易,促使客户完成,完成变现。
- 大数据最早是谷歌Google提出在2003到2006年陆续提出了GFS、MapReduce和Bigtable三篇技术论文。
目前主要有两个生态圈,Hadoop和Spark生态圈;
知识点:分布式文件系统HDFS、分布式资源调度YARN、分布式计算框架MapReduce、数据仓库Hive,最后就是Hadoop5项目。
大数据——Hadoop大数据实战开发视频课程【李兴华】
大数据——Michael_PK 慕课网讲师
特点4V:数据量大(Volume)、多样性,复杂性(Variety)、基于高度分析的新价值(Value)、速度(Velocity))
误解:大数据不一定数据量一定大,但是一定价值大,通过复杂处理获取有价值数据。
- Flume 分布式日志收集框架
- Storm流处理
- Hive大数据数据仓库,DDL及DML操作,离线数据库
- YARN资源调度框架
- MapReduce分布式计算框架,架构、编程模型
- HDFS分布式文件系统:架构、部署、命令行操作,API操作
- Spart大数据离线处理
- Spark Streaming、Flink以及Storm,数据库离线处理三选一。
实时分析系统以及hbase、hive和impala的区别
离线数据分析
离线数据分析,从数据库中取数据,是离线分析。
实时数据分析
实时数据分析,直接从数据源头实时取到进行分析。
Spart Streaming
、HBase