知识框架
详细思维导图(1111资料来源于尚硅谷)
版本 Hadoop3.1.3
大数据主要解决海量数据的采集,存储,分析
大数据特点(4V)
- Volume(大量) 大企业数据量接近EB量级(1EB=1024PB 1PB=1024TB)
- Velocity(高速) 数据产生快
- Variety(多样)分为结构化数据和非结构化数据
- Value(低价值密度) 大量数据中有价值的少(数据清洗)
应用场景
- 电商、短视频app的推荐系统
- 零售行业分析消费习惯 eg. 纸尿裤+啤酒
- 物流仓储 eg. 京东物流
- 保险、金融、房地产行业 用户画像,精准投资和营销
- 无人驾驶、远程医疗、远程教育