Hadoop学习笔记（一）—— 大数据

大数据是什么
无法在一定时间内用常规软件捕捉、管理、处理的数据集合，它是一种信息资产，具有海量、高增长率、多样化的特点。需要一种全新的处理模式才能处理。

数据量单位

大数据要解决的问题

• 海量数据的存储
• 海量数据的分析计算

大数据的特点（4V）

• 海量 EB级别 volume
• 高速 产生速度快 velocity
• 多样 类型多样化（大类：结构化和非结构化） varity
• 低价值密度 value

大数据应用场景

• 物流仓储：帮助商家精细化运营、提升销量、节约成本
• 零售：组合购买啤酒+尿裤
• 旅游：预判游客情况
• 商品推荐
• 保险、金融
• 房地产
• 人工智能：无人驾驶汽车、alphago、上菜机器人
• 各行各业…

相关技术

• HBase
• Hive
• Spark
• Zookeeper
• Kafka