大数据简介

1.大数据
 bigdata
 海量
  一般传统的处理数据手段，束手无策
  
  1.存储
   PB
  2.处理
   效率很低
   时间会很长，处理不出来就报错
  
2.大数据能干什么
 qq、微信
  上亿个用户
  腾讯
   大数据的技术
   
 京东、淘宝
  账号
   猜你喜欢
    根据你的个人喜好，给你推荐
   相似商品
   ...
 
 金融、国家安全、犯罪
 
3.怎么使用大数据技术来办到这些事情
 1.大数据的业务处理流程
  数据源
  数据清洗
  数据存储
  
  数据分析
  
  结果展示
  
 2.大数据的主要技术构成
  1.从数据源拿到数据
   Flume
  2.数据清洗
   Hive(MapReduce)
  3.数据存储
   HDFS
   Hive
   Impala
   HBase
  4.数据分析
   Hive
   Impala
   Spark
  5.数据展示
   数据迁移
   Sqoop
  6.大数据协调框架
   Zk
   Oozie/Azk
  7.项目实战
 
 3.企业的业务系统开发流程
  数据调研
  需求分析
  技术选型
  Coding
  测试/调试
  上线