hadoop概论

大数据概念

       指无法在一定时间范围内用常规软件进行捕捉，管理和处理，需要新处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量，高增长率和多样化的信息资产。

主要解决数据的存储和分析计算

大数据特点

1.大量(Volume)  TB->PB->EB->ZB

2.高速(Velocity)  大数据量处理数据的效率。

3.多样(Variety) 分为结构化数据(数据库结构/文本数据) 和 非结构化数据(视频,音频,图片,地理位置,网络日志): 

4.低价值密度(value) 如何对有价值数据“提纯”成为目前大数据背景下待解决问题。

大数据应用场景

1.物流仓储：大数据分析系统助力商家精细化运营，提升销量，节约成本

2.零售：分析用户消费习惯,为用户购买商品提供方便，从而提升商品销量。

3.旅游：深度结合大数据能力与旅游行业需求，共建旅游产业智慧管理，智慧服务和智慧营销的未来。

4.商品广告推荐。

5.保险：海量数据挖掘及风险预测。助力保险行业精准营销，提升精细化定价能力。

6.金融：多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险。

7.信用分析：根据多方面因素对用户整体评价分析。

8.人工智能

大数据部门组织结构