第一章 大数据概论
1、大数据
指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
主要解决:海量数据的存储、海量数据的分析计算、统一资源管理调度。
按照顺序给出数据存储单位 | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
bit | Byte | KB | MB | GB | TB | PB | EB | ZB | YB | BB | NB | DB |
1Byte=8bit,1KB=1024Byte,1MB=1024K,1G=1024M,1T=1024G,1P=1024T 1ZB=10的21次方字节等于1000EB |
2、大数据特点:【4V】
Volume【大量】、Velocity【高速】、Variety【多样】、Value【低价值密度】
3、大数据应用场景
①物流仓储:大数据分析系统助力商家精细化运营、提升销量、节约成本。
②零售:分析用户消费习惯,为用户购买商品提供方便,从而提升商品销量。经典案例:纸尿裤+啤酒
③旅游:深度结合大数据能力与旅游行业需求,共建旅游产业智慧管理、智慧服务和智慧营销的未来
④商品广告推荐:给用户推荐可能喜欢的商品
MySelf:网易云音乐的每日推荐根据用户的品味进行筛选推荐
第二章
1、Hadoop是什么 ?
①、是一个由Apache基金会所开发的分布式系统基础架构
②、主要解决:海量数据的存储和海量数据的分析计算问题
③、广义上说,Hadoop通常是一个更广泛的概念————Hadoop生态圈