认识hadoop

目录

大数据

大数据特点(5V)

大数据处理框架

Hadoop

发展历史及hadoop特点

核心组件

HDFS

MapReduse

YARN

大数据

字面理解:大量的数据,生活中每时每刻都在产生数据。

深层理解:海量数据的获取,分析,处理。让没有意义的数据变为有价值的数据。数据量超过传统数据库处理的能力,因而产生大数据技术。

  • 大数据的大没有标准,TB~PB

  • 大数据不仅仅大

  • 大数据的标准可变

体现:问卷调查,获得信息;微博热搜,展示实时热点信息。

大数据特点(5V)

  • volume,数据量大,PB、EB、ZB级别

  • velocity,速度快,有效的时间内处理数据才有价值

  • variety,种类多(结构化、半结构化、非结构化数据处理)

  • value,数据价值密度低,海量信息中有用的少

  • veracity,数据的质量高

例如:淘宝推荐,网易云推荐,抖音及快手视频推荐。

应用方向:

        医疗大数据(提醒服药)

        金融大数据(广告推荐)</

  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值