学习笔记(15):第二章:海量数据的处理与挖掘-Map Reduce思想变换数据key-value_01

研发管理 专栏收录该内容
25 篇文章 0 订阅

立即学习:https://edu.csdn.net/course/play/26303/334276?utm_source=blogtoedu

Hadoop有四个模块

超大的文本文件,统计每个文本中的词出现的次数

热门url,搜索词统计,区分垃圾邮件和短信,舆情分析(正负面评论)

Map  发散 逐行扫描,并抽取关键  遍历,递归    key value 键值对

Group by key 排序,洗牌

Reduce 收敛 聚合,总结,过滤或转换;写入结果

Map 和Reduce函数要根据具体问题具体实现

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值