![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop学习
文章平均质量分 96
Ethan-bigdata
这个作者很懒,什么都没留下…
展开
-
从jdk安装到hadoop集群安装全部过程
文章目录hadoop安装和jdk修改linux主机之间实现免密登录hadoop安装和jdk修改1、解压Hadoop安装包将Hadoop的安装包上传到Linux后,先在根目录下创建一个/bigdata目录用于保存以后要安装的大数据相关程序mkdir /bigdata(也可以不用创建目录)tar -zxvf hadoop-3.1.0.tar.gz -C /bigdata/2、进入Had...原创 2019-10-23 19:17:38 · 435 阅读 · 0 评论 -
mapreduce笔记
map相当于映射,reduce是资源处理,一个切片(物理逻辑概念)对应一个map一个块对应一个map如果有一个窗口机制,能够实现一个map对应块中的其中的一条记录,那就形成一个map对应一个记录map的数量根据切片来决定,切片根据数据特征来决定,切片的大小可以改变,一个切片也可以对应两个块reduce的数量由人来决定一条记录调用一次mapMR原语:输入(格式化k,v)数据集...原创 2019-10-20 13:19:00 · 134 阅读 · 0 评论 -
hadoop学习笔记
一、hadoop四个核心模块hadoop commonhadoop distributed file system(功能:对数据存储功能的访问)分布式存储系统提供了 高可靠性、高扩展性和高吞吐率的数据存储服务hadoop yarn(用于框架和集群管理)分布式计算框架(计算向数据移动)具有 易于编程、高容错性和高扩展性等优点。hadoop mapreduce( 实现数据的分析和处理...原创 2019-10-19 10:17:37 · 206 阅读 · 0 评论