![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
文章平均质量分 94
HADOOP 3.0学习
技术无产者
心之所向,素履以往,生如逆旅,一苇以航!
展开
-
Hadoop集群搭建(三)_Hadoop集群搭建
本系列共三篇文章分别为Hadoop集群搭建(一)_Linux虚拟机环境安装Hadoop集群搭建(二)_Linux虚拟机环境配置Hadoop集群搭建(三)_Hadoop集群搭建集群整体配置如下: Hadoop101 Hadoop102 Hadoop103 HDFS NameNode DataNode DataNode ...原创 2021-03-29 09:15:54 · 475 阅读 · 0 评论 -
Hadoop集群搭建(一)_Linux虚拟机环境安装
安装虚拟机---CentOS整个安装过程分两大步,第一步装机器,第二步装系统.第一步:装机器检查物理机虚拟化支持是否开启,需要进入到BIOS中设置,因各种电脑型号进入BIOS方式不同,自行查找对应品牌电脑如何进入BIOS建议:先安装,如果安装中提示虚拟化未开启,再进入BIOS设置,如安装一切顺序,则不需要进行任何设置。 2.在VMware中新建虚拟机3. 默认即可,不需要做任何修改,直接下一步4.选择稍后安装操作系统,然后下一步...原创 2021-03-29 09:10:15 · 454 阅读 · 1 评论 -
Hadoop集群搭建(二)_Linux虚拟机环境配置
虚拟机环境配置网络环境配置和系统管理操作网络配置一>. 查看网络IP 和 网关1.查看虚拟网络编辑器,如图5-1所示 图5-1 查看虚拟网络编辑器2.修改虚拟网卡Ip,如图5-2所示 图5-2 修改虚拟网卡ip3.查看网关,如图5-3...原创 2021-03-29 08:33:33 · 311 阅读 · 1 评论 -
MySQL for Linux错误 ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES
假设我们使用的是root账户。1.重置密码的第一步就是跳过MySQL的密码认证过程,方法如下:#vim /etc/my.cnf(注:windows下修改的是my.ini)在文档内搜索mysqld定位到[mysqld]文本段:/mysqld(在vim编辑状态下直接输入该命令可搜索文本内容)在[mysqld]后面任意一行添加“skip-grant-tables”用来跳过密码验证的过程,如下图所示:保存文档并退出:#:wq2.接下来我们需要重启MySQL:systemctl r转载 2020-12-16 15:25:17 · 432 阅读 · 1 评论 -
start-yarn.sh无法群起resourceManager的坑
hadoop的分布式部署在三台机,分别为:hadoop.node.server01、hadoop.node.server02、hadoop.node.server03,nameNode部署在server01中,而YARN的resourceManager部署在server02, 在server01机器上配置好core-site.xml、hdfs-site.xml、mapred-site.xml、slave等配置文件, 配置无密码登录, 将配置文件scp到其它各台机器中,执行b...原创 2020-12-11 15:42:52 · 1849 阅读 · 0 评论 -
MapReduce中Shuffle阶段细分和reduceTask为0时
在Mapreduce中,Shuffle过程是Mapreduce的核心,它分布在Mapreduce的map阶段和reduce阶段,共可分为6个详细的阶段:1).Collect阶段:将MapTask的结果输出到默认大小为100M的MapOutputBuffer内部环形内存缓冲区,保存的是key/value,Partition分区,map的每条结果通过context.write进行collect数据收集,即进入到了Collect阶段。在collect中,会先对其进行分区处理,默认使用HashPartitio原创 2020-12-06 16:17:23 · 450 阅读 · 0 评论 -
MapReduce中shuffle和排序详解
MapReduce简介在Hadoop MapReduce中,框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收,是一个很复杂的过程,框架处理了所有问题,并提供了很多配置项及扩展点。一个MapReduce的大致数据流如下图:更详细的MapReduce介绍参考Hadoop MapReduce原理与实例。Mapper的输出排序、然后传送到Reducer的过程,称为shuffle。本文详细地解析shuffle过程,深入理解这个过程对于MapReduc转载 2020-12-06 15:22:11 · 1489 阅读 · 0 评论 -
MapReduce 的 shuffle 过程中经历了的三次sort
shuffle 是从map产生输出到reduce的消化输入的整个过程。排序贯穿于Map任务和Reduce任务,是MapReduce非常重要的一环,排序操作属于MapReduce计算框架的默认行为,不管流程是否需要,都会进行排序。在MapReduce计算框架中,主要用到了两种排序方法:快速排序和归并排序1)快速排序:通过一趟排序将要排序的数据分割成独立的两部分,其中一部分的所有数据比另外一部分的所有数据都小,然后再按此方法对这两部分数据分别进行快速排序,整个排序过程可以递归进行,以此使整个数据成为有转载 2020-12-06 15:20:23 · 1677 阅读 · 0 评论 -
搭建hadoop集群常见坑:hadoop集群中namenode启动不起来的成因和二种解决方法
hadoop集群中namenode启动不起来如何解决新手在初次搭建hadoop集群中经常遇到namenode或者databode启动不起来,大概率是因为多次格式化NameNode造成的。因为每格式化一次NameNode,就会产生新的集群id,导致NameNode和DataNode的集群id不一致,最终启动不起来namenode。有二个解决方法:第一种.删除原目录,先删除data文件和logs日志文件夹,然后再格式化NameNode。data文件的路径在core-site.xml下配置的h..转载 2020-11-19 20:12:30 · 5362 阅读 · 1 评论