hadoop
文章平均质量分 75
逝水-无痕
这个作者很懒,什么都没留下…
展开
-
Hadoop的HA集群部分节点修改IP
文章目录关闭待修改IP节点中的NodeManager和DataNode进程修改防火墙规则修改集群中所有节点的hosts文件重启待修改IP节点中的NodeManager和DataNode进程由于某些原因(如网络改造),Hadoop集群中部分节点的IP需要做变更,这个时候该怎么办呢?现以集群中worker1、worker2两个节点需要修改IP,给出给出解决方案如下:主机名老IP新IPworker1192.168.11.110.63.150.1worker2192.168.1原创 2020-11-03 11:35:46 · 944 阅读 · 0 评论 -
Hadoop3.x动态扩容
文章目录新增节点基础准备添加DataNode添加NodeManager刷新节点&HDFS负载均衡删除节点新增节点基础准备主要是设置hadoop运行的系统环境,主要包括系统相关(yum源配置、安装psmisc软件、时间同步配置、LVM配置、防火墙设置),根据需要可选择性实施;配置主机名;修改hosts文件,配置IP和主机名之间映射关系,将集群所有节点都配置进去(集群所有节点保持...原创 2019-09-11 10:08:17 · 767 阅读 · 0 评论 -
基于CentOS7的Hadoop3.x完全分布式HA的安装部署
文章目录部署规划安装配置zookeeper下载安装目录规划将下载的二进制包移动到/usr/local/hadoop目录,解压缩文件包配置设置环境变量启动部署规划iphostnameinstall softwareprocess10.62.84.37masterhadoop,zookeepernamenode,ResouceManager,ZKFC10.62....原创 2019-05-27 11:01:27 · 2403 阅读 · 1 评论 -
基于linux和eclipse的mapreduce程序本地模式和集群模式
文章目录本地模式本地模式(输入输出数据在本地)本地模式(输入输出数据在HDFS)集群模式本地模式mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行。在本地运行可以使用debug进行跟踪代码,方便查错,在本地运行主要作用是看mapreduce的业务逻辑是否正确;处理的数据及输出结果可以在本地文件系统,也可以在hdfs上;本地模式非常便于进行业务逻辑的deb...原创 2019-04-10 17:35:26 · 349 阅读 · 0 评论 -
Hadoop日志详解
文章目录Hadoop日志详解1 Hadoop 系统服务输出的日志1.1 修改Hadoop日志目录1.2 修改YARN日志目录2 Mapreduce程序输出来的日志2.1 作业运行日志2.2 任务运行日志 (Container 日志)Hadoop日志详解Hadoop的日志大致可以分为两大类:1、 Hadoop 系统服务输出的日志;2、 Mapreduce程序输出来的日志。且这两类的日志存放...原创 2019-03-31 23:01:25 · 5629 阅读 · 0 评论 -
YARN相关配置参数整理
文章目录资源相关配置参数以下所述参数均在yarn-site.xml文件中配置资源相关配置参数yarn.scheduler.minimum-allocation-mbyarn.scheduler.maximum-allocation-mb说明:单个容器可申请的最小与最大内存,应用在运行申请内存时不能超过最大值,小于最小值则分配最小值。默认值:1024/8192yarn.schedule...原创 2019-03-04 18:41:23 · 1379 阅读 · 0 评论 -
Hadoop相关配置参数整理
文章目录core-site.xml部分参数hdfs-site.xml部分参数core-site.xml部分参数参数名默认值说明建议hadoop.native.libtrue设置是否使用本地库(Hadoop默认是启动本地库的)-hdfs-site.xml部分参数参数名默认值说明建议dfs.namenode.name.dirfile:...原创 2019-03-09 15:17:23 · 182 阅读 · 0 评论 -
YARN ResourceManager重启作业保留配置
文章目录开启Recovery(即Enable RM Restart)YARN可以通过配置支持ResourceManager重启过程中,不影响正在运行的作业,即重启后,作业还能正常继续运行直到结束。具体参考官网:https://hadoop.apache.org/docs/r3.1.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.htm...原创 2019-03-05 15:39:26 · 3739 阅读 · 0 评论 -
YARN Fair Scheduler配置
文章目录启用Fair Scheduler队列配置参考启用Fair Scheduler在${HADOOP_HOME}/etc/hadoop/yarn-site.xml文件中添加如下配置: <property> <name>yarn.resourcemanager.scheduler.class</name> <value...原创 2019-03-05 15:10:06 · 1718 阅读 · 0 评论 -
基于CentOS7的Hadoop3.2.0完全分布式集群部署记录
文章目录3台服务器部署结构目录规划一、前提1、安装Java,具体参考:https://blog.csdn.net/wangkai_123456/article/details/536128062、永久修改CentOS服务器hostname主机名,主机名和IP一一对应3、配置hosts文件【集群的所有节点】4、设置SSH无密码登录4.1、 在hadoopSvr1上生成公钥4.2、分发公钥4.3、设置...原创 2019-02-13 15:38:46 · 6662 阅读 · 13 评论 -
Linux安装hadoop步骤
准备工作需要新增一个名为hadoop的用户,方法如下:1、以root身份登录linux系统,在shell终端中输入如下命令创建用户hadoopuseradd -m hadoop -s /bin/bash2、使用如下命令修改hadoop用户的密码passwd hadoop3、为hadoop用户增加管理员权限visudo在打开的文件中找到“root ALL=(原创 2016-12-26 16:23:06 · 1145 阅读 · 0 评论