hadoop
Winhole
一个爱学习的新手
软件测试
展开
-
hadoop-yarn资源分配介绍-以及推荐常用优化参数
根据网上的学习,结合工作进行的一个整理。 如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop 2.x 的一部分,YARN采用MapReduce中的资源管理功能并对其进行打包,以便新引擎可以使用它们。 这也简化了MapReduce,使其能够做到最好,处理数据。 使用YARN,您现在可以在Hadoop中运行多个应用程序,所有应用程序都共享一个公共资源管理。那资源是有限的,YARN如何识别资源并按需分配大小呢?应用程序的运行过程在学习Container之前,大家应先了解YARN.原创 2020-06-05 19:28:43 · 1843 阅读 · 0 评论 -
Hadoop,Hbase测试工具介绍
Hadoop,Hbase测试工具介绍Hadoop自带的测试工具hadoop-mapreduce-examples-x.x.x.jarhadoop-mapreduce-client-jobclient-x.x.-tests.jarpi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method.说明:蒙特卡罗算法计算Pi执行:./bin/hadoop jar share/hadoop/mapreduce/had原创 2020-06-05 19:23:27 · 469 阅读 · 0 评论 -
Yarn-RM-HA配置文件添加
下面说明是基于之前基本环境(yarn)已经基本完成搭建后继续学习高可用性功能以Active / Standby ResourceManager对的形式添加冗余,以消除此单点故障。ZooKeepr能够为我们保证最终只有一个ResourceManager能够创建成功。创建成功的那个ResourceManager就切换为Active状态,没有成功的那些ResourceManag...原创 2019-10-14 17:53:21 · 1147 阅读 · 0 评论 -
yarn-内存相关基本参数设置(转)
【YARN中内存资源的调度和隔离】基于以上考虑,YARN允许用户配置每个节点上可用的物理内存资源,注意,这里是“可用的”,因为一个节点上的内存会被若干个服务共享,比如一部分给YARN,一部分给HDFS,一部分给HBase等,YARN配置的只是自己可以使用的,配置参数如下:(1)yarn.nodemanager.resource.memory-mb表示该节点上YA转载 2017-05-07 19:33:47 · 430 阅读 · 0 评论 -
spark环境搭建
节点角色node102master+workernode103workernode104worker 在此之前已经安装好了hadoop环境 首先下载安装包spark-1.6.0-bin-hadoop2.6解压到/opt/spark-1.6.0下配置spar原创 2017-05-07 19:35:09 · 305 阅读 · 0 评论 -
hive环境搭建
hive环境搭建相比较其他组件而言,很简单 1安装mysql(如果机器自带可以省略该步骤)[root@localhost hive-x.x.x]# yum install mysql mysql-server mysql-devel设置mysql配置文件/etc/my.cnf中加入default-character-set=latin1启动mysql[ro原创 2017-05-07 19:37:26 · 509 阅读 · 0 评论 -
关于yarn内存的介绍,很实用给出了很好的建议
一篇外网的文章,收藏很好HOW TO PLAN AND CONFIGUREYARN AND MAPREDUCE 2 IN HDP 2.0byRohit Bakhshi As part of HDP 2.0 Beta, YARN takes theresource management capabilities that were in MapReduce and p转载 2017-05-07 19:39:33 · 784 阅读 · 0 评论 -
hbase参数调整
简单的参数调整,适合初级学习1.hbase中hfile的默认最大值(hbase.hregion.max.filesize) 256MB --10GB??根据结果得到如下结论:值越小,平均吞吐量越大,但吞吐量越不稳定;值越大,平均吞吐量越小,吞吐量不稳定的时间相对更小。2. autoflush=false的影响 2M(hbase.client.write.buffer决原创 2017-05-07 19:40:48 · 2707 阅读 · 0 评论 -
hadoop-kerbero等相关搭建可能遇到的问题和排查
./datapool/loongoop/tmp/hadoop-yarn/staging/yarntest/.staging/job_1537338393901_0001/job.jar does not exist问题:18/09/19 14:27:38 INFO mapreduce.Job: Task Id : attempt_1537338393901_0001_r_000000_2, St...原创 2019-09-11 10:57:16 · 4355 阅读 · 1 评论