张伟的专栏

CDH集群之YARN性能调优

公平调度器原理

Hive on Tez Mapper 数量计算

背景因升级JN节点，需要将JN迁移到其他机器，该节点有三台在迁移过程中我迁移其中一台。在HDFS页面进行角色迁移，选择当前角色机器和目标机器，提示需要重启整个集群（前提是需要确保是否有人员在使用）。重启后出现错误导致HA中Master无法启动错误信息引导备用 NameNodeFailed to bootstrap Standby NameNode NameNode (cluster-master): STARTUP_MSG: build = http://github.com/clou..

在执行hdfs的fsck时超时Read timed outhdfs fsck timeout问题处理Exception in thread "main" java.net.SocketTimeoutException: Read timed out at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.socketRead(SocketInputSt...

背景随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数据，却和热数据一样存储3个副本，给存储空间和网络带宽带来了很大的压力。因此，在保证可靠性的前提下如何提高存储利用率已成为当前HDFS面对的主要问题之一。Hadoop 3.0 引入了纠删码技术（Erasure Coding），它可以提高..

为了实现降本增效，京东HDFS 团队在 EC 功能的移植、测试与上线过程中，基于自身现状采取的一些措施并最终实现平滑上线。同时自研了一套数据生命周期管理系统，对热温冷数据进行自动化管理。在研发落地过程中还构建了三维一体的数据校验机制，为 EC 数据的正确性提供了强有力的技术保障。本文详细介绍在研发一个复杂系统时，如何基于实际情况进行取舍，并确立行动准则。在功能上线过程中，要保持对线上系统的敬畏，确保上线与回滚不会导致元数据损坏。此外，要深刻认识系统的核心职责，对于存储系统务必加强技术保障，确保数据的安全

文章目录前言一、架构概述1.Sentry 组件2.主要概念3.User身份和Group映射4.基于roles的访问控制5.统一授权 二、Sentry与Hadoop生态系统的集成1.Hive and Sentry2.Impala and Sentry2.Sentry-HDFS同步3.Search and Sentry4.Authorization Administration1.Disabling Hive CLI2.使用Hue管理Sentry 权限 总结前言sentry是Hadoo...

Apache sentry架构分析-(与hive、hdfs集成)本文链接：https://blog.csdn.net/hongtaq156136/article/details/88035573前言Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细粒度级、基于角色的授权以及多租户的管理模式。类似的安全管理框架还有Hortonworks公司开源的Apache Ranger。通过引进Sentry，Hadoop目前可在以下方面满足企业和政府用户的RBAC

痛苦的方式，假设你已经读取了所有文件的访问权限（并且执行目录）：$ p $ hadoop fsck / -files - 块| grep blk_520275863902385418_1002 -B 20然后从块匹配扫描回上一个文件名： /hadoop/mapred/system/jobtracker.info 4个字节，1个块：OK 0. blk_520275863902385418_1002 len = 4 repl = 1 在这种情况下blk_5202 ...是...

近期在在测试namednode 迁移方案，开始不清楚怎样迁移，就自己猜想直接删除namenode 和停止zkfc,结果看了一些资料，进行恢复，收集汇总在一起方便以后使用。其实cdh 可以采用直接迁移角色的方式进行https://blog.csdn.net/hadoop_sc/article/details/103561984https://www.cnblogs.com/alannever/p/14015784.html...

本文链接：https://blog.csdn.net/trips/article/details/102941441说明由于 hdfs 的 namenode 如果没有 active 的后，会导致 hdfs 整个集群不可用，所以迁移 namenode 还需要小心。 通过 hdfs ha 模式迁移 hdfs namenode，保证 hdfs 的高可用，本文以较常用的 hbase 作为上游来举例。 由于 zk 中存了 namenode 的 host name 与 ip，所以hostname不能变，只能改变ip

自动化failover的引入HDFS中自动化的failover故障转移需要增加两个新的组件：一个是Zookeeper quorum（仲裁），另一个是ZKFailoverController进程（简称ZKFC）。Apache Zookeeper是一个高可用的服务，对于小规模数据协调，通知客户端数据变化，监控客户端失败。自动failover的实现是基于ZK以下的作用： Failure detection 集群中的每个NameNode机器在ZK上保持持久化会话。如果机器崩溃，ZK会话过期，...

目录1.迁移节点信息：212 -> 442.压缩存储目录，备份SCMServer数据3.在新服务器安装server端4.修改 cloudera-scm-server 配置文件5.解压恢复备份数据到新服务器指定配置的目录中6.修改所有agent节点的配置文件内容7.迁移ClouderaManagementService节点8.停止原有的server端与所有agent端，并启动新服务器的server端9.登陆新的ClouderaManager地址1...

本文链接：https://blog.csdn.net/pengzhouzhou/article/details/109664302版权HDFS集群随着使用时间的增长，难免会出现一些“性能退化”的节点，主要表现为磁盘读写变慢、网络传输变慢，我们统称这些节点为慢节点。当集群扩大到一定规模，比如上千个节点的集群，慢节点通常是不容易被发现的。大多数时候，慢节点都藏匿于众多健康节点中，只有在客户端频繁访问这些有问题的节点，发现读写变慢了，才会被感知到。因此，要想维护HDFS集群读写性能稳定，慢节点问...

1 文档编写目的在Hadoop集群中，数据文件是以Block的方式存储在HDFS上，而HDFS上数据的名称，副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDFS中，而Hive的元数据metastore则保存在关系型数据库中。这些文件和数据如果丢失或者损坏，都会导致相应的服务不可用，Hadoop集群可以启用某些组件和服务的高可用或者备份，来应对可能出现数据损坏问题。但是在集群需要迁移，集群需要扩容或者缩容，或者其他情况，集群可能会面对数据安全风险的时候，

在启用了HDFS HA的集群，2个NameNode节点上一般都会部署三个角色：NameNode，JournalNode和Failover Controller。在实际生产中，我们有时会碰到一个情况，你不小心删掉了某个NameNode节点上的所有角色包括NameNode，JournalNode和Failover Controller，或者你不小心通过Cloudera Manager直接从主机管理列表里移除了该NameNode节点，然后你想再把这个节点加回去的时候，发现无论如何HDFS服务都没办法正常使用了。本

原文链接：http://www.cnblogs.com/10087622blog/p/8191169.html在linux服务器使用过程中，由于linux对内存的使用原则是能cache就尽量cache，所以会出现pagecache占用很多的情况。suse的版本有一个pagecachelimit的功能，centos中没有看到。即便是将这个功能合入到centos中，也会发现设置了没效果的情况。cat /proc/sys/vm/pagecache_limit_mb 01.将0改为...

最近在做HBase跨机房的数据迁移，正好用到HDFS的异构存储，我们使用的场景是将WAL日志保存到SSD中，其他的数据则存储在普通的SATA盘中。既充分利用了本地SSD盘的空间，又达到了提升系统性能的目的。本文是对HDFS异构存储学习和使用的总结，以及对使用HDFS异构存储过程中遇到问题的总结，希望对广大技术网友有帮助。一、异构存储是什么所谓的异构存储就是将不同需求或者冷热的数据存储...

摘要: 随着大数据技术相关技术的发展和普及，越来越多的公司开始使用基于开源Hadoop的平台系统，同时，越来越多的业务和应用也在从传统的技术架构迁移到大数据平台上。在典型的Hadoop大数据平台中，人们使用HDFS作为存储服服务Hadoop一、背景随着大数据技术相关技术的发展和普及，越来越多的公司开始使用基于开源Hadoop的平台系统，同时，越来越多的业务和应用也在从传统的技术架...

CDH6.2中capacity队列的分配配置:yarn.scheduler.capacity.root.queues

Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spark则直接采用了开源软件Akka，该软件实现了Actor模型，性能非常高。尽管二者在server端采

笨小葱这周写了一个读取hbase中的数据到map中的很简单的mr。然后放到cdh集群中跑了一下，结果出现了一系列问题。其中最重要的一个问题竟然是，笨小葱想去找我在mr程序中打的日志，竟然苦苦找不到。所以这里记录下笨小葱从头到尾的一个过程。1.打包运行mr这里笨小葱执行 hadoop jar xxx.jar时，报了一个错误:[java] view plai

SQOOP from Oracle Connection reset error个问题，截止 suresh krish 2016年09月20日 14:43 HiveSqooporacleHi Team,Iam getting below error when i try sqooping from Oracle. But when i rerun the same

收藏雪饼 发表于 3个月前 阅读 3214 收藏 426 点赞 5 评论 20最近在自己的笔记本电脑上搭建了Apache Hadoop分布式集群，采用了最新的稳定版本2.8，并配置了NameNode、ResourceManager的HA高可用，方便日常对Hadoop的研究与测试工作。详细的搭建过程如下：1、安装docker，创

Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官方也推荐关闭THP。http://

Hadoop Job完成后可以设置回调接口，一个自定义的URL，比如我的： http://x.x.x.x/log/notify/stat_job/{jobId}/{jobStatus} 之后我在Servlet中可以拿到jobId，通过jobId，就可以拿到Job对象（RunningJob），代码如下： Java代码  

Hadoop2.6.0运行mapreduce之Uber模式验证标签： hadoopmapreduce源码uberjava2016-05-05 14:55 19815人阅读 评论(2) 收藏 举报 分类：大数据（23）  Java（30）  Hadoop（10） 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)

Hadoop的JVM重用hadoopjvm参数配置 Hadoop中有个参数是mapred.job.reuse.jvm.num.tasks，默认是1，表示一个JVM上最多可以顺序执行的task数目（属于同一个Job）是1。也就是说一个task启一个JVM。 比如我配的是每个slave节点最多同时运行8个map和8个reduce。那么在map阶段，slave节点会启动最

一、查看执行计划explain extended hql；可以看到扫描数据的hdfs路径二、hive表优化分区（不同文件夹）：动态分区开启：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;默认值：strict 描述：strict是避免全分区字段是动...

Apache Ranger：统一授权管理框架by 伊布May 12, 2016in Tech1、功能支持组件用户/组管理授权审计2、机制组件plugin前一篇文章介绍了hive的授权模型和spark支持hive的现状，可以看到目前授权管理各自为政：HDFS，hive，yarn，storm等都有自己的授权模型，需要到具体产品下进行修

问题： 生产环境出现该错误。而测试环境正常原因：启用 yarn.acl.enable  并且 yarn.admin.acl 值为root,admin 而测试集群为* 解决方法：1。yarn.acl.enable 设置false                     2. yarn.admin.acl 设置为 *                     3. yar

failed task可理解为自杀，也就是task本身出了问题而自杀；killed task可理解为是他杀，也就是jobtracker认为这个任务的执行是多余的，所以把任务直接杀掉。failed task再次调度时不会在那些曾经失败的节点上运行，而killed task则可能被再次调度到任何一个节点上（包括曾经失败多的节点）.起初用hadoop的时候经常在一个complete的job中看到...

同事在用hdfs api 写入hdfs文件，2年前没有成功，这次一起解决了这个问题。详细代码如下：客户端需要指定ns名称，节点配置，ConfiguredFailoverProxyProvider等信息。代码示例：package cn.itacst.hadoop.hdfs;import java.io.FileInputStream;import java.io.InputS...

Posted bySocrateson2019年1月31日在 webhdfs rest api 的帮助下, apache hadoop 公开用于访问和操作 hdfs 内容的服务。要查看此正式文档, 请点击此处。可提供的服务以下是可用的服务集:1) 文件和目录操作1.1 创建和写入文件: 创建 (http put)1.2 追加到文件: 追加 (http 开机自检)...

 2018年09月27日 09:20:38 拾荒路上的开拓者 阅读数：6111.什么是小文件小文件一般是指明显小于Hadoop的block size的文件。Hadoop的block size一般是64MB，128MB或者256MB，现在一般趋向于设置的越来越大。后文要讨论的内容会基于128MB，这也是CDH中的默认值。为了方便后面的讨论，Fayson这里假定如果文件大小小于block ...

[YARN] 一个JDK的bug导致RM无法分配Container一月 20, 2017 0 条评论最近集群因为NM的OOM，然后决定把ContainerMetric给关闭了，然后采取了批量重启NM的方式，采取的步骤是先批量下线，然后在上线，后来发现集群任务越来越慢，集群的利用率越来越低以下是集群可用内存，一直在增加其中出现的现象是：1.事件队列队列堆积非常严重，最高500W+...

一、 NameNode的持久化信息  为了提高性能， HDFS文件系统的当前状态保持在NameNode的内存中， 当用户或程序请求文件系统的信息都由NameNode内存提供。当有Client对文件系统有修改操作，必须要更新NameNode内存中的文件系统状态。   虽然内存的速度很快，但是也是不稳定的， 如果硬件或电源故障导致HDFS文件系统的状态的丢失，为了恢复，会定期的将内存中的文件系统的状态...

HDFS的工作机制概述HDFS集群分为两大角色：NameNode、DataNodeNameNode负责管理整个文件系统的元数据DataNode 负责管理用户的文件数据块文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上每一个文件块可以有多个副本，并存放在不同的datanode上Datanode会定期向Namenode汇报自身所保存的文件block信息，而na...

0. 写在前面部分原文来自 support.pivotal.io 的翻译，对于该篇文章中感觉概念模糊不清的地方我做了修正，并扩充了我自己的部分理解，有不正确的地方还望大家指正1. Container是什么Yarn Container就是一个yarn的java进程（这里容易被误解成类似Linux Container的概念），在Mapreduce中的AM，MapTask，ReduceTask， spa...