萌兔兔MMQ！！

重新启动mysql解决！

加粗样式

一、报错代码如下：21/06/01 20:13:36 INFO yarn.SparkRackResolver: Got an error when resolving hostNames. Falling back to /default-rack for all21/06/01 20:13:37 INFO yarn.Client: Application report for application_1608519460278_0223 (state: RUNNING)21/06/01 20:13:

通过Sqoop的help命令可以看到sqoop有哪些工具。

cdh管理页面修改 hive hue oozie 密码。登陆mysql后，首先修改root密码。

之后HMaster，HRegionServer，HQuorumPeer会自动挂掉。在本地搭建一套Hbase环境，在执行start-hbase.sh后，观察log。根据log推断应该是zookeepr出现了问题。

1.说明hbase 的下载来源有：官方版本：http://archive.apache.org/dist/hbase/CDH版本：http://archive.cloudera.com/cdh5企业应用一般选择CDH版本，因为比较稳定。若决定使用CDH版本，则要保证相关软件的CDH版本相同，如 选择 hadoop-2.6.0-cdh5.9.3 与 hbase-1.2.0-cdh5.9.32.环境准备操作系统 : linux CentOS 6.8jdk:1.7。

对于KingbaseES R3集群，kingbase_monitor.sh一键修改密码的功能，增加了管理员管理集群用户的方便性；但是需要注意的是，在修改集群用户密码时，将会将集群所有node的kingbasecluster服务stop，这个在生产环境使用时，需要注意。

在CDP7中，因为是Hadoop3，默认就支持磁盘间数据均衡，本文档主要介绍在CDP中如何进行HDFS磁盘扩容并在节点内进行Balancer。特别是这种情况：当DataNode原来是挂载了几个数据盘，当磁盘占用率很高之后，再挂载新的数据盘。由于Hadoop 2.x 版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下，挂载新的数据盘就失去了扩容HDFS数据盘的意义。磁盘平衡执行计划生成的文件内容格式是Json的，并且存储在HDFS之上。...

159启动cloudera-manager失败发现启动过程中event-server失败，后面接着三个monitor就失败了。#该主机已与 Cloudera Manager Server 建立联系。然后从新添加到集群。把170，171，172，221四台agent停掉，停掉170 server；#最后开启servermonitor的通配符，还是上面的错误查看agent scm-status.log。#最后开启servermonitor的通配符，还是上面的错误查看agent scm-status.log。..

此处注意：hdfs会为每个用户都建一个回收站，用户删除文件时，文件并不是彻底地消失了，而是mv到了/user/用户名/.Trash/这个文件下，在一段时间内，用户可以恢复这些已经删除的文件。如果用户没有主动删除，那么系统会根据用户设置的时间把文件删除掉（某些默认设置是360分钟，用户也可以自己设置这个删除的时间设置），用户也可以手动清空回收站，这样删除的文件就再也找不回来了。可以找到你的用户相关的回收站文件 /user/fughting/.Trash/Current 文件。...

可以在CM里启动（hdfs-balancer-示例-操作-重新平衡），也可以命令启动（hadoop balancer [-threshold ]）。解决方法一：主要清理cloudera-host-monitor 、cloudera-service-monitor。下面是我写的一个shell脚本，可以查看所有目录和文件的大小，将大的无用文件删除。例：subject_ts、ts_subject、ts等带有ts的目录（慎重啊）例：subject_ts、ts_subject、ts等带有ts的目录。...

NameNode在收到删除命令时，会先将这个命令写到edits中，然后会告诉DataNode执行真正的文件删除操作。所以我们在误删文件后，需要做的是立刻停止NameNode和DataNode节点，阻止删除命令的执行。OP_DELETE代表删除操作，可以将这个标记修改为安全的操作（如OP_SET_PERMISSIONS），如果这个命令在最后，可以直接删除，然后保存。文件的恢复存在以下几种情况：(主要和集群的繁忙状态有很大关系。最后再启动NameNode和DataNode节点，查看误删文件的恢复情况。...

NameNode在收到删除命令时，会先将这个命令写到edits中，然后会告诉DataNode执行真正的文件删除操作。所以我们在误删文件后，需要做的是立刻停止NameNode和DataNode节点，阻止删除命令的执行。OP_DELETE代表删除操作，可以将这个标记修改为安全的操作（如OP_SET_PERMISSIONS），如果这个命令在最后，可以直接删除，然后保存。文件的恢复存在以下几种情况：(主要和集群的繁忙状态有很大关系。最后再启动NameNode和DataNode节点，查看误删文件的恢复情况。...

快照的一些常见用例是数据备份，利用快照可以对重要数据进行恢复，防止用户错误性的操作，管理员可以通过以滚动的方式周期性设置一个只读的快照，这样就可以在文件系统上有若干份只读快照。对做快照之后的数据进行的更改将会按照时间顺序逆序的记录下来，用户访问的还是当前最新的数据，快照里的内容为快照创建的时间点时文件的内容减去当前文件的内容。然后找到执行删除操作发生时间对应的edits日志。新建快照的时候，Datanode中的block不会被复制，快照中只是记录了文件块的列表和大小信息快照不会影响正常的HDFS的操作。..

请教了我的一个前辈（马可老师）后得知大概起始给系统挂载分盘时候分配的磁盘太小，然后随着日后使用，磁盘不够，有2种解决方法，第一种治标的，采用删除日志方法，linux系统所有文件的日志保存在/var/log下，可以删日志把空间腾出来，我就用进程查看了****意，此时我的4台机器，242server主节点启动成功，242,243两台ip的机器agent没有启动成功，244,245的agent启动成功了）......

权重定义了资源池之间分配资源的比例，目前集群中的default资源池和users资源池的权重各为1,那么集群中的资源会将50%分配给default，50%分配给users，但是这里的资源分配不是一个静态的概念，假如users中没有任务在运行，那么default资源池是允许使用超过50%的资源的，且资源池配置允许在线修改，修改后不需要重启yarn，因为RM会周期性的读取资源池的配置信息。例如，如果你启动一个服务， Agent 尝试启动相应的进程，如果这个进程启动失败，Server会标记这个失败的启动命令。..

然后通过命令 journalctl -xe 发现了一些端倪，提示 JAVA_HOME 找不到，但是我明明已经安装过了jdk，使用 java -version 也可以正常列出版本信息，怎么还会找不到呢？同时注意的是，集群内其他已经安装 Java 的机器也建议这样操作，因为 CDH 在安装过程也会检查集群内各个机器的环境情况，如果机器只是安装了 Java 并配合环境变量，但是 /usr/java 没有信息的话，检测也会提示机器没有 Java 环境的。...

而 G1 适合大内存的场景，通过把堆内存划分为多个 Region（不是 HBase 中的 Region），然后对各个 Region 单独进行 GC，这样就具有了并行整理内存碎片的功能，可以最大限度的避免 Full GC 的到来，提供更加合理的停顿时间。此外，HBase 2.x 不再支持该参数。hbase.bucketcache.size：BucketCache 大小，取值有两种，一种是[0,1]之间的浮点数值，表示占总内存的百分比，另一种是大于1的值，表示占用内存大小，单位 MB。...

HDFS 读数据流程客户端通过 FileSystem 向 NameNode 发起请求下载文件，NameNode 通过查询元数据找到文件所在的 DataNode 地址挑选一台 DataNode（就近原则）服务器，发送读取数据请求DataNode 开始传输数据给客户端客户端以 Packet 为单位接收，先在本地缓存，然后写入目标文件HDFS 写数据流程客户端通过 FileSystem 模块向 NameNode 发送上传文件请求，NameNode 检查目标文件是否已存在，父目录是否存在。...

目的刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理进行简单分析，加深理解spark-shell执行启动spark-shell后，可以发下yarn集群上启动了一个作业，实际上，cdh-spark默认提交作业模式为yarn-client模式，即在本地运行Driver，作业在yarn集群上执行spark-shell启动过程分析。...

第二种通过读取文件的方式访问(此时需要将集群的配置文件拷贝到resources文件下面core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)第一步需要配置本地Hadoop环境变量。第一步需要配置本地Hadoop环境变量。第一种通过Hive表直接访问。第一种通过Hive表直接访问。...

众所周知，hive的查询延迟是很高的，由于没有索引，需要扫描整张表，另一个原因是MapReduce计算框架，由于MapReduce本身具有很高的延迟，因此在利用MapReduce执行查询时，也会有很高的延迟，因此，我们决定使用SparkonHive提升hive性能。通过测试发现HiveonSpark对hive性能有明显提升，这还是运行在只有三个计算节点，每个计算节点只有4G内存的集群，在更高配置的集群里，HiveonSpark对hive的提升性能更加巨大。如何在Hive的命令行查看本地文件。...

3）hiveserver2是hiveserver（不支持并发）的升级版，启动了一个server服务，默认监听端口10000，客户端可以使用JDBC协议，支持多客户端的并发和认证，为开放API客户端如JDBC、ODBC提供了更好的支持。LOCAL本地数据INPATH文件的地址OVERWRITE覆盖表中的数据加overwrite是重写表的数据，不加是追加数据。如果增加分区必须在创建表的时候就创建分区，不然就会报错，创建分区的命令>partitionby‘根据哪个字段分区’，...

今日在windows上用spark写hbase的函数saveAsHadoopDataset写hbase数据库的时候，遇到WillnotattempttoauthenticateusingSASL(unknownerror)错误，程序卡在那里不动了，百度后发现是我的windows上面hosts文件没有配置。其实，PySpark–我认为这不重要。作为HBase的客户端，你必须连接到这两个HBase的服务（直接或通过节俭）和动物园管理员服务（通常在同一台服务器HBase的主上运行）。...

1.Spark 属性Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-value对）比如：val conf = new SparkConf()　　　　.setMaster(”local[2]“) #注意1　　　　.setAppName(”test“)　　　　.set(“spa

原理解释在hive中decimal类型是固定的用int32来表示，而标准的parquet规范约定，根据精度的不同会采用int32和int64来存储，而spark就是采用的标准的parquet格式；默认是5，挂了就设置为6；在实际生产中，通常需要根据程序中使用的缓存内存和计算内存，来划分不同的比例，从而合理的利用内存，避免OOM，提高性能；对于spark调优和OOM异常，通常都是对executor的内存做调整，spark内存模型也是指executor的内存分配，所以executor的内存管理是非常重要的；..

看了一下同事的代码，里面有一个groupby的操作，而且指定了partitionnum是2000，executors是60。并发连接数超过了其承载量，服务器会将其中一些连接Down掉，这也就是说在运行spark程序时，过多的申请资源并发执行。并且需要将某些hive表读取到dirver节点上，用来获取每个executor上某些数据的映射值，运行时抛出的异常信息，从网上查了下原因大致是服务器的。运行的程序其实逻辑上比较简单，只是从hive表里读取的数据量很大，差不多60+G，...

启动Hbase进入在安装目录下的bin目录查看进程使用jps命令查看启动的进程发现Hmaster进程并没有启动，并且发现报错这是由于JDK使用的是jdk1.8.0_65我们只需要把hbase-env.sh里面的。

2、split后的compact是一个比较耗资源的动作。10）、hbase.hregion.memstore.block.multiplier默认值2，如果memstore的内存大小已经超过了hbase.hregion.memstore.flush.size的2倍，则会阻塞memstore的写操作，直到降至该值以下，为避免发生阻塞，最好调大该值，比如4，不可太大，如果太大，则会增大导致整个RS的memstore内存超过memstore.upperLimit限制的可能性，进而增大阻塞整个RS的写的几率。...

现象描述Hive环境一个数据库，拥有表8000+，业务代码需要挨个desc {tableName}来获取表信息。当程序运行到4000+左右，开始出现获取信息失败。查找原因通过查看日志发现是连接已断开，具体如下：【INFO】org.apache.ibatis.exceptions.PersistenceException:Caused by: java.sql.SQLException: Connection has already been closed.at org.apache.tomcat.j

2.在hbase的conf下hbase-site.xml下配置hbase.zookeeper.quorum这个属性，具体原因看网上有个解释不错在master所在的pc上启动start-all时，内容提示所有的regionserver已经全部启动。二、这个问题的出现，会伴随一个非常奇怪的现象。1.首先确定本地的zk版本跟服务器的zk版本是否一致，简单的就是看依赖的jar包，去zk的安装包下找对应的jar包直接跟本地的比较，操作hbase出现这种情况就是hbase安装目录的lib下找，确定版本一致。...

这是由于openssl库的位置不正确造成的。如果不知道位置，现查找下。

启动始终报错，求解决。

问题现象访问CloudTable的HBase连接不上，出现如下所示的错误信息：Opening socket connection to server 192.168.0.107/192.168.0.107:2181. Will not attempt to authenticate using SASL (unknown error)原因分析出现该问题的可能原因为：网络访问不通。由于CloudTable的链接地址是内网地址，不是公网地址，不能在公网环境直接连接CloudTable。您可以在客户端主机上

HBase启动RegionServer时报错：ERROR [main] regionserver.HRegionServer: Failed construction RegionServerjava.lang.IllegalArgumentException: java.net.UnknownHostException: xxx原因是hbase-site.xml文件的hbase.rootdir属性的值用的是ZooKeeper的入口，即dfs.nameservices的值解决方法：把/hadoop/etc

环境信息虚拟机版本：centos7 、HBase版本1.3.3 、 Hadoop版本：2.6.4 、Zookeeper版本：3.4.5异常信息ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper exists failed after 4 attemptsWARN [main] zookeeper.ZKUtil: hconnection-0x44b294960x0, quorum=hadoop2:2182, baseZNode=/hbase U

hbase 节点重启报错：问题描述：重启Hbase RegionServer和Hmaster失败查看主、从节点日志后发现如下报错解决办法：经排查后发现各节点date时间不同，相差较大，导致启动失败。设置ntp时间同步或者批量操作各节点同时修改相同时间。sudo systemctl restart chronyd.service时间重新同步后，重启hbase服务后恢复正常。单节点重启依然失败。...

1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作

背景跑kylin 的 build cube 任务，总是在跑任务（数据量200M）的时候挂掉，各种调节yarn的参数都不行。在这里插入图片描述关键跑的时候还没涉及到hbase,因为我跑的是kylin on druid，但是总是跑着跑着，直接ERROR，查看hbase发现。不良 : 该角色在之前的 3 分钟 中遇到 1 次意外退出。这包括由于 OutOfMemory 错误而导致的 1 退出。 临界阈值：任意。12然后死掉在这里插入图片描述在这里插入图片描述页面上还有这个错Java HotS