![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据/HDFS/CDH/sqoop
大数据中HDFS的应用,CDH的运维记录,sqoop的应用
hcq_lxq
这个作者很懒,什么都没留下…
展开
-
CDH跨集群联查方案
比如有A集群上存在表A_TAB和B集群存在B_TAB,步适用Discp情况下如何在A集群上查询使用B_TAB?,且location执行B集群的namenode或者kudu Master;第二步:如果使用impala 需要刷新表;如果是分区表需要修复分区。需要实现2个CDH集群的hive表和kudu表联查;第一步: 在A集群创建B_TAB。第三步:A集群上查询B_TAB。和CDH版本为6.3.原创 2023-10-25 17:35:38 · 151 阅读 · 0 评论 -
Unable to send support bundle to Cloudera servers due to exception
CDH每次重启组件服务的时候进度条提示如下报错,但是不影响组件运行Unable to send support bundle to Cloudera servers due to exception: java.util.concurrent.ExecutionException: java.lang.RuntimeException: Failed to upload bundle. Please file a ticket with the exception and the relevant se原创 2022-04-25 17:54:57 · 564 阅读 · 0 评论 -
Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
问题描述: hql语句周期性调度执行,在某个时间后经常出现如下报错 FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 报错的语句都是设置了 set hive.execution.engine=spark;参数, 原因: 发现...原创 2022-04-12 22:35:28 · 8687 阅读 · 0 评论 -
加入sentry后普通用户访问hdfs文件权限问题
问题: 加入LDAP和sentry控制权限后,在每天服务器中添加了普通用户,例如hadoopuser,在hadoopuser下执行su - u hadooouser hdfs dfs -ls /user/hive/warehouse报错,报错信息如下。ls: Permission denied: user=hadoopuser, access=READ_EXECUTE, inode="/user/hive/warehouse":hive:hive:drwxrwx--x分析思路:...原创 2021-12-11 10:56:42 · 1457 阅读 · 1 评论 -
CDH 中hive的 Hive Metastore Server中JVM 堆栈内存溢出问题分析
问题: 在操作BDR迁移hive数据的过程中。新集群的CM界面突然无法显示,最中后台找到对应BDR任务手动杀死进程,重启集群的server和agent服务。CM界面正常显示,但是过了一会HMS异常退出。CM界面CMS中JVM 堆栈内存显示高出设定值。重启CMS过一段时间还是会自动挂掉。JVM 堆栈内存显示仍然高出设定值。问题: 经过排查发现元数据库磁盘空间不足,发现hive元数据库notification_log表竟然几百G,数据库扩容后仍然没用。最后查到noti...原创 2021-12-09 20:55:03 · 2764 阅读 · 0 评论 -
加入sentry后hive HMS的canary时间较长问题
异常问题: 给CDH6.3添加完sentry之后,使用创建的用户登录beeline,创建表的时候,操作需要 200s 多完成,查询数据没有问题。CH界面显示hive HMS的canary时长居高不下。创建测试表花费200sCM界面上hive的HMS Canary持续时间很长:原因: 因为是上sentry的时候出现的情况,所以应该是sentry信息同步的消息过慢;HMS 会实时向 Sentry 同步Notifications 请求,当需要大...原创 2021-12-09 20:36:54 · 1469 阅读 · 0 评论 -
CDH修改静态资源池配置,NodeManager重启失败问题
问题描述:修改静态资源池配置的时候,重启整个CM之后,突然发现一个YARN中的NodeManager重启失败,问题NodeManager服务不能重启也不能停止。通过链接发现资源配置有一台还是以前的配置没有变化;http://hadoopip:8088/cluster/nodes解决方案:1、重启有问题的agent,systemctl restart cloudera-scm-agent2、在元数据库的CM用户下查询roles,查找role_type不是RUNNING的数据,更新这条数...原创 2021-11-30 17:49:35 · 1595 阅读 · 0 评论 -
CDH中出现丢失块处理
1、描述集群报块丢失的原因很多,一般CM界面会提示出来。出现这种情况该如何解决呢:2、修复先检测已损坏的块sudo -u hdfs hdfs fsck / > test.log后台执行命令查看输出文件中会提示丢失快的统计和具体有问题的文件路径和名称。如果文件不重要 直接将文件删除:hdfs dfs -rm -r/tmp/hadoop-yarn/staging/yebowen/.staging/job_1537174906503_876513/jo...原创 2021-11-30 11:21:20 · 1511 阅读 · 0 评论 -
CDH集群删除主机节点
1. 登录CM主页 - 选择“主机” - “所有主机”,勾选要删除的主机 -“停止主机上的角色”;2. 后台登录到要被删除的主机,停掉agent服务;已经设置了开机自启动的,要disable掉。sudo /etc/init.d/cloudera-scm-agent stopsystemctl status cloudera-scm-agent3. 再次登录CM主页 - 主机 - 所有主机,勾选要删除的主机 - 从集群中删除;4. 再次勾选要删除的主机 - Remo...原创 2021-11-30 10:07:50 · 2983 阅读 · 0 评论 -
impala中 alter table add partition 对HDFS文件权限的影响
偶然的机会发现用其他用户重写impala用户下的分区数据时有些表报错,有些表不报错,重写报错信息(Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 1 in table)。最后发现都是用impala用户插入的分区数据有些HDFS文件权限是755,有些权限是777。最后发现是因为原创 2021-11-09 11:14:27 · 2290 阅读 · 0 评论 -
服务器异常断开导致kudu无法启动问题(Data length checksum does not match: Incorrect checksum in file ... : Checksum )
某日一台服务器异常断开,无法登陆,后续正常后,agent服务自动重启,服务器上的各种角色也在启动恢复,但是kudu无法恢复。手动重启后失败:大概由于服务器异常断开,当时kudu正在进行数据写入操作,导致数据文件异常,报错如下:++ date+ timestamp='Wed Oct 13 10:57:02 CST 2021'+ echo 'Wed Oct 13 10:57:02 CST 2021: Found master(s) on hadoopap11,hadoopap12,hadoop..原创 2021-10-13 17:09:25 · 1040 阅读 · 0 评论 -
sqoop自动化抽取关系型数据库(oracle,mysql,postgresql)到大数据集群(按照时间段增量抽取)
本文介绍自动化按照指定时间段增量抽取关系型数据库(oracle,mysql,postgresql)到hive/impala。##增量抽数: 需要五个参数 参数1:增量标示 参数2: 源数据库用户名 参数3:hive表名(dwr_源表名) 参数4:where条件 参数5:开始时间 参数6:结束时间 ## sh /RPT/etlscript/sqoop/shell/sqoop_import_source_data_by_tables_add.sh add p3fdcadm dwr_EQP原创 2021-08-25 13:18:33 · 288 阅读 · 0 评论 -
sqoop应用常遇见的问题
sqoop使用测试:/usr/bin/sqoop list-databases \--connect jdbc:oracle:thin:@(DESCRIPTION =(ADDRESS = (PROTOCOL = TCP)(HOST = xxx.xx.xx.xx)(PORT = 1521))(CONNECT_DATA =(SERVER = DEDICATED)(SERVICE_NAME = p3edsdb))) \--username xxx\--password xxx##注意:jdb...原创 2021-08-20 15:40:52 · 1084 阅读 · 0 评论 -
sqoop自动化抽取关系型数据库(oracle,mysql,postgresql)到大数据集群(全量抽取)
介绍自动化全量抽取关系新数据库(oracle,mysql,postgresql)到hive。##全量抽数: 需要五个参数 参数1:增量标示 参数2: 源数据库用户名 参数3:hive表名(dwr_源表名) 参数4:where条件 参数5:开始时间 参数6:结束时间 ## sh sqoop_import_source_data_by_tables_cover.sh cover db_name tab_name 20210721073000 20210721083000#获取传参cov原创 2021-08-20 16:51:37 · 308 阅读 · 0 评论 -
CDH运维报错问题
ERROR Failed to connect to previous supervisor问题背景:CDH有一台服务器重启,然后重启agent的服务的时候总是重启后自动挂掉,该节点的所有大数据的组件都不能开启。查看log目录下的agent启动日志发现报如下错误:ERROR Failed to connect to previous supervisor后来查询有解释说,是因为服务器重启后,再启动agent会报这个错误,除非删掉主机重新配置集群supervisor重启有残留配置在,需要清原创 2021-08-21 17:09:34 · 3114 阅读 · 0 评论 -
Out of resources when opening file ‘./xxx.MYD‘ (Errcode: 24)解决方法
spark程序在运行过程中,偶然有一天spark在读取mysql数据库的时候报错:Out of resources when opening file ‘./xxx.MYD’ (Errcode: 24)意思大概就是无法读取数据库文件了,该错误是因为打开的文件数超过了my.cnf的–open-files-limit。open-files-limit选项无法在mysql命令行 直接修改,必须在my.cnf中设定. 如果你要是不设置的话,他会取系统ulimit -n的值;数据库中查看:show variab原创 2021-08-21 21:38:17 · 463 阅读 · 0 评论 -
hadoop fs/hdfs dfs 命令集
hdfs dfs -test 常用命令:hdfs dfs -test-test -[defsz] <path>: Answer various questions about <path>, with result via exit status. -d return 0 if <path> is a directory. -e return 0 if <path>...翻译 2021-08-21 16:49:35 · 1015 阅读 · 0 评论