cloudera manager
程志伟
关注微信公共号:小程在线
展开
-
CDH ExecQueryFInstances rpc query_id=1f408154ecf2f590:73af9e1300000000 failed: Failed to get minimum
使用impala时报错: ExecQueryFInstances rpc query_id=1f408154ecf2f590:73af9e1300000000 failed: Failed to get minimum memory reservation of 171.44 MB on daemon node1:22000 for query 1f408154ecf2f590:73af9e1300000000 due to following error: Memory limit原创 2022-07-14 14:48:00 · 787 阅读 · 0 评论 -
CDH Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:supergroup:dr
hive insert into数据时报错:解决方法:在CDH的HDFS上 配置上搜索hdfs-site.xml在配置上的名称输入:dfs.permissions 值:false原创 2022-07-14 10:05:00 · 419 阅读 · 0 评论 -
Azkaban 将任务设置成一个失败不影响其他任务
关注微信公共号:小程在线关注CSDN博客:程志伟的博客原创 2022-03-30 16:31:25 · 384 阅读 · 0 评论 -
hive报错: cannot recognize input near ‘<EOF>‘ ‘<EOF>‘ ‘<EOF>‘ in subquery source
关注微信公共号:小程在线关注CSDN博客:程志伟的博客hive版本:2.1.1报错:FAILED: ParseException line 28:35 cannot recognize input near '<EOF>' '<EOF>' '<EOF>' in subquery source解决方法:给字表添加别名。报错SQL:select afrom ( select a,b,c,d from asdf);正确SQL:原创 2022-03-30 16:13:56 · 19457 阅读 · 0 评论 -
hive Parquet does not support date. See HIVE-6384
关注微信公共号:小程在线关注CSDN博客:程志伟的博客hive版本:2.1.1报错:FAILED: SemanticException java.lang.UnsupportedOperationException: Parquet does not support date. See HIVE-6384解决方法:需要找到字段类型为date的字段,调整字段的类型为1. 更换字段类型 如: string2. 更换存储格式 如:orc每个hive版本支持的不一样原创 2022-03-28 16:12:30 · 3253 阅读 · 0 评论 -
hive报错: column KEY._col1:0._col0 is not in the vectorization context column map {KEY._col0=0,
关注微信公共号:小程在线关注CSDN博客:程志伟的博客hive版本:2.1.1hive在执行SQL中包含union all的语句时报错:FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: The column KEY._col1:0._col0 is not in the vectorization context column map {KEY._col0=0, KEY._col1原创 2022-03-28 14:09:04 · 2124 阅读 · 0 评论 -
CDH FAILED: SemanticException 81:5 Schema of both sides of union should match:
关注微信公共号:小程在线关注CSDN博客:程志伟的博客hive版本:2.1.1 tez版本:0.9.2运行hive程序报错:FAILED: SemanticException 81:5 Schema of both sides of union should match:解决方法:1. 检查union all上下SQL的字段是否一样多;2. 检查union all上下字段的类型是否一致。还需要根据错误的日志提示针对实际错误解决。...原创 2022-03-25 14:41:59 · 3606 阅读 · 0 评论 -
CDH OTHER_VERTEX_FAILURE]DAG did not succeed due to VERTEX_FAILURE. failedVertices:8 killedVertices:
关注微信公共号:小程在线关注CSDN博客:程志伟的博客hive安装完成tez之后,运行程序还是报错。报错:OTHER_VERTEX_FAILURE]DAG did not succeed due to VERTEX_FAILURE. failedVertices:8 killedVertices:2解决方法:在hive-site的客户端高级配置里面添加下面的命令:hive.tez.container.size4096运行程序:...原创 2022-03-25 13:52:16 · 2036 阅读 · 0 评论 -
CDH main ERROR Unable to invoke factory method in class class org.apache.hadoop.hive.ql.log.Hushable
关注微信公共号:小程在线关注CSDN博客:程志伟的博客虽然过程之中出现错误,但是程序还是运行完成,检查结果也没有问题。执行文件时报错:main ERROR Unable to invoke factory method in class class org.apache.hadoop.hive.ql.log.HushableRandomAccessFileAppender for element HushableMutableRandomAccess. java.lang.refle原创 2022-03-23 15:15:53 · 2572 阅读 · 1 评论 -
CDH Azkaban3.75.2 使用教程
关注微信公共号:小程在线关注CSDN博客:程志伟的博客1. 创建一个文件,名为cheng.job,其中的内容如下:type=commandcommand=echo "cheng zhiwei"2. 将文件打成.zip包3. 点击Create project填写name、describe之后 点击Create project点击upload点击 选择文件,选择我们刚才创建的cheng.job选择完成之后,点击最后的Upload点击ex原创 2022-03-15 15:55:37 · 302 阅读 · 0 评论 -
Azkaban报错:executor became inactive before setting up the flow
关注微信公共号:小程在线关注CSDN博客:程志伟的博客[Azkaban] Rolling back executor assignment for execution id:6azkaban.executor.ExecutorManagerException: java.io.IOException: executor became inactive before setting up the flow 6解决方法:解决方法:先关闭exec:bin/shutdown-exe原创 2022-03-15 14:45:42 · 1297 阅读 · 0 评论 -
CDH azkaban-3.75.2安装教程
关注微信公共号:小程在线关注CSDN博客:程志伟的博客安装准备:azkaban-exec-server-0.1.0-SNAPSHOT.tar.gzazkaban-web-server-0.1.0-SNAPSHOT.tar.gzcreate-all-sql-0.1.0-SNAPSHOT.sql一、首先配置mysql进入mysql:mysql -u root -pCREATE DATABASE azkaban; show databases; CREATE US原创 2022-03-14 18:03:17 · 2669 阅读 · 1 评论 -
CDH Azkaban 生成keystore和truststore文件
关注微信公共号:小程在线关注CSDN博客:程志伟的博客进入目录:cd /home/soft/azkaban-3.75.2/azkaban-web-server创建新目录:mkdir key第一步执行:keytool -genkey -keystore keystore -alias jetty-azkaban -keyalg RSA -validity 3560在箭头处输入y,其他可以忽略输入密钥库口令: 再次输入新口令:您的名字与姓氏是什么? [Unkn...原创 2022-03-14 13:53:24 · 445 阅读 · 0 评论 -
CDH6.3.2 Hive安装
关注微信公共号:小程在线关注CSDN博客:程志伟的博客在CDH上进行Hive安装,过程如下:1.1 添加服务1.2 添加Hive服务1.3 将 Hive 服务添加到 Cluster 11.4 配置hive元数据填写在mysql创建的库名,用户名,密码。1.5 测试通过后继续1.6 自动启动Hive进程...原创 2022-03-07 21:25:38 · 3877 阅读 · 0 评论 -
CDH6.3.2 HDFS、YARN、Zookeeper安装
关注微信公共号:小程在线关注CSDN博客:程志伟的博客HDFS、YARN、Zookeeper安装1.1 选择自定义安装1.2 选择安装服务1.3 分配节点1.4 集群设置全部选默认即可1.5 自动启动进程1.6 修改HDFS的权限检查配置关闭HDFS中的权限检查:dfs.permissions。1.7 配置NameNode HA1)进入HDFS页面点击启用High ...原创 2022-03-07 21:19:34 · 2407 阅读 · 0 评论 -
CDH Hue中的sentry增加创建角色按钮
关注微信公共号:小程在线关注CSDN博客:程志伟的博客hue添加Sentry之后没有角色分配的权限。No privileges found for the selected itemhue的管理员用户是root。解决方法:Sentry中的sentry.service.admin.group增加hue的管理员用户root。添加新的组root,并且将root用户添加在root组中,名称一定要保持一致。此时就可以增加权限分配了。原理:..原创 2022-03-02 16:10:07 · 644 阅读 · 0 评论 -
CDH $‘\r‘: 未找到命令
关注微信公共号:小程在线关注CSDN博客:程志伟的博客将windows的内容复制到了shell文件下在Liunx命令下执行shell文件时出现了:$'\r': 未找到命令解决方法:1. yum install dos2unix2.转换格式dos2unix add_new_user_as_hue.sh3. bash 执行文件可以了。...原创 2022-03-02 15:54:43 · 450 阅读 · 0 评论 -
CDH 安装Sentry报错:Could not create org.apache.sentry.provider.db.service.persistent.SentryStore
关注微信公共号:小程在线关注CSDN博客:程志伟的博客Exception in thread "main" java.lang.IllegalStateException: Could not create org.apache.sentry.provider.db.service.persistent.SentryStore解决方法:在sentry的配置下 搜索:sentry-site.xml。在名称填写:sentry.verify.schema.version值填原创 2022-03-01 17:34:05 · 1446 阅读 · 0 评论 -
CDH hive初始化mysql数据库
关注微信公共号:小程在线关注CSDN博客:程志伟的博客进入hive的bin目录下cd ./hive/bin执行初始化数据库./schematool -initSchema -dbType mysqlError: Syntax error: Encountered "<EOF>" at line 1, column 64. (state=42X01,code=30000)org.apache.hadoop.hive.metastore.HiveMetaExce原创 2022-03-01 10:15:43 · 1441 阅读 · 0 评论 -
CDH 测试 HDFS 是否具有过多副本不足块。
关注微信公共号:小程在线关注CSDN博客:程志伟的博客测试 HDFS 是否具有过多副本不足块。不良 : 群集中有 1,814 个 副本不足的块 块。群集中共有 1,816 个块。百分比 副本不足的块: 99.89%。 临界阈值:40.00%。这是 HDFS 服务级运行状况测试,用于检查副本不足的块数是否未超过群集块总数的某一百分比。该运行状况测试失败可能表示 DataNode 丢失。使用 HDFS fsck 命令可确定哪些文件含有副本不足的块。可使用 副本不足的块监控原创 2022-02-28 10:36:36 · 2982 阅读 · 1 评论 -
Liunx 切换用户This account is currently not available
关注微信公共号:小程在线关注CSDN博客:程志伟的博客liunx切换用户的时候出现“This account is currently not available”错误解决办法:如果是其他用户,就将hdfs改成自己需要切换的账号su hdfs的时候出现的问题用cat看看 hdfs的帐号信息# cat /etc/passwd | grep hdfs发现它的shell是“/sbin /nologin”,需要改成“/bin/bash”# vi /etc/pass.原创 2022-02-28 10:23:09 · 1092 阅读 · 0 评论 -
最详细的CDH安装(一)Mysql安装
关注微信公共号:小程在线关注CSDN博客:程志伟的博客安装CDH之前需求进行一些准备工作:网络配置、设置ssh免密登陆【所有节点】、安装Oracle的JDK【所有节点】、关闭防火墙和SELinux 【所有节点】、、配置NTP(Network Time Protocol)服务【所有节点】。主讲mysql的安装,安装过程如下:1. 卸载已有的mysql-libsrpm -qa | grep mysqlrpm -qa | grep mariarpm -e --nod..原创 2022-02-25 10:50:42 · 1098 阅读 · 1 评论 -
ZooKeeper报错:Missing snap directory /home/var/lib/zookeeper/version-2, automatic data directory
关注微信公共号:小程在线关注CSDN博客:程志伟的博客Error occured while purging.org.apache.zookeeper.server.persistence.FileTxnSnapLog$DatadirException: Missing snap directory /home/var/lib/zookeeper/version-2, automatic data directory creation is disabled (zookeeper.dat原创 2022-02-24 16:08:41 · 981 阅读 · 0 评论 -
存在隐患 : 此角色的 日志目录 所在的文件系统的可用空间小于 10.0 吉字节。 /var/log/hive(可用:9.9 吉字节 (28.12%),容量:35.1 吉字节)
关注微信公共号:小程在线关注CSDN博客:程志伟的博客CDH存在很多的隐患点击hive在点击 log Dirctory Free Space。存在隐患 : 此角色的 日志目录 所在的文件系统的可用空间小于 10.0 吉字节。 /var/log/hive(可用:9.9 吉字节 (28.12%),容量:35.1 吉字节)解决方法:df -h 查看哪个盘的空间最大。/home显示是最大的,所以需要把目录都创建在/home下点击hive,进...原创 2022-02-24 14:50:40 · 1028 阅读 · 0 评论 -
Hive 未配置为使用 Spark 服务。
关注微信公共号:小程在线关注CSDN博客:程志伟的博客Hive 未配置为使用 Spark 服务。如果将 Hive 作业提交到 Spark 执行引擎,这些作业不会正确运行。为确保 Hive on Spark 作业正确运行,请配置 Spark On YARN 服务属性。选择apark按钮在hive上就会出现重启标识,点击该标识。点击重启过期服务重启中。。。。重启已经完成,如果有报错,则需要根据报错日志修改。Hue的警告配置已经完成。...原创 2022-02-23 15:24:26 · 589 阅读 · 0 评论 -
在Cloudera manager下 将impala配置在hue上
关注微信公共号:小程在线关注CSDN博客:程志伟的博客在Cloudera manager安装好了impala、hue现在是希望在hue下能访问impala数据进入Hue界面下,点击配置 在点击服务。在服务范围下找到impala服务,点击右下角的保存。这时又上角会提示配置过期,需要重启,重启之后就OK了。在浏览器进入hue界面,刷新之后就可以看到impala了。...原创 2022-02-23 14:24:30 · 547 阅读 · 0 评论