![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工作日志
嘿你别睡
这个作者很懒,什么都没留下…
展开
-
Class not found: org.apache.atlas.hive.hook.HiveHook
看到集群sqoop任务部分失败了,而失败原因很明显:hive.exec.post.hooks Class not found: org.apache.atlas.hive.hook.HiveHook主要是某个节点上的sqoop任务都会发生问题,检查该节点的hive的lib下的jar包 果然发现没有将atlas的包包搬过去,解决方法:将/usr/local/src/atlas/apache-atlas-2.0.0/hook/hive所有jar包拷贝/opt/cloudera/parcels/CDH/原创 2020-12-31 15:45:21 · 2375 阅读 · 2 评论 -
java 大写中文金额 转 数字
最近做解析描述时提取到金额字段后,需要将文本中的大写金额转换成数字,然而发现很多博客里的程序又问题,在亿和万级中,如果出现百十千等小单位就会出错,先算成小单位然后遇到大单位如万在乘以1000导致金额出错。于是更正代码如下:/** * 大写金额转数字 * */ public static String ChineseConvertToNumber(String chineseAmount) { if (chineseAmount == null |.原创 2020-08-21 15:01:44 · 1565 阅读 · 4 评论 -
linux 上传下载文件夹
因为rz sz都只能上传下载文件因此可以将文件夹压缩成一个包,然后再下载上传解压缩压缩:tar -zcvf /root/atlas.tar.gz(压缩到哪里,压缩成什么名字) ./apache-atlas-2.0.0(待压缩的位置和文件夹名称)解压缩tar -zxvf atlas.tar.gz(压缩包名称) ./(解压到那儿)...原创 2020-05-20 11:55:33 · 558 阅读 · 0 评论 -
python install sasl 报错 Microsoft Visual C++ 14.0 is required 等一系列错误
问题:python连接hive需要sasl module然后pip install sasl 失败,因为pip只会根据你的指示安装,不会安装所需的其他依赖包,因此频频报错。报错信息:error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”:https://visualstudio.microsoft.com/downloads.按照其他博友的指示去安装了Microsof原创 2020-05-15 10:51:42 · 1279 阅读 · 0 评论 -
Anaconda出现CondaHTTPError: HTTP 000 CONNECTION FAILED for url
conda install不成功,报错:CondaHTTPError: HTTP 000 CONNECTION FAILED for url网上种种答案都试过https去掉s的 不行-default删掉 不行镜像源add 不行最后经过种种排查 ,国内镜像源都不能用了,所以干脆remove掉所有镜像源,最快捷的方法就是把C盘users用户下的都打开,看到.condarc配置的镜像源文件都删掉,使用默认镜像源就可以了。成功!...原创 2020-05-15 10:28:20 · 372 阅读 · 0 评论 -
cdh中修改配置 包括:hive-site.xml、hbase-site.xml、core-site.xml等
CDH的配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如:/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。这些配置文件是通过Cloudera Manager启动相应服务(如HDFS)时生成的,内容从数据库中获得(即通过界面配置的参数)。在CM界面上更改配置是不会立即反映到配置文件中,这些信息会存储于数据库中,等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文原创 2020-05-13 13:49:25 · 5771 阅读 · 0 评论 -
记录一次CDH集群kafka无测试数据报警 各组件图标为空 无数据
问题CDH集群kafka无测试数据报警 各组件图标为空 无数据,但点入web界面,组件仍可用:因为已经解决了所以此处右边的图标都有值。问题页面都没有截图下来,日志也自动已清除。分析:组件可用,只是cm没有监测到位解决:cm的agent机器上停止agent服务:service cloudera-scm-agent stopcm的server机器上停止server服务:service cloudera-scm-server stopcm的server机器上启动server服务:service原创 2020-05-13 13:40:34 · 849 阅读 · 1 评论