大数据
文章平均质量分 67
zjliang2053
这个作者很懒,什么都没留下…
展开
-
Ranger问题
1、ranger审计日志数据太大修改Ranger solr日志保留天数/opt/apps/solr/8.4.1/package/solr-8.4.1/ranger_audit_server/ranger_audits/conf/solrconfig.xml搜索solr.DefaultValueUpdateProcessorFactory关键词,找到<strname=“value”>+90DAYS将90DAYS调小,修改为期望的保留天数。并且删除data目录里的数据删除后重启solr原创 2021-09-25 17:54:09 · 1363 阅读 · 0 评论 -
Yarn问题
Yarn问题1、yarn假死状态,日志一直刷新以下信息:log aggregation have not finished yetyarn的BUG:https://issues.apache.org/jira/browse/YARN-4946修复步骤是先处理standby RM,再处理active RM,RM节点替换步骤是:(1) mv方式备份旧包: mv $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-3.2.1.原创 2021-06-20 10:57:52 · 1338 阅读 · 0 评论 -
spark 问题锦集
1、spark程序jar与spark lib jar冲突,加载顺序提交spark作业经常会遇到jar包中明显存在某个类,但任务提交到yarn运行时却找不到类或方法(java.lang.NoSuchMethodError)的jar包冲突问题比如spark程序用到了guava的Splitter类:import com.google.common.base.Splitter;... List list = Splitter.on("/").splitToList(output);程序在本地模式下能正原创 2021-06-29 12:51:14 · 446 阅读 · 0 评论 -
hdfs问题锦集
1、hdfs命令使用hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks | -replicaDetails | -upgradedomains]]]] [-includeSnapshots] [-storagepolicies] [-blockId <blk_Id>]path (start che原创 2021-05-27 10:55:35 · 696 阅读 · 0 评论 -
常用hivesql记录
hive> select next_day(‘2021-05-24’,‘sun’);OK2021-05-30Time taken: 0.099 seconds, Fetched: 1 row(s)hive> select next_day(‘2021-05-24’,‘mon’);OK2021-05-311. row_numberrow_number() over(partition by 分组列 order by 排序列 desc)测试表create table test_原创 2021-05-24 13:08:16 · 1036 阅读 · 0 评论