- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 因mapjoin加载内存溢出而导致return code 3
可以看到在执行mapjoin的时候出现了内存报错，由于最大内存值为5172101120，而进度55.2%的时候已经使用了2857332576，由于2857332576/0.552 = 5176327130 > 5172101120，所以报错return code 3。例行Hive作业报错。
2023-10-20 21:01:42
421
原创 ClickHouse 运维DBA实用场景
在 ClickHouse 默认的 system 数据库下(databse)，拥有众多的系统表。CK 对外暴露的原生接口分为 TCP 和 HTTP 两类，通过 system.metrics 即可查询当前的 TCP、HTTP 与内部副本的连接数。在 ClickHouse 中有没有一些能够 “安家立命” 的运维 SQL 语句，为此做一次简单的分享。...
2022-08-02 21:30:00
459
原创 Linux | 功能场景化Linux操作备忘录
Linux | 功能场景化Linux操作备忘录将文件从UTF-8转编码成GBK，并输出文件将文件从UTF-8转编码成GBK，并输出文件iconv命令详解[功能] 对于给定文件把它的内容从一种编码转换成另一种编码。[描述] ：-f encoding :把字符从encoding编码开始转换。-t encoding :把字符转换到encoding编码。-l :列出已知的编码字符集合-o file :指定输出文件-c :忽略输出的非法字符-s :禁止警告信息，但不是错误信息–verb
2021-12-21 14:45:54
548
原创 Hive | 笔记总结20220708v3
笔记总结20210330v1Hive 模式区分场景应用：Hive 本地模式与Spark模式的区分使用：小结Hive 模式区分场景应用：Hive 本地模式与Spark模式的区分使用：1.一些小表的查询（group by /count /sum /max /min 等）可以使用本地模式进行，local本地模式直接读取HDFS的路径文件内容执行MapperReduce，在资源吃紧的时候，可以快速查询2.Spark模式用于跑一些大表的关联/大表取数方面，有很好的效果小结理解Hive的原理和在Hado
2021-03-30 10:55:50
394
原创 Hive 面试题 | 连续登陆天数统计
连续登陆天数统计题目分析SQL解析与总结题目分析1.已知table1，请用 hivesql 分别实现 table2 和 table3table1 为用户活跃信息表，其中active_dt 为活跃日期。usr_id|active_dtA |20200101 A |20200102 A |20200103 A |20200105 A |20200106 A |20200109 请用hivesql 实现 table2（计算用户当月截止每天的
2021-03-11 09:34:49
501
原创 Vim | 实用技巧笔记 [自用]
实用技巧笔记（不间断更新）vim操作模式命令模式vim跳转指定行vim操作模式vi/vim 共分为三种模式，分别是命令模式（Command mode），输入模式（Insert mode）和底线命令模式（Last line mode）。命令模式Linux操作系统下输入vi/vim进入命令模式i 切换到输入模式，以输入字符。x 删除当前光标所在处的字符。: 切换到底线命令模式，以在最底一行输入命令。vim跳转指定行命令行模式下输入（n为指定的行号）：ngg / nG（跳转到文件第n
2020-07-30 15:26:14
241
原创 解决：Error while compiling statement: FAILED: ParseException line 11:5 missing KW_END at ‘substr‘ near
hive 执行sql，报错：Error: Error while compiling statement: FAILED: ParseException line 11:5 missing KW_END at 'substr' near 'substr'line 11:11 missing EOF at '(' near 'substr' (state=42000,code=40000)sql如下：create table szdsjsxm_sj.xxx_10000453_jieguoR.
2020-07-21 11:00:15
7257
1
原创 Spark-GraphFrames入门使用示例
Spark-GraphFrames入门使用示例GraphFrames简介GraphFrames库的优势使用GraphFrames库使用图例创建GraphFrame实例视图和图操作GraphFrame提供四种视图：返回类型都是DataFrame通过GraphFrame提供的三个属性：degrees、inDegrees、 outDegrees可以获得顶点的度、入度和出度。模式发现加载和保存图图保存图加载GraphFrames简介GraphFrames是Apache Spark上的图处理框架。Pregel
2020-05-12 12:31:45
6356
8
原创 蓝桥杯2013-Java-A-4颠倒的价牌-Python实现
颠倒的价牌题干思路代码总结有更好的解法，欢迎赐教，小白一枚，一定虚心学习！题干p1.jpg如下，即颠倒可读。思路首先因为是填空题，所以不需要刻意考虑时间复杂度，优先考虑枚举。根据题意我们逐步分析，4位数字，其中1 2 5 6 8 9 0可颠倒因为需要可读性，所以首位不能为0，所以枚举{1,2,5,6,8,9,0}中的4位数简单筛选变量temp1与temp2，找...
2020-05-08 15:56:51
392
1
转载 Python之禅
Python之禅The Zen of Python, by Tim PetersBeautiful is better than ugly.Explicit is better than implicit.Simple is better than complex.Complex is better than complicated.Flat is better than nested...
2020-04-11 20:57:18
211
原创 蓝桥杯历届试题-打印十字图-Python实现
蓝桥杯历届试题-打印十字图-Python实现个人觉得打印题主要是考查找规律的能力和细心，这里还有二维数组的运用吧。思路写在代码的注释中了，直接上码个人觉得打印题主要是考查找规律的能力和细心，这里还有二维数组的运用吧。思路写在代码的注释中了，直接上码n = int(input())# 给边界赋值，方便码字boundary = 5+(n-1)*2# 整体图形分为4块，全部初始化为'.'...
2020-03-22 12:16:15
1252
1
原创 迅速判断闰年
"""迅速判断闰年笔记"""def isLeapYear(year:int)->bool: return(year%4==0and year%100==0 or year%400==0)isLeapYear(2000)#True
2020-03-14 23:19:17
208
pdi-arffoutput-plugin-TRUNK-SNAPSHOT-deploy.zip
2020-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人