- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive SQL
拼接函数(行转列):collect_set():把多个值去重拼接成一个数组collect_list():同上，不去重concat_ws():用指定分隔符，把数组拼成一个字符串–：concat_ws(分隔符，数组)字符串拼接:concat(v1,v2,v3)分割函数（列转行）：split(字符串，分隔符)：切割字符串split(字符串，起始索引)：字符串部分截取lateral v...
2019-08-20 20:13:08
692
原创 生产中遇到的pb问题
起因：需求变更需要修改代码中pb字段（改名）结果：上线后无法更新离线表结构原因：不允许更改pb，只能添加新的字段解决办法：无解
2019-08-19 21:08:03
259
原创 flink作业多次挂掉，代码逻辑没有问题
由于代码为公司内部资源，不可以泄露，所以不能提供代码和截图。现象：在一次修改线上代码后，能够执行正常业务，但是作业经常频繁挂掉。在日志中没有提示代码逻辑有问题，显示的是系统资源不足。经过两天的频繁挂掉后，问了相关人士。最后反馈结果：反馈结果为：在业务代码中，使用了字符拼接代码，由于数据量大，字符串本身占用内存大，所以消耗大量系统资源，最终导致作业挂掉。解决办法：加内存。...
2019-08-19 21:04:34
1299
原创 Druid基础知识（编辑中）
Druidhttps://yuzhouwan.com/posts/5845/http://druidio.cn/实时，快速，切片，大数据(PB级)，列式存储，分布式结合了OLAP分析数据库、时间序列数据库和全文检索思想集成kafka等消息队列和hdfs等文件系统数据源可以使Hadoop、spark、storm和kafka等使用mvcc解决并发问题Druid 聚合会将数据进行预聚合...
2019-08-08 21:38:50
282
1
原创 git常用命令
克隆项目：git clone xxx添加远程仓库：git remote add ks-ad xxx更新代码：git pull ks-ad master创建分支：git checkout -b xxx(name)添加代码：git add .提交代码：git commit -m “xxx”合并冲突：git checkout mastergit pull xxx(name) master...
2019-08-08 20:14:45
176
转载 在SQL中类型转换
类型转换函数CAST(xxx AS 类型) , CONVERT(xxx,类型)可用的类型二进制,同带binary前缀的效果 : BINARY字符型,可带参数 : CHAR()日期 : DATE时间: TIME日期时间型 : DATETIME浮点数 : DECIMAL整数 : SIGNED无符号整数 : UNSIGNEDcast函数运行示例mysql> select...
2019-08-08 20:12:14
7577
1
原创 protocol buffers基本使用
官方文档：官方文档链接中文版：文档链接文章目录@[toc]特点：数据结构语法：第一行：字段定义：注释：保留字段使用其他类型嵌套类型常见关键字特点：灵活、有效、自动配置的序列化结构数据，类似xml，但是更小，更快，更简单数据结构文件类型后缀为.proto定义message作为类型每个message有一个或多个字段，每个字段有名字和值类型运行后，产生一个类，包含每个字段和对应...
2019-08-07 10:59:25
653
原创 计算日访问量
一下来自官方文档：https://dev.mysql.com/doc/refman/8.0/en/calculating-days.html
2019-08-02 11:54:46
1245
原创 相关子查询
常写的即非相关子查询，子查询的内容不依赖外部表。相关子查询与其相反，每次都依赖外部表。参考链接官方文档介绍：A correlated subquery is a subquery that contains a reference to a table that also appears in the outer query. For example:SELECT * FROM t1W...
2019-08-02 10:14:20
386
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人