![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据架构
文章平均质量分 51
大数据架构笔记
诗风雅韵
这个作者很懒,什么都没留下…
展开
-
docker-compose.yml开机启动
docker-compose.yml开机启动原创 2024-05-17 10:10:44 · 310 阅读 · 0 评论 -
SQL拿捏:活跃用户数统计案例类型SQL 全网拿捏同款SQL
活跃用户数统计原创 2023-05-03 19:17:52 · 659 阅读 · 1 评论 -
拿捏SQL:以“统计连续登录天数超过3天的用户“为例拿捏同类型SQL需求
在我们工作ETL或者在进行大数据面试的时候,总是常常会被手撕SQL,而常见的SQL有连续登录问题。一般的问法是“统计连续登录N天XX的XX”。小编今天在这里给大家介绍两种方案轻松让你拿捏这类SQL问题。mysql8.x和hive很多函数已经基本差不多都能满足了,为了执行效率和方便,这里以mysql为例,其他SQL类似,如果有不清楚的可以评论区留言。原创 2023-05-03 01:50:36 · 3980 阅读 · 1 评论 -
SQL:怎么去除字段数据末尾的斜杠/
SQL:怎么去除字段数据末尾的斜杠/原创 2023-03-16 20:38:35 · 1232 阅读 · 0 评论 -
【个人笔记】使用datagrip连接hive时候,显示元数据信息异常解决方案
- hive在用datagrip连接时候,在列表获取时候无法查看到列表信息:因为在3的版本中,获取不到元数据的表结构信息,直接在配置中添加获取元数据的表结构信息即可原创 2022-12-11 17:31:01 · 687 阅读 · 0 评论 -
【个人笔记】hive的Complex Types 复杂类型
hive的Complex Types 复杂类型原创 2022-12-11 17:00:02 · 443 阅读 · 0 评论 -
【个人笔记 hive】hive里面的说SerDe含义
erDe是Serializer/Deserializer的缩写。Hive使用SerDe接口进行IO。该接口同时处理序列化和反序列化,并将序列化结果解释为单独的字段进行处理。SerDe允许Hive从表中读入数据,并以任何自定义格式将数据写回HDFS。任何人都可以为自己的数据格式编写自己的SerDe原创 2022-12-11 16:43:34 · 611 阅读 · 0 评论 -
【个人笔记】时间转换工具
日常我们java开发中所需的时间转换工具:时间戳转年月日、时间戳转年月日时分秒、或者年月日等转时间戳。提高代码的复用性和开发效率,时常会将这些封装为工具类。网上也有很多类似的工具类,下面是我自己常用的工具类。原创 2022-12-05 17:41:00 · 179 阅读 · 0 评论 -
【个人笔记】shell 比较两个字符串是否相等
比较两个字符串是否相等的办法转载 2022-12-03 13:07:25 · 2202 阅读 · 0 评论 -
【个人笔记 hive】mysql获取表元数据信息主键、主键类型等
hive、mysql获取表元数据信息主键、主键类型等:可根据表名直接获取相关我们所需的信息:比如如下```select TABLE_NAME,COLUMN_NAME,DATA_TYPE from information_schema.COLUMNS where TABLE_SCHEMA='demo' and COLUMN_KEY='PRI' and TABLE_NAME ('dtmoban_area')```具体可以根据以上自己需求更改原创 2022-12-01 09:06:14 · 841 阅读 · 0 评论 -
【个人笔记】shell - cut命令
linux中截取字符串cut命令用法简介:- 语法语法:`cut -cnum1-num2 fileName`## 1、按字符输出显示从每行开头算起num1到num2的文字输出第1到6字符```bashcut -c1-6 exec.txt``````bashaa23aa ssd:as122323 ```中国人的地:-c是字符的意思中文字符和空格都算一个字符## 2、按照字节输出输出每行1-6字节的内容```bashcut -b1-6 exec.txt``````原创 2022-11-29 22:53:33 · 527 阅读 · 0 评论 -
【个人笔记】grep查看指定字符串的前后行
http://blog.csdn.net/lychbeyond/article/details/41042483转载 2022-11-26 15:51:14 · 2882 阅读 · 0 评论 -
kafka集群启动脚本
启动、关闭kafka集群脚本:原创 2022-10-20 09:04:38 · 863 阅读 · 2 评论 -
kafka 相关命令
kakfka 相关命令:1、启动kafka: kafka-server-start.sh /opt/yjx/kafka_2.12-0.11.0.3/config/server.properties启动、关闭kafka集群脚本2、创建主题:3、生产数据到topic:4、消费主题: 5、查看所有主题:原创 2022-10-20 09:00:11 · 552 阅读 · 0 评论 -
Nginx人门详解
Nginx是一款轻量级的Web 服务器/反向代理服务器占有内存少,并发能力强官方测试nginx能够支撑5万并发链接,并且CPU、内存等资源消耗却非常低,运行非常稳定。原创 2022-08-04 15:26:01 · 505 阅读 · 0 评论 -
Liunx教程超详细(完整)
Liunx教程详解大全(完整)原创 2022-08-04 15:08:20 · 2138 阅读 · 0 评论