- 博客(17)
- 收藏
- 关注
RSS订阅原创 hive中cube, grouping sets, grouping__id应用
hive 中grouping sets, grouping__id以及cube的具体应用及案例
2022-07-16 08:08:02
975
原创 distribute by、 clustered by 、 order by 、 sort by 的区别
distribute by, order by, sort by, cluster by 的区别
2022-07-15 23:13:38
635
1
原创 awk 实现sql中group by sum max
awk中实现SQL中的group by, sum, max等以及awk常用内置变量NR,FNR,RS等说明
2022-07-13 11:07:26
395
原创 flask 入门2之使用flask_mail发邮件
flask入门第二篇，主要讲述了使用flask_mail怎么样发送邮件以及中间可能遇到的一些问题
2022-07-09 14:19:04
439
原创 scrapy 安装踩过的坑
安装Scrapy的时候，先是去的scrapy官网，里面推荐用conda安装。说，pip install方式需要依赖很多的包。然后用conda安装的时候，简直是神坑。（官网地址）想着一键安装scrapy，真是挺美好啊，然后。。。报错：看第一句HTTP 000 CONNECTION FAILED，似乎是什么http访问请求的repo的时候错误。百度了下相关问题，基本都是提出来说切换镜像源...
2019-11-03 14:51:34
399
原创 hive使用beeline连接遇到的问题
hiveserver2未启动如果hiveserver2未启动就直接使用beeline连接，会出现如下错误：Error: Could not open client transport with JDBC Uri: jdbc:hive2://master:10000/default: java.net.ConnectException: Connection refused (Connectio...
2019-03-24 09:17:25
7755
原创 SparkStreaming滑动计算窗口reduceByKeyAndWindow图解说明
对于reduceByKeyAndWindow(_ + _, _ - _,Second(45), Second(5))这种算法不太明白的同学可以参考下，下图是通过个人理解所画，希望对大家理解这个函数有所帮助：首先，说一下需求，就是每隔5秒，计算过去45秒内的X数量。第一个窗口（第一个45s内,时间点1）里面的X数量是17个，然后时间往后移动了5秒，变成了时间点2。图中，在时间滑动后，新增了5个...
2019-03-03 10:31:48
578
原创 spark streaming编程模型【更新中】
spark streaming是准实时的一种流处理手段，其中核心在于较短时间间隔内持续运行。其中主要包含以下几个模块，streaming context数据接收器(Reciever)DStreamTransform数据转换处理模块应用启动start下面详细说明其中每一项...
2019-02-28 07:28:19
480
原创 Hive中数据倾斜解决实例
Hive中数据倾斜的表面原因可能各种各样，但是底层都是一个Reducer的节点计算压力过大，造成某一个节点一直在运算造成的。今天运行SQL的时候，遇到了一次，分享下（由于数据使用公司数据，表名都重新换过，数据量保持不变）表名信息如下，假设有两张表:tmp_user，数据量：267772tmp_user_log,数据量：5,617,310,131初始SQL如下： SELECT /*...
2019-02-18 19:17:34
699
原创 Spark SQL Dataset 常用API 二
TransformationUntyped API前面一篇写了SELECT这个API的一些主要用法，本文打算通过一个SQL示例来展开讲述下Dataset其他常用的Untyped API，比如filter(类似于where),join,groupby 等等。首先，描述下大概的需求：表一，描述了一家五口人，有名字，年龄和性别，先在mysql中建表，并且插入数据create table if ...
2019-02-17 13:56:36
284
原创 解决hadoop 安装could only be replicated to 0 nodes, instead of 1
老夫初学Hadoop，安装之后从上传数据就开始出幺蛾子开始安装的时候，什么问题都没有，检查连接端口http://master:50070以及http://master:8088都好好的啊，那么开始从本地开始往hdfs上面传数据呗上面这个错误，百度了好久，大概解决办法都比较统一删除数据存储文件夹，一般网上放到的是/tmp/dfs下面反正我放的是用户名所在文件下面的bigdat...
2019-02-16 19:31:24
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人