- 博客(17)
- 收藏
- 关注
原创 hive中cube, grouping sets, grouping__id应用
hive 中grouping sets, grouping__id以及cube的具体应用及案例
2022-07-16 08:08:02
1003
原创 distribute by、 clustered by 、 order by 、 sort by 的区别
distribute by, order by, sort by, cluster by 的区别
2022-07-15 23:13:38
663
1
原创 awk 实现sql中group by sum max
awk中实现SQL中的group by, sum, max等以及awk常用内置变量NR,FNR,RS等说明
2022-07-13 11:07:26
490
原创 flask 入门2之使用flask_mail发邮件
flask入门第二篇,主要讲述了使用flask_mail怎么样发送邮件以及中间可能遇到的一些问题
2022-07-09 14:19:04
487
原创 scrapy 安装踩过的坑
安装Scrapy的时候,先是去的scrapy官网,里面推荐用conda安装。说,pip install方式需要依赖很多的包。然后用conda安装的时候,简直是神坑。(官网地址)想着一键安装scrapy,真是挺美好啊,然后。。。报错:看第一句HTTP 000 CONNECTION FAILED,似乎是什么http访问请求的repo的时候错误。百度了下相关问题,基本都是提出来说切换镜像源...
2019-11-03 14:51:34
420
原创 hive使用beeline连接遇到的问题
hiveserver2未启动如果hiveserver2未启动就直接使用beeline连接,会出现如下错误:Error: Could not open client transport with JDBC Uri: jdbc:hive2://master:10000/default: java.net.ConnectException: Connection refused (Connectio...
2019-03-24 09:17:25
7835
原创 SparkStreaming滑动计算窗口reduceByKeyAndWindow图解说明
对于reduceByKeyAndWindow(_ + _, _ - _,Second(45), Second(5))这种算法不太明白的同学可以参考下,下图是通过个人理解所画,希望对大家理解这个函数有所帮助:首先,说一下需求,就是每隔5秒,计算过去45秒内的X数量。第一个窗口(第一个45s内,时间点1)里面的X数量是17个,然后时间往后移动了5秒,变成了时间点2。图中,在时间滑动后,新增了5个...
2019-03-03 10:31:48
594
原创 spark streaming编程模型【更新中】
spark streaming是准实时的一种流处理手段,其中核心在于较短时间间隔内持续运行。其中主要包含以下几个模块,streaming context数据接收器(Reciever)DStreamTransform数据转换处理模块应用启动start下面详细说明其中每一项...
2019-02-28 07:28:19
499
原创 Hive中数据倾斜解决实例
Hive中数据倾斜的表面原因可能各种各样,但是底层都是一个Reducer的节点计算压力过大,造成某一个节点一直在运算造成的。今天运行SQL的时候,遇到了一次,分享下(由于数据使用公司数据,表名都重新换过,数据量保持不变)表名信息如下,假设有两张表:tmp_user,数据量:267772tmp_user_log,数据量:5,617,310,131初始SQL如下: SELECT /*...
2019-02-18 19:17:34
724
原创 Spark SQL Dataset 常用API 二
TransformationUntyped API前面一篇写了SELECT这个API的一些主要用法,本文打算通过一个SQL示例来展开讲述下Dataset其他常用的Untyped API,比如filter(类似于where),join,groupby 等等。首先,描述下大概的需求:表一,描述了一家五口人,有名字,年龄和性别,先在mysql中建表,并且插入数据create table if ...
2019-02-17 13:56:36
304
原创 解决hadoop 安装could only be replicated to 0 nodes, instead of 1
老夫初学Hadoop,安装之后从上传数据就开始出幺蛾子开始安装的时候,什么问题都没有,检查连接端口http://master:50070以及http://master:8088都好好的啊,那么开始从本地开始往hdfs上面传数据呗上面这个错误,百度了好久,大概解决办法都比较统一删除数据存储文件夹,一般网上放到的是/tmp/dfs下面反正我放的是用户名所在文件下面的bigdat...
2019-02-16 19:31:24
424
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人