![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
&捕风的汉子&
这个作者很懒,什么都没留下…
展开
-
关于spark以parquet写入时的小问题
今天使用spark对一个dataframe中的数据以某一个为主键做groupby进行求和,数据类似如下: scala> userDF.show +---------+--------+ | userid | count | +--------+---------+ | 11111111| 102| | 2222222| 97| | 3333333| 10| | 1111111...原创 2018-10-17 18:02:29 · 2788 阅读 · 0 评论 -
在spark中通过UDF转字符串ip
今天在spark中需要将字符型(String)的ip转化为长整型(long)的ip,参考了两篇文章https://blog.csdn.net/cjuexuan/article/details/54912215和https://blog.csdn.net/key_xyes/article/details/79818196,通过这两篇文章的抽取出思路。于是封装成UDF函数,如下: sqlConte...原创 2019-03-13 16:06:42 · 432 阅读 · 0 评论 -
IntelliJ IDEA下构建kafka环境与源码编译
最近希望深入研究下kafka的架构,想了解架构必须去阅读其源码。于是自己动手在IDE下构建一个可运行可调试的kafka环境,下面是构建kafka环境及编译源码。 一、安装jdk C:\Users\Administrator>java -version java version "1.8.0_172" Java(TM) SE Runtime Environment (build 1.8....原创 2019-08-12 17:21:52 · 1818 阅读 · 0 评论