![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
cc1sweet
小菜菜
展开
-
写入数据库操作
想起一开始写入数据库操作的时候领导说要用他的方法无奈我笨 最后自己折磨了一番这样写入数据库操作的 import java.util.Properties val prop = new Properties() prop.setProperty("user", "") prop.setProperty("password", "") re.write.mo...原创 2018-10-09 20:14:36 · 323 阅读 · 0 评论 -
数据分析之字段合并
趁着今天电脑进水 进去检修,写点平时用的东西。在进行数据分析的时候会遇到字段类型是相反的,之前我显示出来的报表呈现字段是这样的 :table name : t1 column name :robot , not_robot 最后效果是:robot not_robot 30 40 这样子有缺点就是视图总觉得少点什么,于是最近使用spark dataframe实现...原创 2018-12-12 17:44:44 · 291 阅读 · 0 评论 -
根据任意表字段进行分区
前段时间遇到数据 表里面没有适合分区的字段 ,时间紧,不打算写连接池,于是网上搜了下关于这些的文章。发现自己有时候真的是人才 !这段代码必须有用! import java.text.SimpleDateFormat val string = s"${startDate}" + " 00:00:00" val sdf = new SimpleDateFormat("yy...原创 2018-12-19 17:23:53 · 1637 阅读 · 3 评论 -
初次接触airflow及Jenkins
最近在使用tableau的过程中发现 配置过低 监控中cpu利用率高 于是开始使用airflow和Jenkins这里简单看了下 两者都是airbnb开源的 然后前者可以使用python配置任务 后者使用python写框架这里airflow及Jenkins公司都有 进描述下初步使用过程。首先下载code 下载网址:https://code.visualstudio.com ...原创 2018-12-18 21:44:33 · 1729 阅读 · 0 评论 -
excel设置每周一的日期
=DATE(YEAR(A2),MONTH(A2),DAY(A2)+7)a2:先给一个日期举例说明:这里A2是我先给的一个周一的日期原创 2019-06-28 15:48:32 · 4602 阅读 · 0 评论 -
spark写数据到mysql 并进行更新
因为spark没有直接的update操作 所以我这里采用md5 进行和前一天的数据对比 有变化的更新进去只是说个思路哈具体的实现可以搜下md5使用原创 2019-06-28 15:51:11 · 1970 阅读 · 2 评论 -
查询用户IP及手机号城市
ip38.com原创 2019-07-25 14:34:58 · 1499 阅读 · 2 评论