![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析SQL
cc1sweet
小菜菜
展开
-
数据分析:自己爬的坑自己填
一:首先 说下关于时间戳和时间字符串之间的转换时间戳转成字符串:FROM_UNIXTIME(user_ctime,'%Y-%m-%d %H:%i:%s')字符串转成时间戳:select unix_timestamp('2018-07-01')二:意思一样,但是不懂出来的结果为啥不一样。这段SQL分析太浪费我时间了正确示范:select t1.uid,count(t2.tid) ...原创 2018-08-03 20:34:16 · 142 阅读 · 0 评论 -
hive sql 每几分钟内统计一次
selectyear(dateday),month(dateday),day(dateday),hour(timeday),floor(minute(timeday)/10),avg(indexValue) from table group by year(dateday),month(dateday),day(dateday),hour(timeday),floor(minute(ti...原创 2019-07-23 16:05:30 · 3227 阅读 · 0 评论 -
SQL 计算每十分钟内的值
SELECT concat( date_format( time, '%Y-%m-%d %H:' ) , floor( date_format( time, '%i' ) /10 ) ) AS c, count(1) FROM table WHERE time between "2019-07-08 00:00:00" and "2019-07-09 00:00:00" GRO...原创 2019-07-16 16:02:57 · 1562 阅读 · 0 评论 -
spark日期处理
详情查看:https://www.cnblogs.com/feiyumo/p/8760846.html以防止文章丢失,我搬运过来。 !!!转载自飞末!!!一、获取当前时间1.current_date获取当前日期2018-04-092.current_timestamp/now()获取当前时间2018-04-09 15:20:49.247二、从日期时间中提取字段1....转载 2019-07-02 16:44:26 · 3078 阅读 · 0 评论 -
mysql中日期转换
一直在使用hive及spark 使用时间戳转换。最近在使用mysql现场处理一些数据的时候,也会用到数据转换。简单的记录,之后想起来回来补充!hive及spark中 : 时间戳(秒级)-->2019-10-10substring(from_unixtimw(timestamp),0,10) 2019-10-10 23:23:23 --> 2019-10-10sub...原创 2019-01-09 19:49:31 · 492 阅读 · 0 评论 -
滞留及流转的概念区别
最近在疯狂的做数据分析~关于滞留 商品滞留 我的理解是 商品从发布时间到我现在统计的时间 这一段时间是 商品滞留的时间关于流转商品流转 是商品发布时间到商品成交订单时间 这一段时间称之为商品流转的时间这里有用到时间相减 我的情况是获取当前时间是2018-09-01 这种格式 所以就需要转换unix_timestamp('2018-09-01','yyyy-MM-dd...原创 2018-10-09 20:03:52 · 319 阅读 · 0 评论 -
spark实现获取上个月1号及最后一天
最近在分析的时候要分析周及月的数据那么月的话 一开始我是直接获取当月的1号及最后一天但是后来发现数据不太对因为这个样子跑的话 会存在最后一天数据丢失(和本身的数据有关)所以这里就要写 获取上个月的1号及最后一天有不对的请指正:import java.text.SimpleDateFormatimport java.util.Calendar //获取前月的第一天...原创 2018-10-09 19:54:51 · 3518 阅读 · 0 评论 -
sparkSQL之$
在使用sparkSQL过程中在SQL语句里面 有个字段里面本身带有$ 但是都知道在SQL里面识别出来会直接取值 这就达不到SQL语句的效果了那么 下面就是如何使用的val event = "$MP"val usersDF = sqlContext.sql( s""" | |select distinct id from dw_logstash.abc ...原创 2018-10-09 19:48:09 · 1331 阅读 · 0 评论 -
留存分析
之前做了留存和周月的数据定时定时任务应该都会留存的话有个坑比如说7日留存 那么我们的数据日期应该-7 但是最近用到7日的交易惯性思维直接-7 第二天发现数据不对才想到 是7日内的数据 应该-6 ...原创 2018-10-09 19:41:43 · 711 阅读 · 0 评论