Liunene-CSDN博客

原创纽约出租车大数据探索

本文旨在探索纽约城市市民的打车出行习惯，通过对145万余条数据的定量分析，针对提出的问题相应地得出了些许结论。并在文末分析了日后可以进一步拓展的探索方向。数据来自于kaggle，选用train.csv中的数据记录进行相关数据分析，使用Python作为分析工具。数据来源：Kaggle|New York City Taxi Trip Duration也可参考纽约市出租车和轿车委员会发布的历...

2018-07-13 20:18:39 10706 4

原创 PostgreSQL中的dateadd函数的实现

今天在PostgreSQL数据库中取数，涉及到时间类型字段的加减法需求，发现不支持time_add函数。绕了一大圈发现，实现方法非常简单……下面看例子select [时间字段] +interval '2 year' from [table]select [时间字段] +'5 min' from [table]类似地，写成下面这些样子也都可以实现select now() ...

2019-09-18 19:03:37 9275 3

转载 MySQL 使用比较函数 INTERVAL() 函数实现数据按区间分组

更新：这个函数在postgreSQL中是无法使用的，替代方法如下select t.tag, count(*) from (select case when id < 2 then 'less 2' when id >=2 and id< 5 then '2to5' when id>=5 and id<8 then '5to8' else 'great...

2019-06-05 13:43:49 1262

原创 hive中时间格式的处理

找到了一种奇怪但好用的处理方式：目的：把time列中的秒数去掉写法：select time,concat (to_date(time),' ',cast(hour(time) as string),':',cast(minute(time) as string))from events limit 10 不足之处时间09:01 会变成9:1，看起来略奇怪...

2018-11-29 21:15:42 2492

转载 hive中时间日期函数的使用

to_date：日期时间转日期函数select to_date('2015-04-02 13:34:12');输出：2015-04-02from_unixtime：转化unix时间戳到当前时区的时间格式select from_unixtime(1323308943,’yyyyMMdd’);输出：20111208unix_timestamp：获取当前unix时间戳select un...

2018-11-29 21:04:58 3391

原创 YYYY-WW与IYYY-IW的区别详解

非ISO: 永远以新年的第一天为第一周的星期一，第一周一定有七天，而且最后一周不一定有七天。如：最后一天2009年12月30日是星期四，2010年1月1日确是2010年第一星期的星期一。例句：select to_char(to_date('2009-12-30', 'yyyy-mm-dd'), 'yyyy-ww') from dual union all select to_char(t...

2018-10-12 11:18:40 9641

转载 anaconda 通过pip 安装python psycopg2

原文链接：https://blog.csdn.net/lmzone24/article/details/78708957【不能在cmd里install】之前一直在 cmd 里conda install psycopg2 ，pip install psycopg2，虽然提示安装成功，但是import时还是会报错提示包不存在。【在prompt里pip】正确的安装方法是，安装完成 anaco...

2018-09-20 14:32:18 981

原创 CSV文件转Excel后数字自动转换成科学计数法的解决方法

CSV文件用Excel打开后，长度超过11位的数字自动转换成科学计数法显示，末尾数字变成“0000”，如何解决这一问题？方法：①新建Excel-打开 ②数据-自文本 ③选择需要打开的CSV文件 ④分隔符号-按照实际情况选择-文本（避免科学计数法格式）-完成...

2018-08-28 10:16:31 12340

原创 SQL中的关系除法实现方式

今天学习到了如何通过NOT EXISTS来实现SQL中的关系除法，记录一下以备日后温习。已经了解到，SQL现成的集合运算符有：UNION（并集）、EXCEPT（差集）、INTERSECT（交集）、CROSS JOIN（笛卡儿积），但关系除法是没有现成函数的。首先熟悉一下 EXISTS 的作用和用法：SELECT * FROM TableIn WHERE exists( ...

2018-08-03 23:12:13 10501 4

原创我爬取了杭州的数据分析招聘岗位（内附原始数据）

前言在“大数据”、“人工智能”愈来愈被广泛提起之后，数据分析也更多地出现在大众的视野。还记得我最早注意到这个岗位是在2016年的下半年，那时候知乎上就出现了很多与数据分析相关的问题和回答。如今2018年已过半，数据分析这个岗位发展得如何了呢？在北上广深这些城市之外，是否也具备有力的发展势头呢？本项目便从杭州的数据分析岗位入手，探索数据分析师这一岗位的现状。一、研究问题1、杭州的数据...

2018-07-22 21:44:54 4617 1

Liunene的博客