python日期数据清洗_数据清洗之微博时间清洗

数据清洗之微博时间清洗

爬取微博的时候时间格式比较乱，存到数据库要统一成datatime类型，所以需要用到对时间的转换

这里是对time模块和datetime的模块的使用。

对于当天的有三种:

40秒前

50分钟前

今天 08:12

针对这三种，第一步要做的是获取当前的年月日

import datetime

now = datetime.datetime.now()

ymd = now.strftime("%Y-%m-%d")

#或者

#datetime.day,datetime.month,datetime.year 分别表示一个datetime对象的日，月，年

解释

第一行我们导入datetime模块

第二行获取当前的时间，datetime类型:

```

2018-07-20 09:28:19.080791

```

包含年月日和时分秒

第三行，strftime函数是格式化字符里面的参数是一个输出的字符串格式：

比如这里 的%Y代表四个数字表示的年份(%y是二位的)，%m是表示月份,%d返回的是当前时间是当前月的第几天,其他的格式看下面的图有详细的解释。


接上我们分析第一个，

40秒前

第一步：获取当前的时间

上面已经获取now了。

第二步:减去40s

时间上的加减我们使用datetime的timedalte属性，

timedalte 是datetime中的一个对象，该对象表示两个时间的差值。

timedalte 的构造函数如下:

def __init__(self, days: float = ..., seconds: float = ..., microseconds: float = ...,

milliseconds: float = ..., minutes: float = ..., hours: float = ...,

weeks: float = ...) -> None: ...

于是就有了下面的结果

newdate = now - datetime.timedelta(minutes=int(seconds[:-2]))

同理

50分钟前

newdate = now - datetime.timedelta(minutes=int(newstr[:-3]))

然后说最后另一种:

今天 08:12

第一步:补齐年月日

第二步：使用time模块的strptime() 函数根据指定的格式把一个时间字符串解析为时间元组，

语法

strptime()方法语法：

time.strptime(string[, format])

参数

string -- 时间字符串。

format -- 格式化字符串。

返回值

返回struct_time对象。

日期格式化符号：

%y 两位数的年份表示(00-99)

%Y 四位数的年份表示(000-9999)

%m 月份(01-12)

%d 月内中的一天(0-31)

%H 24小时制小时数(0-23)

%I 12小时制小时数(01-12)

%M 分钟数(00=59)

%S 秒(00-59)

%a 本地简化星期名称

%A 本地完整星期名称

%b 本地简化的月份名称

%B 本地完整的月份名称

%c 本地相应的日期表示和时间表示

%j 年内的一天(001-366)

%p 本地A.M.或P.M.的等价符

%U 一年中的星期数(00-53)星期天为星期的开始

%w 星期(0-6)，星期天为星期的开始

%W 一年中的星期数(00-53)星期一为星期的开始

%x 本地相应的日期表示

%X 本地相应的时间表示

%Z 当前时区的名称

%% %号本身

第三步：time.mktime转换成时间戳

第四步:使用datetime的fromtimestamp模块，把时间戳转换为

mdate = time.mktime(time.strptime(ymd + newstr, '%Y-%m-%d今天 %H:%M'))

newdate = datetime.datetime.fromtimestamp(mdate)

其他的处理思路就一样了，下面代码给出目前遇到的格式:

def get_format_datetime(self,datestr):

now = datetime.datetime.now()

ymd = now.strftime("%Y-%m-%d")

y = now.strftime("%Y")

newstr = datestr

newdate = now

if u"楼" in datestr:

newstr = datestr.split(u"楼")[-1].strip()

if (u"今天" in newstr):

mdate = time.mktime(time.strptime(ymd + newstr, '%Y-%m-%d今天 %H:%M'))

newdate = datetime.datetime.fromtimestamp(mdate)

elif (u"月" in newstr):

mdate = time.mktime(time.strptime(y + newstr, '%Y%m月%d日 %H:%M'))

newdate = datetime.datetime.fromtimestamp(mdate)

elif (u"分钟前" in newstr):

newdate = now - datetime.timedelta(minutes=int(newstr[:-3]))

elif (u"秒前" in newstr):

newdate = now - datetime.timedelta(minutes=int(newstr[:-2]))

#以下为手机端

elif "-" in newstr:

mdate = time.mktime(time.strptime(y+"-"+ newstr, '%Y-%m-%d'))

newdate = datetime.datetime.fromtimestamp(mdate)

elif (u"昨天" in newstr):

mdate = time.mktime(time.strptime(ymd + newstr, '%Y-%m-%d昨天 %H:%M'))

newdate = datetime.datetime.fromtimestamp(mdate)-datetime.timedelta(days=1)

elif (u"小时前" in newstr):

newdate = now - datetime.timedelta(hours=int(newstr[:-3]))

else:

newdate = datetime.datetime.strptime(newstr, "%Y-%m-%d %H:%M")

return newdate