python
进击的小恐龙
各种打杂boy
展开
-
python 字符串变成时间格式方法
#String to Date(datetime)def stringToDate(string): #example '2013-07-22 09:44:15+00:00' dt = datetime.strptime(string, "%Y-%m-%d %H:%M:%S+00:00") #print dt return dt #Date(dateti...原创 2018-03-14 18:45:23 · 14236 阅读 · 0 评论 -
解决Python 2.7.x 使用Requests发起https请求时报Warning的问题
使用Python写小爬虫是一件非常快乐的事情,现在越来越多的网站使用的是https安全链接,但是在使用requests请求https网站的时候会提示一大堆的warning,这虽然不会影响功能,但是看起来还是非常不友好的。解决咱们在写爬虫的时候一般也不会去在意目标地址的证书是否安全,直接开爬,这里咱们就不希望看到一大堆的错误提示,根据官方给出的解决方法,针对Python 2 的方法很简单>&g...原创 2018-03-04 13:26:54 · 388 阅读 · 0 评论 -
Python爬虫User-Agent汇总(防止反爬)
随机选择UserAgent可以在爬虫的时候有效的避免被反爬,下面是汇总的UserAgent并用list的形式展示USER_AGENTS = [ "'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)'", "'Mozilla...原创 2018-03-04 13:35:16 · 2827 阅读 · 0 评论 -
python中decode和encode的解读
在爬虫处理编码时候,由于不能直接转译通常我们选择unicode作为中间媒介进行编码转换的传递,例如我们要见gbk转化为utf-8decode('gbk')--(解码)--unicode--(编码)--encode('utf-8')其中:decode:通常解释为:解码,把其他的编码转换成unicode编码;例如decode('gbk')就是将gbk转化成为unicodeencode:通常解释为:编码...原创 2018-03-04 13:44:40 · 965 阅读 · 0 评论