- 博客(8)
- 收藏
- 关注
转载 mysql查询时间戳和日期的转换及查询当天插入记录
mysql提供了两个函数: from_unixtime(time_stamp) -> 将时间戳转换为日期 unix_timestamp(date) -> 将指定的日期或者日期字符串转换为时间戳如果要查询当天的订单的记录:select count(*) from b_order Where date_format(from_unixtime(create_ti...
2019-06-13 19:45:25 1490
原创 python删除redis数据库中的键
from redis import Redisredis_db = Redis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)redis_db.delete(key, )
2019-06-11 16:45:07 3009
原创 python使用socket和socks连接代理ip服务器
# 导入模块import socket # 内置库import socks # 需要安装:pip install pysocks# 配置# 代理服务器IP(域名),开发中要替换成实际ipsocks5_proxy_host = '127.0.0.1'# 代理服务器端口号,开发中要替换成实际端口socks5_proxy_port = 80# 设置代理socks.set_defau...
2019-06-11 10:00:09 5910
原创 python文件设置日志
# 导入模块import logging# 配置输出格式log_format = "%(asctime)s - %(levelname)s - %(message)s" # 日志输出格式logging.basicConfig(filename='tracklog.log', filemode='a', level=logging.DEBUG, format=log_format) # ...
2019-06-11 09:54:39 276
原创 scrapy使用selenium时爬虫关闭浏览器的方法
这里是官方提供的最新的方法from scrapy import signals# 此为官方推荐的信号使用方法,用来关闭浏览器@classmethoddef from_crawler(cls, crawler, *args, **kwargs): spider = super(YourSpider, cls).from_crawler(crawler, *args, **kwargs...
2019-06-06 10:16:05 1808
原创 scrapy.Request构造请求时,无法得到数据
这可能是因为没有数据的链接被过滤,会影响下边数据的获取。可尝试在参数中添加dont_filter=Truescrapy.Request(url, self.parse, dont_filter=True)启用不过滤
2019-06-06 10:08:27 1655 2
原创 twisted.internet.error.TimeoutError错误的解决方法
少数链接会出现请求超时,当出现请求超时时,爬虫会自动重试三次,若超过180s且三次后仍没有得到数据,就会放弃请求出现twisted.internet.error.TimeoutError 错误。此时就出现了爬取失败的情况。原因:当网络无法满足在180s内下载完所有的请求数量,就会出现此类错误。解决办法:这里做个示例,具体情况具体分析1、降低同时请求的数量CONCURRENT_REQUEST...
2019-06-04 22:19:27 5402 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人