- 博客(5)
- 收藏
- 关注
RSS订阅原创 Scrapy入门级简单整理
安装scrapypip install scrapy安装完成 scrapy 提供一整套 scrapy 命令若pip安装失败，可到http://www.lfd.uci.edu/~gohlke/pythonlibs/网站找对应的twisted和scrapy的whl包进行下载通过下面命令进行安装，先装twisted，再装scrapypip install xxx.whl使用 s...
2018-12-19 14:48:34
149
原创 requests抓到的网页乱码问题
response.apparent_encoding获取网页当前的编码格式response.encoding = ‘’在引号中输入正确的编码格式，对抓取的网页进行重新编码
2018-11-29 10:30:24
202
原创 Mysql去重，保留最小id的字段
delete from table_name where id not in (select minid from (select min(id) as minid from table_name group by name) b);
2018-11-26 15:43:10
850
原创 python爬虫 requests异常：requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded
使用 requests抓取网页时会碰到如下异常：requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded原因1.http的连接数超过最大限制，默认的情况下连接是Keep-alive的，所以这就导致了服务器保持了太多连接而不能再新建连接。2.ip被封3.请求过快解决1.在header中不使...
2018-11-20 13:58:59
7272
原创 Mysql删除数据后自增id依旧占用问题
Navicate删除数据后更新自增idalter table table_name AUTO_INCREMENT=nid从n开始变化
2018-11-20 13:38:50
8965
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人