- 博客(4)
- 收藏
- 关注
RSS订阅原创 2020年1月5日项目支付数据异常情况总结
事件经过：2020-01-05 10:30左右，客户回报称出现大量无法支付的错误、商户入驻无法审核错误修复无法支付错误和无法审核入驻商家错误后，出现大量订单重复入账、余额异常增长、明细表出现额外收款2020-01-06查明为支付回调逻辑过长，导致无法在限定时间内回复微信服务器，微信服务器多次重试导致上述现象事件起因：1，匆忙更新上线，未做测试且人不在岗位2，POJO中不...
2020-01-06 16:05:43
393
原创 要租房又不想自己找怎么办？用Scrapy爬取租房信息
对于临近毕业的大学生（指自己）而言，怎样寻找便宜又实惠的房源无疑是人人都在关心的问题，今天就来看看怎样用爬虫技术快速抓取房源信息。运行环境：Python 3.6.3Scrapy : 1.5.1Twisted : 18.9.0BeautifulSoup ：4.6.3fake_useragent ：0.1.11js2py ：0.60PyMySQL ：0.9.3难度：...
2019-06-29 15:45:28
217
原创 使用免费代理池+Python+Requests抓取B站用户信息并入库（附源码+导出脚本+CSV数据）
实际上这是一篇拖了很久才写出来的文章，算是对自己前段时间对于爬虫学习的总结吧。速度： ☆☆☆ #速度较快。免费代理池在深夜最高速度可达8000 items / min，正常速度约为800~1200 items/min左右，且没有做代理复用操作。在一定程度上缓存并复用代理将会在一定程度上提升性能。数据完整性： ☆☆ #完整性较差。无法保证数据完整写入。在扫尾工作时随机丢失大量数据，试了各种方...
2019-06-29 15:40:25
824
1
原创 使用Python破解代理网站反爬策略，获取大量免费代理
最近在做关于某视频网站爬虫时发现了一个可以通过API大量提取免费代理的网站，但美中不足的是该网站的反爬措施相当严格（？），便着手破解。直接使用requests.get访问，返回的结果为混淆后的JS代码，查看状态码为521：>>> import requests>>> response = requests.get("http://www.66ip.c...
2019-05-04 15:15:11
923
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人