百度信用爬取的一点总结

详细过程

模型主要分为3个步骤:
1、IP池的定期维护
2、企业信用代码爬取转换为接口唯一ID标识(不需要定时执行,一次即可)
3、根据接口ID爬取具体数据(定期爬取)

在这里插入图片描述

1 代理池

文件:proxyPool.py
该代码为Github上的开源代码,定时爬取以下几个网址的免费代理IP,并放入Redis库,之所以用Redis是因为IP池里的IP需要频繁读写和维护,Redis作为NOSQL数据库,响应速度较快,且可移植性较高
在这里插入图片描述

2 过程中遇到的问题总结

第一版代码并未加入多进程,爬取速度较慢,但加入多进程之后带来了一些新的问题,在此总结一下,以便后期复盘

2.1. 多进程之间的通信

进程之间是相互独立的,但需要使用同一个IP池,为了解决进程间的通信问题,加入了Queue(队列),多个进程共用,用一个删一个。

2.2. 数据的存储

按照原来的方式存储数据会存在,多个进程同时操作同一个文件,导致数据丢失的情况。
解决方式有:
1)加进程锁,但是加锁一般会完造成程序的执行效率下降
2)使用multiprocessing的回调函数。把写入操作抽象为单独的一个函数,把进程需要写入的内容,作为返回值返回,使用回调函数写入进程返回内容。
经测试,方式2 效率更高

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值