爬虫背景:
由于原来的数据库中有1.5亿左右的用户id,但是其中有1.2亿的用户资料是不完整的(没有粉丝数量,点赞数量等,算是无用数据),现在老板要求将这些没有资料的用户更新信息,咋办?
刚开始的想法是使用主从模式+scrapy爬取,但是写着写着觉得麻烦(写python的都很懒,scrapy还是比较臃肿的),然后突然想到,python中的多线程,处理爬虫这种存在大量io的操作时,多线程是非常有用的,而且省服务器资源(其他的爬虫也在服务器,能省一点是一点,毕竟是自己用的,太卡的话上班都不爽),开始干!
不怕笑话,就2个函数。。。。
我觉得代码不重要,重要的是处理的方式,以及多多利用多线程的这种方法,各种原因不想搭scrapy的时候,只需要几行代码,就能将爬虫速度提升n倍,岂不美哉?
一.
说一下我的爬虫思路(架构?),不存在花里胡哨的操作与各种专业名词,只讲究实用
1.我的整个爬虫所用到的有django1.8.2 + requests + redis + pgsql 由于这里django的作用很小(代码中有讲),就不讲了
2.django操作pg存数据,redis作为队列
3.由于使用了redis作为队列,所以不存在多线程中的锁(Lock)的隐患,队列本身就是安全的,锁来锁去什么的不用管
4.我的这个模式,自认为还是比较好用的,简单快捷,剩下的会在下面代码中注释说明,只copy了部分代码块
二.
说一下我这个里面的多线程的注意事项吧:
1.将爬虫用while True包裹起来,目的是为了保持线程的存活,至于单个线程的退出条件,可以用for,while之类的条件来限制
2.函数中不要用return,不要用return,不要用return,重要的事情说三遍
@staticmethod
def get_user_info_from_app_new(**kwargs):
while True:
user_id = redis_client.rpop(REDIS_DOUYIN_NULL_INFO_USER) # 从redis中取一个user_id
retry_list = []
for retry in range(150): # 额,由于设备号不足的原因,导致一个user_id的请求最多重复请求150次,只要其中任意一次成功,就ok
url_as, url_cp, iid, device_id, openudid = DouyinCrawler.get_params_for_app(**kwargs)
device_info = redis_client.srandmember(REDIS_DOUYIN_SET_DEVICE_TYPE_BRAND) # str 每一次请求都是随机不同的设备型号
device = device_info.split(';')
d_type = device[0]
d_brand = device[1]
# print 'device_type', d_type
# print 'device_brand', d_brand
url = 'https://aweme-eagle.snssdk.com/aweme/v1/user/?user_id={}&retry_type=no_retry&iid={}&device_id={}&ac=wifi&channel=xiaomi&aid=1128&app_nam