爬取有验证码的网站，（爬之前最好看一下君子协定）robots.txt,以人人网为例，每爬100条数据需要验证一次（需要自己购买一个验证码破解会员，不是很贵，我这里选择的是超级鹰），简版

blog_1103

于 2018-10-15 18:00:37 发布

阅读量572

点赞数 1

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/qq_42393859/article/details/83062404

版权

本文介绍了如何爬取具有验证码的网站，如人人网，遵循robots.txt协议。每爬取100条数据需进行一次验证码验证，推荐使用超级鹰等验证码破解服务。欲了解更详细步骤，可参阅相关链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/10/15 14:03
# @Author : zhangz
# @File : day4_yanzhengma.py
# @Software: PyCharm
import requests
from lxml import etree
import chaojiying as cj

#采集人人网
id=966723459
url='http://www.renren.com/'+str(id)+'/profile?portal=homeFootprint&ref=home_footprint'
cookie={'t':'8a9a0c45f5434d8de1d4fc34e9260bfa3'}

with requests.Session() as s:
    s.cookies.update(cookie)
    # #判断是否为验证码的页面
    # 如果不是，正常的解析
    # 如果是
    # 拿到验证码
    html = etree.HTML(s.get(url).text)
    title=str(html.xpath('//title/text()'))
    if '验证码' in title:
        url_code='http://icode.renren.com/getcode.do?t=ninki&rnd=1531726003146'
        #拿到验证码图片的二进制流
        im=s.get(url_code).content
        #给打码平台进行破解，拿到验证码
        code=cj.get_code(im)
        url_validate='http://www.renren.com/validateuser.d