GitHub 热门：各大网站的 Python 爬虫登录汇总_哪些网站登陆可以用爬虫

• 微博网页版
• 知乎
• QQZone
• CSDN
• 淘宝
• Baidu
• 果壳
• JingDong 模拟登录和自动申请京东试用
• 163mail
• 拉钩
• Bilibili
• 豆瓣
• Baidu2
• 猎聘网
• 微信网页版登录并获取好友列表
• Github
• 爬取图虫相应的图片

如下所示，如果我们满足依赖项，那么就可以直接运行代码，它会在图虫网站中下载搜索到的图像。

如下所示为搜索「秋天」，并完成下载的图像：

每一个网站都会有对应的登录代码，有的还有数据的爬取代码。以豆瓣为例，主要的登录函数如下所示，它会获取验证码、处理验证码、返回登录数据完成登录，并最后保留 cookies。

def login():    captcha, captcha_id = get_captcha()    # 增加表数据    datas['captcha-solution'] = captcha    datas['captcha-id'] = captcha_id    login_page = session.post(url, data=datas, headers=headers)    page = login_page.text    soup = BeautifulSoup(page, "html.parser")    result = soup.findAll('div', attrs={'class': 'title'})    #进入豆瓣登陆后页面，打印热门内容    for item in result:        print(item.find('a').get_text())    # 保存 cookies 到文件，    # 下次可以使用 cookie 直接登录，不需要输入账号和密码    session.cookies.save()

其中获取并解决验证码的函数如下：

def get_captcha():    '''    获取验证码及其ID    '''    r = requests.post(url, data=datas, headers=headers)    page = r.text    soup = BeautifulSoup(page, "html.parser")    # 利用bs4获得验证码图片地址    img_src = soup.find('img', {'id': 'captcha_image'}).get('src')    urlretrieve(img_src, 'captcha.jpg')    try:        im = Image.open('captcha.jpg')        im.show()        im.close()    except:        print('到本地目录打开captcha.jpg获取验证码')    finally:        captcha = input('please input the captcha:')        remove('captcha.jpg')    captcha_id = soup.find(        'input', {'type': 'hidden', 'name': 'captcha-id'}).get('value')    return captcha, captcha_id

当然这些都是简单的演示，在 GitHub 项目中可以找到更多的示例。此外，作者表明由于网站策略或者样式改变而导致代码失效，我们也可以提 Issue 或 Pull Requests。最后，该项目未来还会一直维护，很多东西哦也会慢慢改进，项目作者表明：

• 项目写了一段时间后，发现代码风格、程序易用性、可扩展性、代码的可读性，都存在一定的问题，所以接下来最重要的是重构代码，让大家可以更容易的做出一些自己的小功能；
• 如果读者觉得某个网站的登录很有代表性，可以在项目 issue 中提出；
• 网站的登录机制有可能经常的变动，所以当现在的模拟的登录的规则不能使用的时候，请项目在 issue 中提出。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

点此免费领取：CSDN大礼包：《python学习路线&全套学习资料》免费分享

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！