selenium验证码登录_如何用 Python 登录主流网站，爬取一些需要的数据

最新推荐文章于 2024-05-06 13:16:26 发布
最新推荐文章于 2024-05-06 13:16:26 发布
阅读量252 收藏 2
点赞数
文章标签： selenium验证码登录 京东登录页面html代码

1f569777fd760d77979dbd87af79f66f.png

最近收集了一些网站的登陆方式和爬虫程序，有的通过 selenium 登录，有的则通过抓包直接模拟登录。作者希望该项目能帮助初学者学习各大网站的模拟登陆方式，并爬取一些需要的数据。

作者表示模拟登陆基本采用直接登录或者使用 selenium+webdriver 的方式，有的网站直接登录难度很大，比如 qq 空间和 bilibili 等，采用 selenium 登录相对轻松一些。虽然在登录的时候采用的是 selenium，但为了效率，我们也可以在登录后维护得到的 cookie。登录后，我们就能调用 requests 或者 scrapy 等工具进行数据采集，这样数据采集的速度可以得到保证。

目前已经完成的网站有：

  • Facebook
  • 无需身份验证即可抓取 Twitter 前端 API
  • 微博网页版
  • 知乎
  • QQZone
  • CSDN
  • 淘宝
  • Baidu
  • 果壳
  • JingDong 模拟登录和自动申请京东试用
  • 163mail
  • 拉钩
  • Bilibili
  • 豆瓣
  • Baidu2
  • 猎聘网
  • 微信网页版登录并获取好友列表
  • Github
  • 爬取图虫相应的图片

如下所示，如果我们满足依赖项，那么就可以直接运行代码，它会在图虫网站中下载搜索到的图像。

1fb6edec6b453d014bd9e8b2f402037e.png

如下所示为搜索「秋天」，并完成下载的图像：

d5a5da85387da896b2a9baa373bfcdf1.png

每一个网站都会有对应的登录代码，有的还有数据的爬取代码。以豆瓣为例，主要的登录函数如下所示，它会获取验证码、处理验证码、返回登录数据完成登录，并最后保留 cookies。

def login():

captcha, captcha_id = get_captcha()

# 增加表数据

datas[ captcha-solution ] = captcha

datas[ captcha-id ] = captcha_id

login_page = session.post(url, data=datas, headers=headers)

page = login_page.text

soup = BeautifulSoup(page, "html.parser")

result = soup.findAll( div , attrs={ class : title })

#进入豆瓣登陆后页面，打印热门内容

for item in result:

print(item.find( a ).get_text())

# 保存 cookies 到文件，

# 下次可以使用 cookie 直接登录，不需要输入账号和密码

session.cookies.save()

其中获取并解决验证码的函数如下：

def get_captcha():

获取验证码及其ID

r = requests.post(url, data=datas, headers=headers)

page = r.text

soup = BeautifulSoup(page, "html.parser")

# 利用bs4获得验证码图片地址

img_src = soup.find( img , { id : captcha_image }).get( src )

urlretrieve(img_src, captcha.jpg )

try:

im = Image.open( captcha.jpg )

im.show - 又一个WordPress站点()

im.close()

except:

print( 到本地目录打开captcha.jpg获取验证码 )

finally:

captcha = input( please input the captcha: )

remove( captcha.jpg )

captcha_id = soup.find(

input , { type : hidden , name : captcha-id }).get( value )

return captcha, captcha_id

当然这些都是简单的演示，在 GitHub 项目中可以找到更多的示例。此外，作者表明由于网站策略或者样式改变而导致代码失效，我们也可以提 Issue 或 Pull Requests。最后，该项目未来还会一直维护，很多东西哦也会慢慢改进，项目作者表明：

  • 项目写了一段时间后，发现代码风格、程序易用性、可扩展性、代码的可读性，都存在一定的问题，所以接下来最重要的是重构代码，让大家可以更容易的做出一些自己的小功能；
  • 如果读者觉得某个网站的登录很有代表性，可以在项目 issue 中提出；
  • 网站的登录机制有可能经常的变动，所以当现在的模拟的登录的规则不能使用的时候，请项目在 issue 中提出。

项目地址：https://github.com/ape-python/awesome-python-login-model

weixin_39807859
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬取网站用户手机号_主流网站 Python 爬虫模拟登陆方法汇总
weixin_39867125的博客
11-21 2642
欢迎关注我的公众号：高级农民工，博客：高级农民工，阅读体验更好。摘要：介绍微信、知乎、新浪等一众主流网站的模拟登陆爬取方法。网络上有形形色色的网站，不同类型的网站爬虫策略不同，难易程度也不一样。从是否需要登陆来说，一些简单网站不需要登陆就可以爬，比如之前爬过的猫眼电影、东方财富网等。有一些网站需要先登陆才能爬，比如知乎、微信等。这类网站在模拟登陆时需要处理验证码、js 加密参数这些问题，爬取难度会...
爬虫学习资源，有xpath爬取,beautifulsoup爬取，selenium爬取
06-02
【标题】"爬虫学习资源，有xpath爬取,beautifulsoup爬取，selenium爬取"揭示了这个压缩包文件包含的是与网络爬虫技术相关的学习资料，特别提到了三种主流的网页解析方法：XPath、BeautifulSoup以及Selenium。...
selenium验证码登录_用 Python 登录主流网站
weixin_39805924的博客
12-06 173
作者收集了一些网站的登陆方式和爬虫程序，有的通过 selenium 登录，有的则通过抓包直接模拟登录。作者希望该项目能帮助初学者学习各大网站的模拟登陆方式，并爬取一些需要的数据。Python人工智能 - 60分钟从认知到实践python爬虫 - 创客学院直播室​www.makeru.com.cn作者表示模拟登陆基本采用直接登录或者使用 selenium+webdriver 的方式，有的网站直接登录...
python登录网站后爬取数据_如何用 Python 登录主流网站，爬取一些需要的数据
weixin_39729262的博客
12-03 777
最近收集了一些网站的登陆方式和爬虫程序，有的通过 selenium 登录，有的则通过抓包直接模拟登录。作者希望该项目能帮助初学者学习各大网站的模拟登陆方式，并爬取一些需要的数据。作者表示模拟登陆基本采用直接登录或者使用 selenium+webdriver 的方式，有的网站直接登录难度很大，比如 qq 空间和 bilibili 等，采用 selenium 登录相对轻松一些。虽然在登录的时候采用的是...
python登录网站后爬取数据_用 Python 登录主流网站，我们的数据爬取少不了它
weixin_39636079的博客
12-03 299
不论是自然语言处理还是计算机视觉，做机器学习算法总会存在数据不足的情况，而这个时候就需要我们用爬虫获取一些额外数据。这个项目介绍了如何用 Python 登录各大网站，并用简单的爬虫获取一些有用数据，目前该项目已经提供了知乎、B 站、和豆瓣等 18 个网站的登录方法。项目作者：CriseLYJ。作者收集了一些网站的登陆方式和爬虫程序，有的通过 selenium 登录，有的则通过抓包直接模拟登录。作者...
用Python登录主流网站，我们的数据爬取少不了它！
2401_84208172的博客
04-19 679
不论是自然语言处理还是计算机视觉，做机器学习算法总会存在数据不足的情况，而这个时候就需要我们用爬虫获取一些额外数据。这个项目介绍了如何用 Python 登录各大网站，并用简单的爬虫获取一些有用数据，目前该项目已经提供了知乎、B 站、和豆瓣等 18 个网站的登录方法。作者收集了一些网站的登陆方式和爬虫程序，有的通过 selenium 登录，有的则通过抓包直接模拟登录。作者希望该项目能帮助初学者学习各大网站的模拟登陆方式，并爬取一些需要的数据。
用 Python 登录主流网站，我们的数据爬取少不了它
Python栈_基的博客
01-19 413
虽然在登录的时候采用的是 selenium，但为了效率，我们也可以在登录后维护得到的 cookie。项目写了一段时间后，发现代码风格、程序易用性、可扩展性、代码的可读性，都存在一定的问题，所以接下来最重要的是重构代码，让大家可以更容易的做出一些自己的小功能；Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。网站的登录机制有可能经常的变动，所以当现在的模拟的登录的规则不能使用的时候，请项目在 issue 中提出。
python爬虫登录网站_主流网站 Python 爬虫模拟登陆方法汇总
weixin_39571749的博客
11-20 754
欢迎关注我的公众号：高级农民工，博客：高级农民工，阅读体验更好。摘要：介绍微信、知乎、新浪等一众主流网站的模拟登陆爬取方法。网络上有形形色色的网站，不同类型的网站爬虫策略不同，难易程度也不一样。从是否需要登陆来说，一些简单网站不需要登陆就可以爬，比如之前爬过的猫眼电影、东方财富网等。有一些网站需要先登陆才能爬，比如知乎、微信等。这类网站在模拟登陆时需要处理验证码、js 加密参数这些问题，爬取难度会...
学python爬取数据要多久_一个月入门Python爬虫学习,轻松爬取大规模数据
weixin_39689506的博客
12-02 367
Python爬虫为什么受欢迎如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：知乎：爬取优质答案，为你筛选出各话题下最优质的内容。淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消...
Python爬虫超详细讲解（零基础入门，老年人都看的懂）_python需要什么程度才可以爬取资源
m0_60635176的博客
05-06 360
解析网页并且定位短评。
Python-自动爬取Github上文件敏感信息泄露
08-12
这涉及到模拟登录请求和处理验证码的逻辑，可能使用`requests`库发送HTTP请求，并可能使用`selenium`或`puppeteer`等工具处理动态加载和交互。 5. **多邮箱服务支持**：项目特别提到支持126，qq，sina，163这四个...
Python特定信息爬取实战.zip
12-17
在Python编程领域，数据爬取是一项重要的技能，尤其在人工智能（AI）的背景下，大量有价值的数据需要被搜集、处理和分析。"Python特定信息爬取实战"这一主题深入探讨了如何利用Python进行高效且有针对性的网络数据...
Python获取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据
03-06
在本项目中，我们将探讨如何使用Python编程语言从58同城、赶集网、链家、安居客和我爱我家等主流房产交易平台抓取房价交易数据。这些网站提供了丰富的房源信息，包括但不限于房屋价格、地理位置、面积、户型、装修...
《虫术Python绝技》_梁睿坤.rar PDF高清
07-10
6. **模拟登录与会话管理**：针对需要登录才能访问的网站，讲述如何模拟登录并保持会话，以及处理验证码的方法。 7. **反爬虫策略**：介绍常见的反爬虫技术，如User-Agent伪装、IP代理池、延时策略、动态加载页面的...
pi_heif-0.17.0-pp310-pypy310_pp73-macosx_12_0_x86_64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
mmexport1722080103662.jpg
07-27
mmexport1722080103662.jpg
matlab 20244a 6
07-27
matlab 20244a 6
pi_heif-0.17.0-cp310-cp310-macosx_12_0_x86_64.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
python自动登录网站爬取数据
05-11
使用Python实现自动登录网站并爬取数据的步骤： 1. 导入所需的库：requests、BeautifulSoup、selenium等。 2. 使用requests库模拟登录网站，获取登录后的cookies。 3. 使用selenium模拟浏览器操作，打开需要爬取的网页，并将cookies添加到浏览器。 4. 使用BeautifulSoup库解析网页HTML代码，提取需要的数据。 以下是一个示例代码，用于爬取某个网站的数据： ```python import requests from bs4 import BeautifulSoup from selenium import webdriver # 登录网站并获取cookies login_url = 'https://example.com/login' session = requests.Session() response = session.get(login_url) soup = BeautifulSoup(response.text, 'html.parser') csrf_token = soup.find('input', {'name': 'csrf_token'})['value'] login_data = { 'csrf_token': csrf_token, 'username': 'your_username', 'password': 'your_password' } session.post(login_url, data=login_data) # 使用selenium打开需要爬取的网页，并添加cookies browser = webdriver.Chrome('path/to/chromedriver') browser.get('https://example.com/data') cookies = session.cookies.get_dict() for key, value in cookies.items(): browser.add_cookie({'name': key, 'value': value}) # 解析网页HTML代码，提取数据 soup = BeautifulSoup(browser.page_source, 'html.parser') data = soup.find('div', {'class': 'data'}).text print(data) # 关闭浏览器 browser.quit() ``` 需要注意的是，以上代码仅作为示例，具体实现可能会因网站的特殊要求而有所不同。同时，不建议使用自动登录方式爬取需要登录才能访问的网站，除非你已获得网站的明确授权。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值