selenium之python爬虫模拟浏览器系列:使用chrome或firefox的已存在的cookie访问网站(mac)

如果我们在抓取某个网站数据或者做自动化测试之前已经登陆过该网站,不想再进行相应的模拟登录操作即可直接访问该网站,那么我们可以通过selenium直接加载已经存在浏览器中的cookies来访问该网站,selenuim在启动浏览器时启动的是全新的不带cookies的浏览器窗口,那么我们需要进行一些操作来使浏览器加载cookies。

基本操作可以看这篇博客selenium之python自动化测试系列:使用chrome或firefox的已存在的cookie访问网站

接下来我讲一下在mac下的具体操作

首先要找到mac下的firefox配置文件路径,在cmd下输入

/Applications/Firefox.app/Contents/MacOS/firefox-bin -profilemanager
会弹出该窗口

把鼠标悬浮在 default上面会显示路径,然后把路径填写到 webdriver.FirefoxProfile,将对象传入webdriver.Firefox的firefox_profile参数中

如下

from selenium import webdriver
fp=webdriver.FirefoxProfile('/Users/hahaha/Library/Application Support/Firefox/Profiles/nhujn77a.default-1511767565688')  
browser=webdriver.Firefox(firefox_profile=fp)
browser.maximize_window()
browser.get('https://blog.csdn.net/qq_32590631')
print driver.title
Python爬虫技术中,有多种工具和框架可以帮助我们抓取网页数据。以下是针对你说的几个部分: 1. BeautifulSoup库:这是一个用于解析HTML和XML文档的强大库,在Python爬虫中非常常见。它通过标签名、属性或CSS选择器来查找和提取网页内容,适合处理静态网页。 2. Selenium框架:当需要模拟浏览器行为,如点击按钮、填写表单等动态加载的内容时,Selenium是一个不错的选择。它支持多种浏览器,并能与JavaScript交互,适用于动态网站的爬取。 3. PyQuery框架:PyQuery是基于jQuery语法的一个小型库,提供了一个类似于jQuery的操作DOM的方式,对于快速简单的网页解析很有帮助。 4. Scrapy框架:Scrapy是一个高级的爬虫框架,设计精良,支持异步求、中间件、数据存储等功能,特别适合大规模和复杂的爬虫项目。它可以方便地抓取结构化的数据并保存到数据库。 5. pyspider:这个开源工具结合了爬虫和分布式系统的特点,可以持续监控目标页面的变化,自动更新爬取结果。它的Web界面使得管理爬虫任务变得直观易用。 在爬取景区信息的场景下,可能会用到BeautifulSoup或Scrapy来获取静态页面的数据,如果涉及到用户登录或动态加载的内容,则可能需要用到Selenium。至于爬取知乎问答,由于其反爬策略较为严格,通常会涉及验证码等问题,这时可能需要更复杂的技术配合,例如代理IP池、频率控制等。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值