pycharm使用webdriver访问浏览器页面时,提示requested without authorization,不允许访问未认证的页面


pycharm使用webdriver访问浏览器页面时,提示requested without authorization,不允许访问未认证的页面

file-settings中勾选allow unsigned requests就可以解决了

首先,你需要安装selenium和chromedriver。chromedriver是Chrome浏览器的驱动程序,它可以让你通过代码控制Chrome浏览器。 在安装完selenium和chromedriver之后,你可以按照以下步骤使用selenium模拟浏览器访问京东并爬取商品: 1. 导入必要的库 ```python from selenium import webdriver import time ``` 2. 打开Chrome浏览器,并访问京东网站 ```python browser = webdriver.Chrome() browser.get('https://www.jd.com/') ``` 3. 在搜索框中输入要搜索的商品,并点击搜索按钮 ```python search_box = browser.find_element_by_xpath('//*[@id="key"]') search_box.send_keys('商品名称') search_button = browser.find_element_by_xpath('//*[@id="search"]/div/div[2]/button') search_button.click() ``` 4. 等待页面加载完成,并滚动到页面底部,使所有商品都加载出来 ```python time.sleep(5) # 等待5秒钟,让页面加载完成 browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') # 滚动到页面底部,使所有商品都加载出来 ``` 5. 爬取商品信息 ```python goods = browser.find_elements_by_class_name('gl-item') # 获取商品列表 for good in goods: title = good.find_element_by_xpath('.//div[@class="p-name"]/a/em') # 获取商品标题 price = good.find_element_by_xpath('.//div[@class="p-price"]/strong/i') # 获取商品价格 print(title.text, price.text) ``` 6. 关闭浏览器 ```python browser.quit() ``` 完整代码如下: ```python from selenium import webdriver import time browser = webdriver.Chrome() browser.get('https://www.jd.com/') search_box = browser.find_element_by_xpath('//*[@id="key"]') search_box.send_keys('商品名称') search_button = browser.find_element_by_xpath('//*[@id="search"]/div/div[2]/button') search_button.click() time.sleep(5) browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') goods = browser.find_elements_by_class_name('gl-item') for good in goods: title = good.find_element_by_xpath('.//div[@class="p-name"]/a/em') price = good.find_element_by_xpath('.//div[@class="p-price"]/strong/i') print(title.text, price.text) browser.quit() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值