浏览器头部信息

#对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站
import urllib.request
url="https://www.baidu.com/"
file=urllib.request.urlopen(url)
# print('获取当前url:',file.geturl() )
# print('file.getcode,HTTPResponse类型:',file.getcode )
print('file.info 返回当前环境相关的信息:' ,file.info())

cookie 获取一

# 导入模块
from selenium import webdriver

driver = webdriver.Chrome(executable_path='D:\chromedriver\chromedriver')

url = "https://www.baidu.com"
driver.get(url)
# 获取cookie列表
cookie_list = driver.get_cookies()
# 格式化打印cookie
# print(cookie_list)
cookie_dict = {}
cookie = ''
for cookie in cookie_list:
    cookie_dict[cookie['name']] = cookie['value']
print(cookie_dict)

driver.quit()

 cookie 获取二

import requests
def Get_Cookie(url):
    session = requests.Session()
    headers = {
  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,下面是补充完整的代码,其中涉及到了您提到的4个步骤: ```python import os import requests # 创建用于存储网页文件的目录 if not os.path.exists('step1/webpages'): os.makedirs('step1/webpages') # 豆瓣电影Top250共有10个页面,每个页面上有25部电影的简要信息 for i in range(10): # 构造完整的网页url url = 'https://movie.douban.com/top250?start={}&filter='.format(i * 25) # 模拟浏览器头部信息 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 获取响应信息r r = requests.get(url, headers=headers) # 构造完整的保存目录及文件名path path = 'step1/webpages/page{}.txt'.format(i + 1) # 将响应文本保存到文件中 with open(path, 'w', encoding='utf-8') as f: f.write(r.text) ``` 在这段代码中,我们首先创建了一个名为`step1/webpages`的文件夹来存储网页文件。然后,我们循环遍历豆瓣电影Top250的10个页面,对于每个页面,我们构造完整的网页url,并使用requests库向该url发送HTTP请求。为了模拟浏览器的行为,我们设置了headers参数,其中包含了User-Agent信息。获取响应信息后,我们构造了完整的保存目录及文件名path,然后将响应文本保存到该文件中。 请将上述代码保存到名为`get_webpages.py`的文件中,并在终端中执行以下命令来运行代码: ``` python get_webpages.py ``` 代码执行完毕后,您可以在`step1/webpages`目录下找到所有网页源代码文件。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值