爬虫补充笔记（一）

最新推荐文章于 2024-07-13 21:34:41 发布

我不相信我会输

最新推荐文章于 2024-07-13 21:34:41 发布

阅读量108

点赞数

文章标签： python

本文链接：https://blog.csdn.net/x13401840855/article/details/106375964

版权

from requests.utils import dict_from_cookiejar, cookiejar_from_dict
response = requests.get(url, cookies=cookies)

response = requests.get(url, verify=False)

response = requests.get(url, timeout=3)

proxy = {
	'http': '125.108.108.165: 9000'
}
response = requests.get(url, proxies=proxy)

import requests
from retrying import retry

@retry(stop_max_attempt_number=3)
def get_response(url):
	return requests.get(url, timeout=2)

# 忽略编码错误
requests.get(url).content.decode(utf-8, errors='ignore')

# 1. 手动拼接
# 2. 使用模块拼接
from urllib.parse import urljoin
url = urljoin('https://www.dy2018.com/html/gndy/dyzz/index.html', '/i/102048.html')

json.dumps() # 将字典转为字符串
json.loads() # 将字符串转为字典

json.dump() # 操作类文件对象，向文件中写入并将字典转为字符串
json.load() # 操作类文件对象，从文件中读取并将字符串转为字典

import jsonpath
jsonpath.jsonpath()

关注