import requests
import re
resp = requests.get('https://www.sohu.com/')
pattern = re.compile(r'<a.*?href="(.*?)".*?title="(.*?)".*?>')
if resp.status_code == 200:
print(resp.text)
all_matches = pattern.findall(resp.text)
for href, title in all_matches:
print(href)
print(title)
#获取百度logo
resp = requests.get('https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png')
with open('baidu.png', 'wb') as file:
file.write(resp.content)
import time
import random
for page in range(1, 11):
resp = requests.get(
url=f'https://movie.douban.com/top250?start={page - 1}',
# 如果不设置HTTP请求头中的User-Agent,豆瓣会检测出不是浏览器而阻止我们的请求。
# 通过get函数的headers参数设置User-Agent的值,具体的值可以在浏览器的开发者工具查看到。
# 用爬虫访问大部分网站时,将爬虫伪装成来自浏览器的请求都是非常重要的一步。
headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'}
)
pattern1 = re.compile(r'<span class="title">([^&]*?)</span>')
titles = pattern1.findall(resp.text)
pattern2 = re.compile(r'<span class="rating_num".*?>(.*?)</span>')
ranks = pattern2.findall(resp.text)
for title, rank in zip(titles, ranks):
print(title, rank)
time.sleep(random.random() + 1)
python 获取网络资源
最新推荐文章于 2023-04-13 17:55:11 发布