Python学习笔记-----边学边写第一个爬虫

Import Py

于 2020-05-24 10:27:20 发布

137

文章标签： python

本文链接：https://blog.csdn.net/m0_46095672/article/details/106310072

版权

Python学习笔记-----边学边写第一个爬虫

在这里插入图片描述 """请求网页""" import requests response=requests.get('https://www.baidu.com') print(response.text)

通过chrome开发者工具找到一个headers
在这里插入图片描述

"""请求网页"""
import requests
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response=requests.get('https://www.baidu.com',headers=headers)
print(response.text)
print(response.request.headers)

成功请求：
在这里插入图片描述

"""请求网页"""
import requests
import re
#re是正则表达式 从不规格的网页里提取有规律的东西
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
#用户代理
response=requests.get('https://www.vmgirls.com',headers=headers)
html=response.text
#print(response.request.headers)

"""解析网页,图片网址"""
urls=re.findall(' <a href=".*?" alt=".*?" title=".*?">',html)
print(urls)

"""保存图片"""
#for url in urls