新手爬取网页数据简单用法

目录

引用

导包

网址和获取参数

打印地址

---

引用

以'https://search.douban.com/music/subject_searchsearch_text=%E8%80%B6%E8%B7%AF%E6%92%92%E5%86%B7&cat=1003'为例：
这种就是URL的查询参数。前面是网址，?后面的二值性数据，就是查询参数。

URL的查询字符串(query string)传递某种数据。如果你是手工构建URL，也就是通过拼接字符串构造的URL。那么数据会以键/值对的形式置于URL中，跟在一个问号的后面。

而params关键字，就是requests允许使用这个关键字，譬如；
'import request
params = {'q' : '风景' , 'src' : 'srp'}
response = requests.get("https: //image.so.com/i"，params=params)'

导包

使用python爬取数据，其第一步务必导包:'import requests'

该行代码置于首行使用随后在想要爬取的网址使用开发者工具获取请求头，如：“header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.76'}”该头普遍通用，随后设置爬取网址，拼接搜索，地址打印等。

网址和获取参数

如：“https://search.douban.com/music/subject_search?search_text=耶路撒冷&cat=1003”

”https://search.douban.com/music/“就是我们要爬取的网址，因此使用movie_url代码来确认地址；

而subject_search?就是我们的拼接语句，在上一行确认地址后抬行键入；

打印地址

确认好地址和拼接语句后，并非可以直接运行，需要重新写入爬取网址和拼接语句的链接，即url = movie_url + seach；

以上三步完成后代码如下
movie_url='https://search.douban.com/music/'
seach = 'subject_search?'
url = movie_url + seach
完成以上即可设置搜索文本data = {'search_text':'...', 'cat':'...'}；”...“分别对印搜索条件和cat数；

最后只需设置请求方式请求头，印记传递参数并打印请求地址即可。