学习笔记(Python爬虫)——网页参数传递

一.爬虫的介绍

1.爬虫：

通过编写程序模拟浏览器上网，让其去互联网上抓取数据的过程。

（将互联网比作一张蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只蜘蛛沿着蜘蛛网抓取自己想要的‘猎物’）

2.爬虫的作用：

爬虫一般用于数据采集、软件测试、网络安全、网页漏洞扫描、抢票等。

二.爬虫的分类

1.通用爬虫：

通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 简单来讲就是尽可能的，把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。

2.聚焦爬虫：

聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如：获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。

3.增量式爬虫：

增量式是用来检测网站数据更新的情况，且可以将网站更新的数据进行爬取。

三.爬虫的基本步骤

1.发起请求

发起一个带有header、请求参数等信息的Request，等待服务器响应。

2.获取响应的内容

服务器正常响应后，Response的内容即包含所有页面内容（可以是HTML、JSON字符串、二进制数据（图片、视频）等等）。

3.解析内容

得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析；可能是Json字符串,可以直接转换为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。

4.保存数据

存储形式多样，可以存为文本，也可以存储到数据库，或者存为特定格式的文件。

四.网页参数传递

（以豆瓣电影网为例）

1.pip安装

（pip install requests）

使用pip安装requests库（requests库是用Python语言编写，用于访问网络资源的第三方库，它基于urllib，但比urllib更加简单、方便和人性化。通过requests库可以帮助实现自动爬取HTML网页页面以及模拟人类访问服务器自动提交网络请求。）

2.导入requests包

（import requests）
用于发起请求。请求的发起是使用 http 库向目标站点发起请求，即发送一个Request。Request 对象是从客户端向服务器发出请求，包括用户提交的信息以及客户端的一些信息。客户端可通过 HTML 表单或在网页地址后面提供参数的方法提交数据。Request对象的作用是与客户端交互，收集客户端的 Form、Cookies、超链接，或者收集服务器端的环境变量。

3.添加请求头

（header={"User-Agent":“xxx"}）

请求头： User-agent：请求头中如果没有 user-agent 客户端配置，服务端可能将你当做一个非法用户，一般做爬虫都会加上请求头。它告诉服务器，我的设备/浏览器是什么？我从哪个页面而来。

ps:如果f12进入开发者工具没有找到数据，可以ctrl+R进行刷新。

4.添加该网页网址

(movie_url = 'https://www.douban.com/')

请求访问的url地址。url全称统一资源定位符，一个网页文档、一张图片、 一个视频等都可以用url唯一来确定。

5.拼接搜索功能

(url=movie_url+'search?')

URL的查询字符串(query string)传递某种数据。如果你是手工构建URL，也就是通过拼接字符串构造的URL。那么数据会以键/值对的形式置于URL中，跟在一个问号的后面。

6.定义需要传递的参数

(data={'q':'奥本海默'})

进行搜索的话一般就是需要搜索的关键词

注意有时候关键字的代码不一定是"q"，也有可能是其他的。

7.设置请求方式和请求头，以及传递参数

(response=requests.get(url,headers=header,params=data))

请求响应，获取内容。requests模块发送请求时，有两种携带参数的方法，params 和data。
其中，params在get请求中使用，data在post请求中使用。

params参数作用

对url地址中的查询参数进行编码拼接。
手动构建url地址时，数据会以键值对的形式置于url中，跟在"?"的后面，它可以让我们带着参数来请求数据：我想要第几页？我想要搜索的关键词？我想要多少个数据？等等。

8.打印请求地址

（print(response.url)）

源代码

import requests
header={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.81"}
movie_url = 'https://www.douban.com/'
url=movie_url+'search?'
data={'q':'奥本海默'}
response=requests.get(url,headers=header,params=data)
print(response.url)

参考的原文链接：

http://t.csdn.cn/qILsX

http://t.csdn.cn/u8zRJ

http://t.csdn.cn/4bPSo