Python爬虫初学————进行数据处理前的准备工作

本文章是对python在爬取网页源代码的过程中所需工作进行阐述，不涉及爬取到网页后如何解析数据的过程

 一，python所需模块：

 网站的请求目前通用的为requests库（模块）。

requests库（模块）：

 pip install requests

二、网页地址

建议使用chorme浏览器，在浏览器中输入所要获取数据网页地址，例如：本篇文章地址：

Python爬虫初学————进行数据处理前的准备工作-CSDN博客

通过查看页面源代码发现，本文内容全部都在页面源代码里，因此只需下载本文网络的页面源代码即可（千万注意，是页面源代码里，而不是右键检查出现的Elements）

鼠标点击右键，点击检查，然后选择network(如果没有显示network,点击Sources右侧箭头即可)

        其中，url是网址，params是要访问的事物，headers是请求头（一个在你要访问的网站里很轻松就能找到的东西，具体方法可上网查询）。

import requests
kw={'wd':'中国'}#代表你要在百度中搜索的内容。
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'}
reponse=requests.get("https://www.baidu.com/",params=kw,headers=headers)   #get函数能够自动将汉字“中国”编码

       这里要注意，params和headers都是字典的形式。通过上面的这段代码，可以访问到"百度->中国"页面。不过此时需要通过另外一些python函数才能看到访问到之后的效果。请在上面的代码的基础上再添加下面的代码：

print(reponse.url)
#print(reponse.text)
#print(reponse.content)

        其中一般而言，print(reponse.text)和print(reponse.content)打印出来的效果是一样的。但是response.text 与response.content存在一些区别：

response.text 
类型：str 
解码类型：根据HTTP头部对响应的编码做出有根据的推测，推测的文本编码 
修改编码方式：response.encoding=”xxx”

response.content 
类型：bytes 
解码类型：没有指定 
如何修改编码方式：response.content.decode(“xxx”)

如果编码方式与网站本身的编码方式不同的话，很有可能会出现乱码。而想要获得正确的编码方式也很简单，只要查看网站的源代码可以找到，例如本页面：

这个utf-8就是编码格式，就在源代码的head标签里面。

urllib-request(模块）：

在使用urllib模块过程中

假如我们要用百度访问刘德华。先看下面代码

from urllib import request
from urllib import parse
params={'wd':'刘德华'}
result=parse.urlencode(params)#将“刘德华”从汉字的编码形式转换成二进制编码形式。
url='http://baidu.com/s'+'?'+result
print(url)

如果看不懂有什么用的话，看看下面的图片中标记的部分中，你第一个打印出来的东西中“刘德华”是不是变成了一堆二进制编码

而如果直接用 url="http://www.baidu.com/s?wd=刘德华"的话是不能够进行网址的访问请求的。（之前提及的params的功能就是体现于此）

至于输出，将下面两行代码添加到上面的代码下面，

response=request.urlopen(url)
print(response.read())

注意，需要使用response.read()。

同时，urllib中有两个函数可以解析url的组成部分。

from urllib import request
from urllib import parse
params={'wd':'刘德华'}
result=parse.urlencode(params)
url='http://baidu.com/s'+'?'+result
print(parse.urlparse(url))
print(parse.urlsplit(url))

二者打印结果有些微差别，不过对我们这些初学者而言，可以忽视。