本文章是对python在爬取网页源代码的过程中所需工作进行阐述,不涉及爬取到网页后如何解析数据的过程
一,python所需模块:
网站的请求目前通用的为requests库(模块)。
requests库(模块):
pip install requests
二、网页地址
建议使用chorme浏览器,在浏览器中输入所要获取数据网页地址,例如:本篇文章地址:
Python爬虫初学————进行数据处理前的准备工作-CSDN博客
通过查看页面源代码发现,本文内容全部都在页面源代码里,因此只需下载本文网络的页面源代码即可(千万注意,是页面源代码里,而不是右键检查出现的Elements)
鼠标点击右键,点击检查,然后选择network(如果没有显示network,点击Sources右侧箭头即可)
其中,url是网址,params是要访问的事物,headers是请求头(一个在你要访问的网站里很轻松就能找到的东西,具体方法可上网查询)。
import requests
kw={'wd':'中国'}#代表你要在百度中搜索的内容。
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'}
reponse=requests.get("https://www.baidu.com/",params=kw,headers=headers) #get函数能够自动将汉字“中国”编码
这里要注意,params和headers都是字典的形式。通过上面的这段代码,可以访问到"百度->中国"页面。不过此时需要通过另外一些python函数才能看到访问到之后的效果。请在上面的代码的基础上再添加下面的代码:
print(reponse.url)
#print(reponse.text)
#print(reponse.content)
其中一般而言,print(reponse.text)和print(reponse.content)打印出来的效果是一样的。但是response.text 与response.content存在一些区别:
response.text
类型:str
解码类型:根据HTTP头部对响应的编码做出有根据的推测,推测的文本编码
修改编码方式:response.encoding=”xxx”
response.content
类型:bytes
解码类型:没有指定
如何修改编码方式:response.content.decode(“xxx”)
如果编码方式与网站本身的编码方式不同的话,很有可能会出现乱码。而想要获得正确的编码方式也很简单,只要查看网站的源代码可以找到,例如本页面:
这个utf-8就是编码格式,就在源代码的head标签里面。
urllib-request(模块):
在使用urllib模块过程中
假如我们要用百度访问刘德华。先看下面代码
from urllib import request
from urllib import parse
params={'wd':'刘德华'}
result=parse.urlencode(params)#将“刘德华”从汉字的编码形式转换成二进制编码形式。
url='http://baidu.com/s'+'?'+result
print(url)
如果看不懂有什么用的话,看看下面的图片中标记的部分中,你第一个打印出来的东西中“刘德华”是不是变成了一堆二进制编码
而如果直接用 url="http://www.baidu.com/s?wd=刘德华"的话是不能够进行网址的访问请求的。(之前提及的params的功能就是体现于此)
至于输出,将下面两行代码添加到上面的代码下面,
response=request.urlopen(url)
print(response.read())
注意,需要使用response.read()。
同时,urllib中有两个函数可以解析url的组成部分。
from urllib import request
from urllib import parse
params={'wd':'刘德华'}
result=parse.urlencode(params)
url='http://baidu.com/s'+'?'+result
print(parse.urlparse(url))
print(parse.urlsplit(url))
二者打印结果有些微差别,不过对我们这些初学者而言,可以忽视。