python期末项目(部分爬虫）

一.爬取部分的代码：

1.首先模拟浏览器，通过查看Host,Upgrade-Insecure-Requests,User-Agent补充head部分，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。

2.设置getfront，getInformation函数爬取网页源代码。page为页数，item为搜索时输入的字符串，通过urllib.parse.quote(item)将字符串转成十六进制编码，ur2为爬取网页信息的部分网址，ur1为网址中随页数与输入的字符串不同而产生变化的部分，res为拼接出的网址。读取源代码并解码，将源代码中的\\,[,]全部替换为空。

3.通过正则表达式，从文本字符串中获取我们想要的特定部分（"过滤"），findall 以列表形式返回全部能匹配的子串，