爬虫入门篇

一、爬虫

就是将网站上的内容下载下来，在需要下载大量网站内容的时候可以起到提高效率的作用。

二、入门示例

2.1 前期准备

软件准备：

• Python 下载链接
  • 国外服务器所以有点慢
  • 版本不要太高，3.7相对稳定
• VsCode 下载链接

2.2 访问网站

目标：通过程序成功访问到网站
准备：a. 网站的域名
    b. requests库

import requests

data = requests.get("http://www.baidu.com")
print(data.content.decode('utf-8'))

上面有了网站的域名就可以直接访问，但是如果其他的网站就并非就这么的顺利，例如这一个网站，说明该网站访问的时候需要更多的请求指令，最常见的就是User-Agent。

https://movie.douban.com/subject/35183042/comments?start=20&limit=20&status=P&sort=new_score

需要将上面的程序修改为下面的形式：

import requests
#获取一页的豆瓣评论
get_headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
get_url = 'https://movie.douban.com/subject/35183042/comments?start=20&limit=20&status=P&sort=new_score'
pinglun_data = requests.get(get_url,headers=get_headers)
# print(pinglun_data.text)
print(pinglun_data.content.decode('utf-8'))
print(pinglun_data.status_code)#状态码

其中的User-Agent需要在浏览器中查找。
具体方法为

1. 在浏览器中访问该网站

2. 右击检查
   

3. 找到网络，按着图中选择，找不到的画就刷新一下界面
   

4. 拉到最下面就可以看到User-Agent