python网络爬虫笔记01：基础知识与简单案例

目录

1. 网页的两种渲染方式

2 HTTP协议

2.1 请求头

2.2 响应头

3 包的安装与搜狗爬虫实验

4 百度翻译爬虫实验

5 豆瓣爬虫实验

---

1. 网页的两种渲染方式

1 服务器端渲染：在服务器端直接将数据和html整合在一起，统一返回给浏览器；此时，我们在页面源代码中可以看到网页的完整内容。 

2 客户端渲染：第一次请求浏览器端仅仅是返回一个html的骨架；第二次请求拿到数据，进行展示。此时，我们在网页源代码中是看不到数据的，需要借助抓包工具，找到数据请求的链接。

通用爬虫与聚焦爬虫：

• 通用爬虫：满足一般的爬虫需求，如百度；但是对视频和图片的爬取能力较弱
• 聚焦爬虫：针对具体的应用目的，尽量排除与需求无关的信息