python学习笔记（2）-初识爬虫

什么是爬虫？

数据抓取，从互联网抓取想要的数据、数据爬虫、网络蜘蛛。

web与http

• web指的网站，给用户展现数据的地方
• http指的是网络协议，http&https
• url 统一资源定位符

例如 https://www.baidu.com/s?ie=utf-8&wd=%E5%B0%8F%E5%85%94%E5%AD%90
（1）https 协议
（2）www.baidu.com 域名
（3）www.baidu.com/s host
（4）?ie=utf-8&wd=%E5%B0%8F%E5%85%94%E5%AD%90 参数

爬虫的基本步骤

1. 明确需求
2. 根据需求，寻找对应的web网址（url)
3. 用python程序模拟浏览器去访问对应的网址（url)，需要用到python的第三方请求库（request）
4. 获取服务器返回的源代码（html、json、xml)
5. 根据返回的源代码提取需要的数据（RE正则、xpath等）
6. 把数据整理存储