PYTHON爬虫学习笔记-第一章

PYTHON爬虫学习-1：爬虫概念、工具和HTTP

1.什么是爬虫

      爬虫就是模拟客户端（浏览器）发送网络请求，获取响应，按照规则提取数据的程序

• 模拟客户端（浏览器）发送网络请求：照着浏览器发送一模一样的请求，获取和浏览器一模一样的数据

2.爬虫数据的作用

（1）呈现：展示在网页 or app 上
（2）进行数据分析：从数据中寻找一些规律

3.前期准备

（1）需要具备一定python的基础知识

• 可以在黑马程序员视频库（http://yun.itheima.com/course）观看相关基础视频
• 需要掌握：
  • 基础语法（字符串、列表、字典、判断、循环）
  • 函数（函数的创建和调用）
  • 面向对象（如何创建和使用一个类）

（2）需要下载的软件

• python3（https://www.python.org/downloads/）
• pycharm（https://www.jetbrains.com/pycharm/）
  

4.浏览器的请求

• url地址
  • url地址形式：请求的协议 + 网站的域名 + 资源的路径 + 参数（包含？=&）
  • 浏览器请求的url地址：当前url对应的响应 + js + css + 图片 —> elements中的内容
  • 爬虫请求的url地址：当前url对应的响应

*elements的内容和爬虫获取到的url地址的响应不同，爬虫中需要以当前url地址对应的响应为准提取数据