# 1> 爬虫基本原理
#
# 爬虫:请求网站并提取数据的自动化程序
# 写代码代替浏览器在网页上获取资源(html代码),在资源文本中(大批量的)采集想要的数据信息
#
# 2> 爬虫基本流程
# 1) 发起请求:
# 通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等(配置)信息,等待服务器响应。
# 2) 获取响应内容:
# 如果服务器能正常响应,会得到一个Response,Response的内容就是所要获取的页面内容,类型可能有:
# HTML,Json字符串,二进制数据(如图片视频)等类型。
# 3) 解析内容:
# 得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是Json,可以直接转为Json对象解析,可能
# 是二进制数据,可以做保存或者进一步的处理.
# 4) 保存数据:
# 保存形式多种多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。
#
# 3> Request 和 Response