sy0527sy的博客

方法

聚焦爬虫：爬取页面中指定的页面内容- 编码流程-指定url-发起请求-获取响应数据-数据解析-持久化存储数据解析分类-正则-bs4-xpath 学习重点数据解析原理概述：- 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储- 进行指定标签的定位- 标签或者标签对应的属性中存储的数据值进行提取（解析）**1.使用正则进行数据解析** ex='.*?2.bs4进行数据解析——数据解析的原理——1.标签定位——2.提取标签、标签属性中存储的数据值-b

requests基础模块学习request模块的编码流程–指定url–发起请求–获取响应数据–持久化存储实战巩固：–需求：爬取搜狗指定词条对应的搜索结果页面–UA检测–UA伪装–需求：破解百度翻译– post请求（携带了参数）–响应数据是一组json数据–需求：爬取豆瓣电影分类排行榜–作业：爬取肯德基餐厅查询–需求：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据http://scxk.nmpa.gov.cn:81/xk/–动态加载数据–首页中对应

1.robots.txt 被称为君子协议 :规定了网站中哪些数据可以爬取哪些数据不能被爬取，例如：百度的robots.txt2.http协议：服务器和客户端进行数据交互的一种形式2.1. 常用的请求头信息：-user-agent：请求载体的身份标识-connection：请求完毕后断开连接还是保持连接2.2. 常用的响应头信息：-content-type:服务器响应客户端的数据类型...