weixin_39107270的博客

目标网站：https://tianqi.2345.com/china.htm。

请求网站并提取数据的自动化程序.* 请求方式的类别HTTP/1.01. GET：偏向于获取的方式大部分都是给后端一些参数，用来获取些列数据2. POST：偏向于给服务器一些数据大部分都是登录，给服务器一些信息，你给我一个简单的结果3. PUT：偏向于给服务器一些信息，但是是添加使用大部分做注册， 给服务器一些信息，你把这个信息存起来4. HEAD：用来获取服务器头信息HTTP/1.15. DELETE：偏向于删除大部分是删除评论，删除微博6. CONNECT：管道连接改变代理连接使

检查，点击最右边带箭头的

ajax: 某些王爷通过鼠标下滑能加载出更多的内容首先通过分析html 是否有内容是由ajax加载（如果有，切换到XHR过滤选项卡）import requestsfrom urllib.parse import urlencodeimport jsondef get_page(offset): params={ 'app_name':'web_search', 'offset':offset, 'format':'json',

数据存储主要介绍文本存储：txt、Json、CSV;关系型数据库存储和非关系型数据存储文件存储文件存储： txt、Json、CSV基本实例目标： 保存知乎上 “发现”页的“热门话题”部分。首先用 requests 将网页源码获取下来，然后使用 lxml 解析库解析，将提取下来的标题保存到本地：import requestsfrom pyquery import PyQuery as pqimport jsonfrom lxml import etreeurl="https://ww