weixin_51690360的博客

前言爬虫的动态处理方法（我用较为简单的一些网址举例 比如豆瓣的热门电影）一、动态爬虫动态爬虫与静态爬虫的最大区别就是源代码与网页内容不同，动态爬虫可以通过抓包(就是直接利用浏览器的F12进行network抓包，获取相关对应的文件)二、使用步骤1.先通过网址找到需要的东西截图如下（示例）：按F12进入开发者模式，第二步点击左上角刷新重新加载一下内容，第三步在红框里选取需要的内容，可以通过“预览”来查看是否对应查找正确之后然后在“标头”里找到“请求URL”以及“User-Agent”，把这些找到

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档正则篇前言记录自己的学习经历一、对正则的认识和使用我觉得正则就是可以通过一种匹配的方式来找到自己想要获得的内容二、使用步骤1.引入库代码如下（示例）：import re2.读入数据代码如下（示例）：name=re.compile(r'<span class="title">(.*)</span>')#正则表达式 #compile表示规则，在用findall找 list1=r.