pyswt的博客

首先安装chrome浏览器，首先可以先建一个文件加用来存放chrome和chrome driver文件。比如我的就在/usr/local/chromewget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm --no-check-certificate这个命令是安装最新的版本的chrome浏...

import jsonfrom urllib.parse import quotefrom selenium.common.exceptions import TimeoutExceptionfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.su...

这个爬虫的初衷是源于公司的一个项目，公司在建设舆情分析系统，所以需要大量的数据，当然微博这个较大的交际圈有大量的信息，所以老大让我爬微博，但是又给我给了个需求，要自定义爬虫，用户输入一个关键字，爬取和这个关键字有关的全部内容，像这个样子：在搜索框内输入咸猪手，把所有的咸猪手全部揪出来，嘻嘻，我纳闷了半天，就想到用selenium爬取，结果还是很好的啦~，看代码：import timeimp...

首先呢，得会用Fiddler这个工具，他下载比较容易，网上一找一大堆，下载完之后呢要对他进行一些设置，我抓取的是pc端的微信文章，这里有详细的配置说明(https://blog.csdn.net/Tester_xjp/article/details/80087014)，配置完成之后，可以打开浏览器随便查询一下，看有没有流量包，如果有，则说明配置成功。下面就让我们进行微信公众好的爬虫吧，流量包很多的...

这个项目我爬的是19楼中我要爆料模块，具体代码如下：import requestsimport reimport timeimport randomimport threadingimport pymysqlfrom lxml import etreefrom bs4 import BeautifulSoupdef lou_spider(key=None): url_s...

近期接到一个任务，爬取珍爱网上的用户信息，这个对单身的我来说瞬间提起了兴趣，这有可能是我脱单的开始，哼哼，不装逼了，先来看看怎么帮我脱单，嘻嘻嘻import requestsimport timeimport refrom lxml import etreefrom selenium import webdriverfrom selenium.webdriver.common.by i...