爬虫
philpy_used
这个作者很懒,什么都没留下…
展开
-
震惊!我用Python分析了天蚕土豆的玄幻三部曲竟然发现...
今天在偶然网络上又看到了这个神梗:恐怖如斯恐怖如斯恐怖如斯恐怖如斯…印象深刻啊…又回到了2015年,我清晰地记得入坑晚的我我中考前一晚追完了《斗破苍穹》,才安心睡觉…但是后来由于多方原因,《武动乾坤》和《大主宰》我都没有从头到尾系统地看,都是零零散散地看一点望一点…所以今天我们就来分析分析当年天蚕土豆的三本霸榜之作:《斗破苍穹》《武动乾坤》《大主宰》不过呢想要分析数据,首先要获取数...原创 2020-04-26 16:18:58 · 1041 阅读 · 3 评论 -
pyquery爬取天蚕土豆经典玄幻三部曲
斗破苍穹:import reimport threadingfrom pyquery import PyQuery as pqheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122...原创 2020-04-25 16:56:51 · 623 阅读 · 0 评论 -
python每天定时爬取微博热搜并保存到本地(表格、数据库)
微博热搜网站:https://s.weibo.com/top/summary/就是这个样子:pyquery提取:保险起见headers里加个UA…from pyquery import PyQuery as pqhtml = pq("https://s.weibo.com/top/summary/", { 'User-Agent': 'M...原创 2020-04-13 08:22:46 · 3229 阅读 · 2 评论 -
pymongo操作MongoDB基础教程
MongoDB是由C++编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容储存形式类似于JSON对象。它的字段值可以包含其他文档、数组及文档数组。MongoDB安装:因为我已经安好了…等我下次安的时候再自己出教程吧????MongoDB启动:NTET start MongoDB连接数据库:import pymongoclient = pymongo.MongoCli...原创 2020-04-12 15:12:01 · 747 阅读 · 0 评论 -
Python selenium自动获取URP教务系统课表并以图片形式保存
之前写过一篇也是爬URP的(Python爬取URP教务系统课程表并保存到excel),不过用的是request+post请求,中间就借用了一下selenium获取验证码链接,所以这次我就写了一个单单用selenium模拟登录爬课表的…首先安装selenium、ChromeDriver(因为我用的Chrome浏览器)、还有图像法识别模块pytessrtact,具体安装之前那篇文章有写。接下来开始...原创 2019-11-28 20:24:12 · 1239 阅读 · 0 评论 -
Python爬取URP教务系统课程表并保存到excel
python爬取URP教务系统课程表并保存到excel爬取URP教务系统课程表最终结果如图所示:接下来开始操作:首先打开教务系统->按F12->点击Network->刷新一下界面->获取headers 如图所示:headers={ 'Accept':'text/html,application/xhtml+xml,application/xml;q=...原创 2019-11-11 09:36:00 · 2637 阅读 · 1 评论