![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
孔丘闻言
这个作者很懒,什么都没留下…
展开
-
服务器环境-selenium无界面浏览器+geckodriver
文章目录应用场景准备一个服务器编程部分应用场景 我们爬取新闻,图片,天气预报等信息可能每天都要爬取新的内容,那么我们把爬虫程序扔到服务器,然后让其每天定时启动,这样就能每天爬取新的内容了,做法如下:准备一个服务器安装selenium pip3 install selenium安装火狐浏览器,apt-get install firefox 如果报错显示 unable to locate package无法定位资源包,那么就需要我们进行更换apt源,哪怕是我们用的阿里云服务器也要进行更换先备份原原创 2020-07-16 10:55:52 · 560 阅读 · 0 评论 -
django-基础练手项目-表白墙-失物招领
文章目录师专云通运行此项目的步骤:git下载地址 学校结课了 这学期学习的内容主要是django,下面放出几组学生做的基于django的项目,供初学django的同学们进行参考,也欢迎大家一起讨论师专云通首页功能表白墙和失物招领部分:这两个功能都必须登录后使用注册登录后进入到主页 默认是表白墙页面然后点击发表,可以进行发布自己的失误招领和表白墙发布后只有自己才能看到,要想在主页上也能显示,必须管理员进行通过。然后我们才能在表白墙看到内容项目功能简单,适合刚学习dja原创 2020-07-13 16:40:10 · 1492 阅读 · 0 评论 -
网易云爬虫-爬取单曲和歌单所有歌曲
网易云爬虫-爬取单曲和歌单所有歌曲 今天断网了 敲代码不听歌的程序员是没有灵魂的,但是本地下载又太繁琐了,想着能不能一下把一个歌单的内容按文件夹进行下载,说做就做.首先网上已经有了网易云js加载encSecKey和params参数的加密过程,分析也是稍微有些繁琐。这里我根据网易云的一个外链进行简单的下载http://music.163.com/song/media/outer/url?i...原创 2020-04-24 19:46:35 · 4053 阅读 · 1 评论 -
爬取所有地区的历史天气
突然来了兴趣,想爬取一下所有市区的历史天气.第一步 首先先得到所有的城市这一步使用xpath进行定位,然后再使用pypin进行转换成拼音,最后拼接到url上面,使用requests发送请求.只需要遍历1-12月份即可得到城市一年的天气预报,然后使用xpath进行数据定位然后对数据进行清理,保存到excel中:最后每一个地区使用一个线程去爬取数据:一下是完整代码:impor...原创 2020-02-21 13:07:29 · 678 阅读 · 0 评论 -
爬取斗鱼房间号信息-计算在线观看总人数
早就对斗鱼等直播平台的观看人数好奇,今天进来爬取以下斗鱼到底有多少人观看,目前是新冠状病毒时期,看直播的人数应该不会太少,也希望各位保护好自己和自己的家人,祝身体健康。话不多说直接上过程:第一步构想 使用xpath获取信息打开谷歌,进入到斗鱼TV的直播页面F12 调处谷歌检查窗口,右击页面查看网页源代码,搜索页面中的关键字,如搜索,脑力直播间(图片没显示全),结果如下:代表是可以通过x...原创 2020-02-20 11:31:47 · 1261 阅读 · 1 评论 -
scrapy分文件夹爬取所有图片
scrapy 分文件夹爬取所有的图片在之前的博客中,我们使用了requests模块爬取了bobopic所有的壁纸图片,但是requests是单进程单线程的, 当我们要爬取的图片量一大就会很慢现在我们使用scrapy 分模块下载图片首先我们需要在items.py中定义自己 需要的字段 ,这里有些东西需要注意首先是里面有一些字段必须这么写,这是在源码里面规定的所以我们需要至少得在items....原创 2019-07-16 17:05:57 · 1177 阅读 · 1 评论 -
scrapy爬取京东所有图书
京东图书 https://book.jd.com/booksort.html####目标: 爬取京东图书下面所有图书的详细信息爬取所有大分类下的所有小分类下的图书信息大分类的名字小分类的名字小分类的链接书的名字书店的名字书的链接书对应图片链接书的价格进行翻页请求代码如下(scrapy):# -*- coding: utf-8 -*-import scrapyf...原创 2019-06-26 23:47:23 · 1354 阅读 · 4 评论 -
scrapy爬取苏宁所有图书
苏宁图书 https://book.suning.com/目标: 爬取苏宁图书下所有书本的系信息爬取每个大分类(文学艺术)下的中间分类(小说)下的每个小分类(中国当代小说)的书本信息,并且进行翻页请求大分类名字中间分类名字小分类名字小分类链接图书标题书店名字书的链接书的价格翻页请求将数据保存到mongodb数据库中代码如下(scrapy):# -*- codin...原创 2019-06-26 23:42:22 · 2074 阅读 · 3 评论 -
scrapy爬取华为商城所有商品信息--科技快人一步
华为商城 https://www.vmall.com/index.html目标:华为商城下的商品信息按主页的左边手机,笔记本&平板,智能穿戴……分类每一个分类下的小分类商品标题商品价格规格参数主要参数主体……商品编码写入excel设置好excel数据表,分析数据代码如下(scrapy):# -*- coding: utf-8 -*-impor...原创 2019-06-26 23:37:25 · 1779 阅读 · 3 评论 -
scrapy_爬取蘑菇街所有市场商品下的服饰---把握逛街得到机会-保护好钱包
蘑菇街 https://www.mogu.com目标:抓取蘑菇街主页目录下的所有主题市场商品按主题市场分类每一个市场推荐标题分类商品图片商品链接,商品价格,商品标题写入excel设置好excel数据表,分析数据代码如下(scrapy):# -*- coding: utf-8 -*-import timefrom pprint import pprintimp...原创 2019-06-26 23:28:16 · 2331 阅读 · 3 评论 -
selenium+xpath爬取唯品会所有口红信息-抓住女人的心
唯品会 https://category.vip.com/suggest.php?keyword=口红&ff=235|12|1|1目标:分析唯品会口红价格按品牌分类抓取内容口红标题口红宣传语口红价格口红图片商品详情写入excel设置好excel数据表,利于筛选数据,得出结论每一个品牌哪个口红最贵代码如下(selenium+xpath+xlwt):fr...原创 2019-06-26 23:23:15 · 1397 阅读 · 5 评论 -
使用requests下载bobopi壁纸图
## 使用requests分文件夹下载图片,并且实现翻页如果该侵犯到了您的利益,请及时联系我 email: zh15270924273@163.com网页链接 Link话不多少直接上代码(因为代码比较简单就没有使用面向对象了)import osimport requestsfrom lxml import etreeurl = "https://bobopic.com/catego...原创 2019-06-26 11:48:44 · 1689 阅读 · 2 评论