爬虫
爱吃肉真是太好了呀
这个作者很懒,什么都没留下…
展开
-
Windows下开启rabbitMQ的图形界面
打开RabbitMQ的安装路径的sbin目录我的安装路径是:D:\rabbitMQ\rabbitmq_server-3.9.11\sbin键入cmd,打开命令窗口执行安装命令rabbitmq-plugins.bat enable rabbitmq_management浏览器输入http://127.0.0.1:15672/用户名和密码都是guest...原创 2021-12-22 22:29:51 · 89446 阅读 · 0 评论 -
Windows下RabbitMQ安装以及启动发生系统错误 1067。进程意外终止解决办法
Windows下RabbitMQ的安装以及出现1067报错的解决办法原创 2021-12-22 01:04:52 · 9919 阅读 · 0 评论 -
两种方式查看网站是否使用http/2协议
两种方式查看网站使用的是否是http2协议原创 2021-12-20 18:54:29 · 14408 阅读 · 0 评论 -
记一次scrapy无法下载图片,提示 [scrapy.middleware] WARNING:XXXX ImagesPipeline requires
今天在测试scrapy爬取糗事百科的图片,检查了几遍代码啥的都没问题,但是一直无法进行图片下载,后面查看打印的信息,发现提示:[scrapy.middleware] WARNING: Disabled QiubaiPicPipeline: ImagesPipeline requires installing Pillow 4.0.0 or later原来scrapy的图片保存、设置图片属性等需要几个模块,重新安装后成功pip install pillowpip install image...原创 2021-11-20 21:46:58 · 1047 阅读 · 0 评论 -
百度文字识别OCR识别图片文字内容
AI接入参考官方文档:AI接入指南参考:网络图片文字识别申请参考:鉴权认证机制,用于获取access token网络文字识别示例代码下面是官方给的示例代码,从代码中我们可以看出,只要获取到access_token就可以进行API调用,进行本地图片的识别了。# encoding:utf-8import requestsimport base64request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/webimage"# 二进制方原创 2021-07-22 19:17:56 · 438 阅读 · 0 评论 -
selenium+requests获取52PK英雄联盟各英雄皮肤
简介目标站点:https://lol.52pk.com/pifu/hero/hero_1.shtml实现方式:selenium进行图片信息获取并翻页,requests请求图片的url并保存图片到本地Python实现运行程序前,请先确认已经安装了requests、selenium第三方模块,并下载了Chrome浏览器对应的Webdriver# coding=utf-8from selenium import webdriverfrom selenium.webdriver.support i原创 2021-07-20 19:13:04 · 134 阅读 · 0 评论 -
Python3 selenium获取起点收藏榜单Top100并解析字体加密
1、爬虫简介使用selenium模块获取起点中文网VIP作品被加入书架数量的作品排行,并打印相关的排行信息。2、站点分析需要爬取的内容VIP收藏榜共5页,每一页展示的有20条排名数据,爬取完每一页的数据之后,自动点击下一页爬取,我们需要获取的内容有:排名书名作者收藏3、代码实现# coding=utf-8from selenium import webdriverimport timefrom selenium.webdriver.support import expec原创 2021-07-18 12:26:08 · 920 阅读 · 3 评论 -
MongoDB+selenium+requests实现mp3音频去重爬取
1. 借助浏览器快速定位元素关于网页元素的定位方法有很多,css、xpath…网上一搜一大堆,我就不赘述了。浏览器都自带了调试工具,以Chrome为例,我们打开一个网页,右击网页–》检查,或者使用快捷键F12打开。调整浏览器调试窗口位置打开调试模式后,点击如图所示的位置,按照自己的喜好设置调试窗口位置开启查找元素定位点击Elements,然后使用ctrf+f,即可弹出一个输入框。我们可以在这里面输入字符串,使用selector,xpath语法xpath示例一如下图所示:定原创 2020-07-26 18:47:04 · 394 阅读 · 0 评论 -
requests流数据分块下载方式并设置进度条显示
下载方式一通常情况下我们下流数据文件,比如视频、图片…使用的普遍是下面这段代码(我自己就是)。方式一# coding=utf-8import requestsurl = "http://127.0.0.1:5001/video"res = requests.get(url)with open('电影下载.mp4', 'wb') as f: f.write(res.content)上面这种方式下载的缺点是什么呢?我们来看个例子:我们下载个1.4G的电影视频,电影大小如图:查原创 2020-07-25 23:20:43 · 1873 阅读 · 0 评论 -
requests+selenium+pyquery+threading实现LOL所有装备图片爬取保存
注意:chrome的chromedriver.exe文件需要和代码放在同一路径下,有了chromedriver才能使用selenium驱动浏览器,根据浏览器版本,在http://npm.taobao.org/mirrors/chromedriver/下载chromedriver本环境为python3.5版本之后,需要安装好pyquery、selenium、requests模块pip install pyquerypip install requestspip install selenium原创 2020-07-04 19:16:06 · 271 阅读 · 0 评论