![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 70
风韵--伟
我热爱就计算机,热爱这门专业,目前主要学习Php,还有Go,python,Python爬虫,Django,Java,MySQL等这些语言
展开
-
python爬虫、爬取百度图片保存到本地
python爬虫,爬取百度图片1、首先安装requests库然后,上代码import requestsimport renum = 0numPicture = 0file = ''List = []def dowmloadPicture(html, keyword): global num # t =0 pic_url = re.findall('"objURL":"(.*?)",', html, re.S) # 先利用正则表达式找到图片url pr原创 2020-11-20 16:35:56 · 2464 阅读 · 9 评论 -
python 报错 requests.exceptions.TooManyRedirects: Exceeded 30 redirects.
python 报错 requests.exceptions.TooManyRedirects: Exceeded 30 redirects.当python requests报错:requests.exceptions.TooManyRedirects: Exceeded 30 redirects.可以 request请求时添加allow_redirects=False默认时allow_redirects=Trueresp = requests.get(url=url, headers=headers原创 2020-11-20 14:59:10 · 1036 阅读 · 1 评论 -
爬取3499手游网下载地址信息
爬取3499手游网下载地址信息爬取游戏的下载地址和信息,爬取的信息存入到数据库中。1、首先需要安装第三方库requests,lxml,MySQLdb2、先创建down_software数据库,创建youxi表create table down_software.youxi( id int auto_increment primary key, yx_title varchar(255) null,原创 2020-11-19 15:00:40 · 494 阅读 · 2 评论 -
Python爬取图片
Python爬取妹子图片今天我写的一个小爬虫是爬取妹子的图片,想必大家都喜欢,这个都懂。。。利用python爬虫爬取图片,首先要进行安装python,在(https://www.python.org/)进行下载python安装安装python之后,在进行安装第三方库,requests,bs4,lxml这三个库。。。在cmd中进行安装pip install requests,输入后回车...原创 2020-12-10 09:15:21 · 7897 阅读 · 5 评论 -
爬取笔趣阁小说,并可以搜索爬取你喜欢的小说
搜索进行爬取你自己喜欢的小说 我是一个小说爱好者,喜欢看小说,这也是我学习爬虫其中的一个原因。我喜欢看网络小说,经常需要从网上下载小说。有的还不好找,有的下载不了,如果是正在更新的小说来说,就很难下载到txt或者其他格式的小说。我就是不想花太多时间找冷门小说的下载资源,因此稍微学习了python的爬虫知识。 &n...原创 2019-01-09 23:30:37 · 2047 阅读 · 0 评论 -
使用scrapy框架爬取斗鱼图片
使用scrapy框架爬取斗鱼图片首先我们先认识一下框架scrapy—Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫...原创 2019-08-02 10:11:48 · 496 阅读 · 2 评论