![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python爬虫
Python654
这个作者很懒,什么都没留下…
展开
-
如何利用Python爬虫获取网络小说
前言:随着网络的时代的发展,人们很少去安静的去看一本书。而是选择看网络小说,可是网络小说有些要钱才能看。无限小说网:https://www.555x.org/里边的内容是完全免费的,提供了各种种类的小说。满足用户的需要。可一页一页看小说太麻烦,直接下载多方便。今天教大家爬取无限小说网,把小说的下载链接通过网络请求直接下载。一、项目目的获取对应小说的下载链接,点击下载链接网址,下载对应的txt文件。二、项目准备软件:PyCharm需要的库:requests、lxm原创 2020-06-28 10:09:20 · 56962 阅读 · 0 评论 -
教你一招用Python打造一款批量下载视频并能可视化显示下载进度的下载器(小本本记下来)
前言:平时宅在家的我们最爱做的事莫过于追剧了,但是有时候了,网络原因,可能会让你无网可上。这个时候那些好看的电视剧和电影自然是无法观看了,本期我们要讲的就是怎样下载这些视频。一、项目目的通过Python程序对所感兴趣的视频进行批量下载。正好小编近期看到一些不错的视频,因为想往安卓方向走,但又苦于重新学习太复杂,有没有简单点的,之前好像有什么e4a但是要学易语言就放弃了,于是乎在茫茫网络发现了一个小众的编程语言---裕语言。好家伙,不说了,赶紧下载,盘它。二、效果展示1、采用sublime原创 2020-06-23 15:39:30 · 664 阅读 · 0 评论 -
为哄女朋友开心,我用Python把各大菜谱信息都给抓取出来了(看看我是怎么做到的)
前言:在放假时 ,经常想尝试一下自己做饭,下厨房这个网址是个不错的选择。下厨房是必选的网址之一,主要提供各种美食做法以及烹饪技巧,包含种类很多。今天教大家去爬取下厨房的菜谱 ,保存在world文档,方便日后制作自己的小菜谱。一、项目目的获取菜谱,并批量把菜 名、 原 料 、下 载 链 接 、下载保存在world文档。二、项目准备软件:PyCharm需要的库:requests、lxml、fake_useragent、time网站如下:https://www.xiachuf原创 2020-06-17 11:48:28 · 383 阅读 · 0 评论 -
教你一招不用Python以及客户端也能轻松下载音乐视频(收藏篇)
前言今天要跟大家分享一些非常实用的技巧,不涉及到代码。当然你若是想把这些实现的步骤简化的话,用代码当然是最好的了。今天的目的很简单,就是在不用安装客户端的情况下把酷我音乐里的音乐下载下来。一、涉及的工具1、360浏览器、谷歌浏览器等。二、方法一1、打开浏览器,并输入酷我音乐,来到酷我听歌页面。2、输入我平时最喜欢听的歌 just like this ,得到如下图。3、我们都知道,当我们在网上听歌的时候,想要把它保存下来的话了,他会弹出个对话框,诸如下图这样。很显然原创 2020-06-15 16:50:11 · 482 阅读 · 0 评论 -
三分钟教会你利用Python爬虫实现豆瓣电影采集(实战篇)
一、项目背景豆瓣电影提供最新的电影介绍及评论包括上映影片的影讯查询及购票服务。可以记录想看、在看和看过的电影电视剧 、顺便打分、写影评。极大地方便了人们的生活。今天小编以电视剧(美剧)为例,批量爬取对应的电影,写入csv文档 。用户可以通过评分,更好的选择自己想要的电影。二、项目目的获取对应的电影名称,评分,详情链接,下载 电影的图片,保存文档。三、涉及的库和网站1、网址如下:https://movie.douban.com/j/search_subjects?type=tv&原创 2020-06-13 15:36:35 · 4921 阅读 · 1 评论 -
Python学会这一招让你穷游全世界(驴友必备)
前言:穷游,是一种时尚的旅游方式。在自由旅行的同时,最大限度地省钱,花最少的钱享受最大的快乐。不是为穷而穷,而是一种不同以往的行走方式。和“有钱”“没钱”无关,只是想要用最经济的方式去“穷”尽天下美景。今天小编就给大家分享一下如何利用Python网络爬虫获取属于你的穷游攻略秘籍~~~一、项目背景穷游网提供原创实用的出境游旅行指南、攻略,旅行社区和问答交流平台,以及智能的旅行规划解决方案,同时提供签证、保险、机票、酒店预订、租车等在线增值服务。穷游“鼓励和帮助中国旅行者以自己的视角和方式体验世原创 2020-06-09 11:51:27 · 470 阅读 · 2 评论 -
想学爬虫的同学看过来,手把手教你利用Python网络爬虫获取APP推广信息
一、前言CPA之家app推广平台是国内很大的推广平台。该网址的数据信息高达数万条,爬取该网址的信息进行数据的分析。二、项目目的实现将获取到的QQ,导入excel模板,并生成独立的excel文档。三、项目分析——反爬措施处理前期测试时发现,该网站反爬虫处理措施很多,测试到有以下几个:1. 直接使用requests库,在不设置任何header的情况下,网站直接不返回数据。2. 同一个ip连续访问40多次,直接封掉ip,起初我的ip就是这样被封掉的。为了解决这两个问题,最后经过原创 2020-06-08 10:17:06 · 687 阅读 · 0 评论 -
自学三个月的我,利用Python爬虫获取精美素材图片,看看我是怎么做到的(实战篇)
一、项目背景在素材网想找到合适图片需要一页一页往下翻,现在学会python就可以用程序把所有图片保存下来,慢慢挑选合适的图片。二、项目目标1、根据给定的网址获取网页源代码。2、利用正则表达式把源代码中的图片地址过滤出来。3、过滤出来的图片地址下载素材图片。三、涉及的库和网站1、网址如下:https://www.51miz.com/2、涉及的库:requests、lxml四、项目分析首先需要解决如何对下一页的网址进行请求的问题。可以点击下一页的按钮,观察到网站的变原创 2020-06-05 11:04:12 · 913 阅读 · 0 评论 -
IT宅男利用Python网络爬虫获取Mikan动漫资源(属于宅男的快乐)
一、项目背景[蜜柑计划 - Mikan Project] :新一代的动漫下载站。是一个专门为喜欢动漫的小伙伴们打造的动漫视频在线播放网站,为大家第一时间分享最新动漫资源,每日精选最优质的动漫推荐。二、项目目标实现获取动漫种子链接,并下载保存在文档。三、涉及的库和网站1、网址如下:https://mikanani.me/Home/Classic/{}2、涉及的库:requests、lxml、fake_useragent3、软件:PyCharm四、项目分析首先需要解原创 2020-06-02 17:10:18 · 5984 阅读 · 0 评论 -
一招教你利用Python网络爬虫获取链家网的房产信息(干货)
前言:随着人们生活方式的的提高,房子成为了我们必不可少的一部分。而网上的信息太过于复杂,为了了解最近房价的变化趋势。小编以链家这个网站为例,抓取房价的信息。一、项目目标实现将获取到的房子的名字、价格、房子的关注度,导入Word模板,并生成独立的Word文档。二、涉及的库和网站先列出网址,如下所示。网址:https://bj.lianjia.com/ershoufang/pg1/("bj"北京的缩写)库:requests、time 、lxml三、具体分析如何对下.原创 2020-06-01 18:09:49 · 2289 阅读 · 0 评论 -
这些小技能都不知道还敢说学过Python?
Python是一种全栈的开发语言,几乎在任何领域都能派上用场。你如果能学好Python,前端,后端,测试,大数据分析,爬虫等这些工作你都能胜任。夸张一点说,几乎是所有的东西Python它都能做。小咖今天想给大家分享一些关于Python非常有趣的小技能~ONE:把图片转成字符图1.先读入图片,将其转化为灰度图片;2.再逐行扫描像素点,转化为对应的字符。TWO:画爱心表白1.图形都是由一系列的点(X,Y)构成的曲线,由于X,Y满足一定的关系,所以我们就可以建立模型;2原创 2020-05-25 18:03:04 · 271 阅读 · 0 评论 -
Python中匿名函数及递归思想简析(小本本记下来)
前言:上次咱们基本说了一下函数的定义及简单使用,想要了解的伙伴可以去看看。Python中最基本的函数及其常用用法简析(新手必备)小本本记起来现在咱们整点进阶一些的。同样都是小白,咱也不知道实际需要不,但是对于函数的执行顺序以及装饰器的理解还是很有必要的,首先咱们先简单复习一下。函数的定义:def 函数名字(参数): 具体的函数语句块 return [需要返回的数据]函数的执行:# 函数只有被调用的时候才执行,函数可以执行多次函数名称()局部与全局变量:不同的函数原创 2020-05-21 16:54:10 · 292 阅读 · 0 评论 -
IT宅男利用Python网络爬虫获取有道翻译手机版翻译接口
【一、项目背景】有道翻译作为国内最大的翻译软件之一,用户量巨大。在学习时遇到不会的英语词汇,会第一时间找翻译,有道翻译就是首选。今天教大家如何去获取有道翻译手机版的翻译接口。【二、项目目标】多国语言的翻译,可以翻译词语或者句子。【三、涉及的库和网站】1、网址如下:http://m.youdao.com/translate2、涉及的库:requests、lxml3、软件:PyCharm2、涉及的库:requests、lxml3、软件:PyCharm【四、项目分.原创 2020-05-20 17:55:12 · 602 阅读 · 0 评论 -
python学完基础语法,一定要去做的3道Python进阶作业题(进阶篇)
前言:以前总以为基础知识就那回事,随便学学就行了,但是最近辅导学生做作业让我收获很多,发现基础知识有很大的学问,尤其是python语法,一行巧妙的代码能替代几行甚至十几行传统代码,既简洁又高效,下面给大家分享3道python作业题,用到的都是很基础的知识,但是肯定会让你耳目一新:Number One:题目:输入一组正整数数据(以逗号隔开),找出其中的质数及其个数,并求出数据中质数的和。要求用函数is_prime(x)实现质素判断,可考虑用函数prime_sum()实现质素求和处理。知识点原创 2020-05-19 18:35:18 · 1132 阅读 · 0 评论 -
表弟的小学数学题,我竟然用了python才解出来(现在的孩子实在是太难了)
前言:本来这个周末过得开开心心,结果为了解一道数学题薅掉了一把头发、、、整整18根!(这波表弟不带我上钻石就亏大发了)而且还是一道小学数学题!!!解出来之后不得不感叹现在的孩子实在是太难了。到底是什么题呢?大家看看吧既然表弟都求到我这了,为了能上王者我也只能硬着头皮做一做嘛。一看这不就是一道逻辑题嘛!先假如丁错,则甲乙丙对,此时最小的abc=(2^3)*(3^2)*7=504>500,不在题干范围之内。那么也就是丁必对,甲乙丙中有一错。等一下然后嘞?并不能判原创 2020-05-18 18:33:37 · 904 阅读 · 1 评论 -
IT宅男利用Python网络爬虫抓取百度贴吧评论区图片和视频(实战篇)
【一、项目背景】百度贴吧是全球最大的中文交流平台,你是否跟我一样,有时候看到评论区的图片想下载呢?或者看到一段视频想进行下载呢?今天,小编带大家通过搜索关键字来获取评论区的图片和视频。【二、项目目标】实现把贴吧获取的图片或视频保存在一个文件。【三、涉及的库和网站】1、网址如下:https://tieba.baidu.com/f?ie=utf-8&kw=吴京&fr=search2、涉及的库:requests、lxml、urrilb【四、项目分析】原创 2020-05-16 14:40:08 · 3337 阅读 · 0 评论