![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
桑梓南
与时间同行
展开
-
有趣的Python图片制作,用QQ好友头像拼接出里昂
在本篇博客中,我们将实现两个功能:将所有头像合并为大图将所有头像以某个模板合成大图同样,先给上所有运行效果图:代码实现1、代码所需库import requests,codecs,re,urllib,os,random,mathfrom PIL import Imageimport numpy as npimport cv2 as cv2、代码讲解本篇博客就不再讲解如何...原创 2020-04-21 16:02:21 · 15124 阅读 · 39 评论 -
python爬虫-从QQ邮箱获取好友信息并爬取头像
本篇博客利用python爬虫实现半自动爬取好友头像和以前一样,先上效果:以上就是我的好友头像,怎么获取呢?我采取的方法可能有点低级,首先打开我们的qq邮箱,按F12找见如下的包:我们需要的好友信息就保存在这个包里面了,但是!QQ邮箱设置了访问权限,我们并不能直接通过requests访问这个链接,所以我就采取了比较笨的方法,ctrl+c,ctrl+v。利用CV大法手动复制进入我们的记事本中...原创 2020-04-21 14:56:21 · 4227 阅读 · 1 评论 -
python验证码下载和识别
众所周知,python是一个很强大的语言,它拥有众多的库,今天我尝试了使用python进行验证码的识别。开始,我们先进行验证码的下载。下载我们先找见一个登陆需要验证码的网站,比如说这个网站:http://user.sc.chinaz.com/login.aspx按F12进入调试界面,点击network,再点一下验证码进行刷新可以看到这个图片:点击进入图片就可以得到一个验证码的界...原创 2020-03-10 16:37:43 · 927 阅读 · 0 评论 -
python爬虫实例之——多线程爬取小说
之前写过一篇爬取小说的博客,但是单线程爬取速度太慢了,之前爬取一部小说花了700多秒,1秒两章的速度有点让人难以接受。所以弄了个多线程的爬虫。这次的思路和之前的不一样,之前是一章一章的爬,每爬一章就写入一章的内容。这次我新增加了一个字典用于存放每章爬取完的内容,最后当每个线程都爬取完之后,再将所有信息写入到文件中。之所以用字典是因为爬完之后需要排序,字典的排序比较方便为了便于比较,这次选择...原创 2020-02-29 01:24:12 · 3907 阅读 · 3 评论 -
python爬虫实例之小说爬取器
今天和大家分享一个爬取盗版小说的实例。如今的网络小说可谓是百家齐放各领风骚,玄幻科幻穿越修仙都市… 各种套路看得大家是心潮澎湃,笔者曾经也蛮喜欢看小说的,以前经常是拿着一台诺基亚看到深夜,第二天带着黑眼圈去上学。以前看小说都是txt格式的文件,每次都需要拿着在电脑上搜索‘***txt小说免费下载’,往事不堪回首学以致用,为了以后下载小说能够超微显得高端一点,今天就给大家分享一个爬取盗版小说...原创 2020-02-27 19:22:05 · 2560 阅读 · 1 评论 -
python爬虫爬取网站图片保存本地
初学爬虫,将自己成功的案例贴上与大家一起进步学习。所需环境pycharm,第三方包下载了requests,bs4,lxml,urllib大佬的爬虫第三方库爬取网站图片,我选择的是这个不错的美图网站http://www.win4000.com/爬取过程比较顺利,直接上代码:import timeimport urllibimport requestsfrom bs4 import...原创 2020-02-22 15:56:49 · 1140 阅读 · 4 评论