![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫
文章平均质量分 64
爬虫实战
派大星..
大学生,专业:数据科学与大数据技术
qq:384242067
微信:jw384242067
欢迎交流
展开
-
模拟登录古诗词网
主要思路:对登录界面发送请求,网址:https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx由于该网址密码输错三次会有验证码,我们就需要第三方平台帮忙破解验证码。小编采用的斐斐打码平台,当然平台打码是需要收费的,但是比较便宜,还有首充优惠。验证码的类型可以查看,不同类型的验证码收费不一样爬取验证码图片保存,运用打码平台获取验证码。我们再登录时打开我们的抓包工具,会发现一个网址:https:原创 2021-01-21 10:44:47 · 1996 阅读 · 6 评论 -
正则表达式翻页爬取糗事百科
本文主要通过requests模块请求网页,应用正则表达式来解析数据保存糗事百科的图片,同时还能完成分页功能。一.requests模块的具体使用可以参照这篇文章二.正则表达式我之前也发过,链接如下:正则表达式接下来进入写代码环节:开始,我们导入模块import reimport requestsimport os创建文件夹,便于保存二进制图片if not os.path.exists('./糗事百科'): os.mkdir('./糗事百科/')添加请求头(用来伪装你是浏览器向服原创 2021-01-02 10:46:52 · 309 阅读 · 1 评论 -
python爬取图片(根据用户需求输入想爬取的内容及页数)
本次小编向大家介绍的是根据用户的需求输入想爬取的内容及页数。主要步骤:1.提示用户输入爬取的内容及页码。2.根据用户输入,获取网址列表。3.模拟浏览器向服务器发送请求,获取响应。4.利用xpath方法找到图片的标签。5.保存数据。代码用面向过程的形式编写的。关键字:requests库,xpath,面向过程现在就来讲解代码书写的过程:1.导入模块import parsel # 该模块主要用来将请求后的字符串格式解析成re,xpath,css进行内容的匹配import reques原创 2020-08-02 16:40:40 · 4494 阅读 · 6 评论 -
python面向对象爬取肖战图片
今天小编想大家介绍的是用python在堆糖上爬取肖战的图片。主要步骤:1.获取网址2.运用requests包模拟网站,向服务器发送请求,获取响应3.清洗数据,通过正则表达式筛选自己需要的数据4.保存数据关键字:requests,正则表达式,面向对象本文通过面向对象的方法介绍爬虫,下一期小编在介绍面向过程如何爬取。现在就正式给大家讲解爬虫步骤。import re # 正则表达式import requests # 爬虫用的包from urllib.request import ur原创 2020-08-01 16:42:20 · 1462 阅读 · 2 评论