实战Python用scrapy进行爬取网站信息（偏科普）

最新推荐文章于 2024-05-13 00:51:49 发布
最新推荐文章于 2024-05-13 00:51:49 发布
阅读量827 收藏 5
点赞数 2
文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43982782/article/details/103172681
版权

实战Python用scrapy进行爬取网站信息（偏科普）

1.第一步首先百度安装好scrapy，如果安装好在PowerShell里输入scrapy则有以下反应则为安装成功：

安装成功如此

2.输入scrapy startproject spidername 创建新项目

scrapy startproject spidername ###spidername为爬虫文件夹名

将会有以下提示：
在这里插入图片描述
安装提示输入以下代码

cd spiedername
scrapy genspider example example.com  ##example为爬虫名，example.com为爬取网址

按照提示输入后则会有以下提示
在这里插入图片描述
在这之后打开目录页面（我的即为C:\Users\45512\Desktop\1\pig）将会有以下文件被建立
在这里插入图片描述
我们的爬虫程序则在spiders中，打开spiders，
在这里插入图片描述
图中所圈程序则为我们将要编写的爬虫程序。自此scrapy新项目建立完成。

3.开始实战爬取天涯论坛

我们创建好的爬虫工程spider文件打开后代码如下

class TianyaSpider(scrapy.Spider):
    name = 'Tianya'
    allowed_domains = ['focus.tianya.cn']  #此为允许爬取的路由可注释掉
    start_urls = ['https://search.tianya.cn/bbs?q=']##此为开始爬取数据的开始网址

    def parse(self, response):
    	pass
1）因为我们要爬取的是通过天涯搜索框搜索出来的信息，所以我们要首先分析天涯网页，我们首先在搜索框进行搜索,得到以下网址：

在这里插入图片描述
可见前面的url完全相同而搜索内容则在后面，所以我们便可以定义关键字与url拼接为start_urls

class TianyaSpider(scrapy.Spider):
    name = 'Tianya'
    allowed_domains = ['focus.tianya.cn']
    search = '重庆邮电大学'
    start_urls = ['https://search.tianya.cn/bbs?q='+search]
2）进行网页元素分析（xpath）

如果浏览器是没有xpath helper插件的可以去安装一个便于分析网页，具体安装方法请百度。
在天涯也面按下f12在开发者模式下选定索要爬取的信息右键复制xpath
在这里插入图片描述
然后在xpath helper中验证
在这里插入图片描述
没有问题及开始编写代码

class TianyaSpider(scrapy.Spider):
    name = 'Tianya'
    allowed_domains = ['focus.tianya.cn']
    search = '重庆邮电大学'
    start_urls = ['https://search.tianya.cn/bbs?q='+search]

    def parse(self, response):
    	item=TianyaItem()  #此为scrapy中的item文件进行存储爬取数据分类的
    	
    	n=response.xpath('//*[@id="main"]/div[3]/ul/li[1]/p/a[2]/text()').extract()##n则为我们爬取的信息

然后编写item文件（在刚刚spiders的同级文件如图）原则爬啥写啥
在这里插入图片描述
在 TianyaItem下编写 xx（你搜爬取内容定义）=scrapy.Field() 的格式。

import scrapy


class TianyaItem(scrapy.Item):
    # define the fields for your item here like:
    author = scrapy.Field()  #作者
    comefrom = scrapy.Field()  #来源
    time =scrapy.Field()  #时间
    t_url = scrapy.Field()  #标题url
    title = scrapy.Field()  #标题
    article = scrapy.Field() #文章

回到我们的spider文件，为了存储我们爬取的信息要将其存入item文件中最后传回item

class TianyaSpider(scrapy.Spider):
    name = 'Tianya'
    allowed_domains = ['focus.tianya.cn']
    search = '重庆邮电大学'
    start_urls = ['https://search.tianya.cn/bbs?q='+search]

    def parse(self, response):
    	item=TianyaItem()  #此为scrapy中的item文件进行存储爬取数据分类的
    	
    	n=response.xpath('//*[@id="main"]/div[3]/ul/li[1]/p/a[2]/text()').extract()##n则为我们爬取的信息
    	item['author']=n  #存入item
    	yield item   #传回item

爬取其他信息操作相同，如果每页数据规则且数目相同则可以写一个循环讲每条数据存入item；

class TianyaSpider(scrapy.Spider):
    name = 'Tianya'
    allowed_domains = ['focus.tianya.cn']
    search = '重庆邮电大学'
    start_urls = ['https://search.tianya.cn/bbs?q='+search]

   def parse(self, response):
        item=TianyaItem()
        time.sleep(5)    ##等待五秒获取总页数与判断页面数据条数
        pag = response.xpath('//*[@class="long-pages"]/a[6]/text()').extract()   #查询出来的总页数
        n1= "".join(pag)   #用于翻页url构建
        try:
            nn=int(float(n1))      #用于翻页判断
        except:
            pass
        datanum = response.xpath('//*[@class="searchListOne"]//ul/li')  #判断页面数据条数
        if len(datanum) <3:
            print("找不到该内容")
            pass

        for i in range(len(datanum)-1):
            n=response.xpath('//*[@class="searchListOne"]/ul//p/a[2]/text()').extract()  #作者  
            if len(n)!=0:
                    item['author']=n[i]
            else:
                item['author']='/'


            c=response.xpath('//*[@class="searchListOne"]/ul//p/a[1]/text()').extract()  #来源
            if len(c)!=0:
                    item['comefrom']=c[i]
            else:
                item['comefrom']='/'



            t=response.xpath('//*[@class="searchListOne"]/ul//p/span[1]/text()').extract()  #时间
            t_str="".join(t)   
            tt=re.findall(r'\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}',t_str)  #匹配正确时间
            if len(tt)!=0:
                    item['time']=tt[i]
            else:
                item['time']='/'


            t_url=response.xpath('//*[@class="searchListOne"]/ul//div/h3/a/@href').extract()   #标题url
            if len(t)!=0:
                    item['t_url']=t_url[i]
            else:
                item['t_url']='/'

爬取一页的整体数据后我们要进行翻页操作，首先我们要确定翻页的话是什么请求一般网页的请求为get或者post，本篇主要是get请求，判断方法如下：
1.首先我们在浏览器上按下f12，找到network，如果任务过多可以在开发者界面左上的第二个clear按钮将任务清空。
在这里插入图片描述
然后点击页面的下一页则会有许多任务完成
在这里插入图片描述
图中第一个任务点开则可以查看该翻页请求为什么请求，此图为get请求一目了然
在这里插入图片描述
然后接下来要做的就是分析网页的url了，看看翻页后有什么变换
翻页前：
在这里插入图片描述
翻页后：
在这里插入图片描述
很明显多了&pn=数字，这里的数字和页码重合即可知道翻页url拼接规则，回到spider代码进行url拼接

		fy=1                ##定义初始page
        ##进行翻页
        while fy>nn:     ##nn为上面爬取页面所找到的最后一页的页码    
            fy+=1
            fy1=str(fy)  ##对fy格式进行改变便于拼接url
            yield Request(url = start_urls+search+"&pn="+fy1,callback=self.parse)
        ##

这样爬虫基本完成下面展示完整代码

spider.py
from scrapy.http import Request
import pdb
from tianya.items import TianyaItem
import re
global start_urls,search,fy
start_urls ='https://search.tianya.cn/bbs?q='
search='重庆邮电大学'


class TianyaSpider(scrapy.Spider):
    name = 'Tianya'
    allowed_domains = ['focus.tianya.cn']
    search = '重庆邮电大学'
    start_urls = ['https://search.tianya.cn/bbs?q='+search]

    def parse(self, response):
        item=TianyaItem()
        time.sleep(5)    ##等待五秒获取总页数与判断页面数据条数
        pag = response.xpath('//*[@class="long-pages"]/a[6]/text()').extract()   #查询出来的总页数
        n1= "".join(pag)   #用于翻页url构建

        try:
            nn=int(float(n1))      #用于翻页判断
        except:
            pass
        datanum = response.xpath('//*[@class="searchListOne"]//ul/li')  #判断页面数据条数
        if len(datanum) <3:
            print("找不到该内容")
            pass

       
        for i in range(len(datanum)-1):
            n=response.xpath('//*[@class="searchListOne"]/ul//p/a[2]/text()').extract()  #作者  
            if len(n)!=0:
                    item['author']=n[i]
            else:
                item['author']='/'
            


            c=response.xpath('//*[@class="searchListOne"]/ul//p/a[1]/text()').extract()  #来源
            if len(c)!=0:
                    item['comefrom']=c[i]
            else:
                item['comefrom']='/'



            t=response.xpath('//*[@class="searchListOne"]/ul//p/span[1]/text()').extract()  #时间
            t_str="".join(t)   
            tt=re.findall(r'\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}',t_str)  #匹配正确时间
            if len(tt)!=0:
                    item['time']=tt[i]
            else:
                item['time']='/'
            



            t_url=response.xpath('//*[@class="searchListOne"]/ul//div/h3/a/@href').extract()   #标题url
            if len(t)!=0:
                    item['t_url']=t_url[i]
            else:
                item['t_url']='/'
            
            if len(datanum) >=3:
                yield Request(url=t_url[i],callback=self.parse_1,meta = {"item":item})   #进入url爬取文章
        
        fy=1                ##定义初始page
        ##进行翻页
        while fy>nn:         
            fy+=1
            fy1=str(fy)
            yield Request(url = start_urls+search+"&pn="+fy1,callback=self.parse)
        ##







    def parse_1(self, response):
        item = response.meta['item']
        time.sleep(3)
        tit=response.xpath('//*[@class="s_title"]//span/text()').extract()    #标题
        if len(tit) != 0:
              item['title']=tit[0]
        else:
            item['title']='/'
        

        art = response.xpath('//*[@class="bbs-content clearfix"]//text()').extract()  #文章
        ##数据处理##
        art1 = "".join(art)
        art2 = art1.strip()
        art3 = art2.replace("/u3000","")
        art4 = art3.replace("\u3000","")
        ##
        if len(art4) != 0:
              item['article']=art4
        else:
            item['article']='/'
        
        yield item
items.py
# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class TianyaItem(scrapy.Item):
    # define the fields for your item here like:
    author = scrapy.Field()  #作者
    comefrom = scrapy.Field()  #来源
    time =scrapy.Field()  #时间
    t_url = scrapy.Field()  #标题url
    title = scrapy.Field()  #标题
    article = scrapy.Field() #文章

最后在power shell进入到该目录输入scrapy crawl spidername运行爬虫

在这里插入图片描述
运行效果如图
在这里插入图片描述
还可以进行入库处理讲数据存入MongoDB中，有兴趣的可以百度尝试。
入库效果如图
在这里插入图片描述
在这里插入图片描述
第一次写博客教程肯定会有漏洞还请大家多多谅解。有问题可留言或者熟人直接q我

王虫山南
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫实例——scrapy框架爬取拉勾网招聘信息
09-16
主要介绍了Python爬虫实例——scrapy框架爬取拉勾网招聘信息的相关资料，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下
Scrapy爬虫轻松抓取网站数据
qq_38220914的博客
01-28 1947
process_item(item, spider)　　每个item pipeline组件都需要调用该方法，这个方法必须返回一个 Item (或任何继承类)对象，或是抛出 DropItem异常，被丢弃的item将不会被之后的pipeline组件所处理。参数: spider (Spider object) – 被开启的spiderclose_spider(spider)　　当spider被关闭时，这个方法被调用，可以再爬虫关闭后进行相应的数据处理。后续的URL则从初始的URL获取到的数据中提取。
使用Scrapy爬取一个网站的数据
G_Q_L的博客
08-06 5200
Scrapy框架的初步运用
scrapy的全网站爬取数据
最新发布
Davidzhuming的博客
05-13 308
scrapy的全网站爬取数据
爬虫scrapy框架简单爬取一个网页
lvbu89757的博客
07-23 1273
爬虫scrapy框架 scrapy流程图 开始一个scrapy项目 首先进入你想要使用的虚拟环境，键入 pip install scrapy 下载完成后再虚拟环境中键入 scrapy startproject 项目名称 即可以在当前所在路径创建一个scrapy项目 创建一个爬虫文件 首先进入我们的scrapy项目 cd 项目名 这里我选择直接用命令行生成爬虫文件 scrapy gensp...
Python爬虫: 用scrapy写的抓取网页内容的示例
youran02100210的专栏
03-20 1540
scrapy是一个专门用于写爬虫的python框架。它将抓取页面内容，处理结果，执行做了很好的模块化处理。1. 安装scrapy  准备环境： 一定要安装pip,因为用sudo apt-get 安装的scrapy版本很旧，会出现很多问题，在ubuntu16.0.4下执行sudo apt-get install scrapy好像是找不到package的。 切记！不要偷懒，安装pip之后再装scrap...
使用scrapy爬取网页
MilkLeong的博客
04-04 1594
使用python爬取北京新发地市场的蔬菜、水果等的价格，并将爬取结果存储至mongoDB的数据库中。 使用到的软件： 1.anaconda3 2.mongoDB 3.Navicat Premium 需要安装的python第三方库： 1.Scrapy爬虫框架 2.pymongo 步骤： 一、预备工作 1.启动mongoDB 启动方式有多种，这里展示用命令提示符进行启动 如上图示，则启动成功，还可在...
Python利用Scrapy框架爬取豆瓣电影示例
09-18
主要介绍了Python利用Scrapy框架爬取豆瓣电影,结合实例形式分析了Python使用Scrapy框架爬取豆瓣电影信息的具体操作步骤、实现技巧与相关注意事项,需要的朋友可以参考下
使用python的scrapy模块爬取文本保存到txt文件
12-23
使用python的scrapy爬取文本保存为txt文件 编码工具 Visual Studio Code 实现步骤 1.创建scrapyTest项目 在vscode中新建终端并依次输入下列代码： scrapy startproject scrapyTest cd scrapyTest code 打开项目...
python爬虫实战 scrapy+selenium爬取动态网页
栀子枝头盛的博客
04-16 5871
使用scrapy对接selenium完成对动态网站的爬取
Scrapy爬虫框架 -- 多页面爬取和深度爬取
weixin_41489908的博客
04-10 1155
一、重新定义一个页面模板，并指定页面从第二页开始。二、重组多页模板，并让回调函数进行递归操作。3、将详情页内容当做字段写入items对象。四、在爬虫文件实例化字段并提交到管道。五、让其在管道文件输出，并开启管道。1、获取详情页，并通过回调函数调用。三、在items中添加两个字段。
Python爬虫基础（五）：使用scrapy框架
秃了也弱了
09-19 1696
Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。对于网站的内容爬取，其速度非常快捷。scrapy终端，是一个交互终端，供您在未启动spider的情况下尝试及调试您的爬取代码。其本意是用来测试提取数据的代码，不过您可以将其作为正常的python终端，在上面测试任何的python代码。
python爬虫基础小案例， scrapy框架，思路和经验你全都有。
m0_65833575的博客
04-26 1万+
目录 一、scrapy介绍 二、爬取步骤 三、代码 1、创建爬虫项目 scrapy startproject 项目名字 注意: 项目名字不能出现中文，也不能以数字开头。 2、创建爬虫文件 3.进入itmes.py 4.进入spiders 5.进入pipelines.py 四、运行scrapy 文件 一、scrapy介绍 简单介绍一下scrapy吧。 Scra...
Python爬虫之scrapy高级(全站爬取,分布式,增量爬虫)
上善若泪
09-19 3346
1 scrapy全站爬取 1.1 全站爬取简介 CrawlSpider：全站数据爬虫的方式，它是一个类，属于Spider的子类 如果不使用CrawlSpider，那么就相当于基于spider，手动发送请求，太不方便 基于CrawlSpider可以很方便地进行全站数据爬取 1.2 CrawlSpider 1.2.1 基本讲解 基本步骤： 创建一个工程:scrapy startproject ProjectName 切换到爬虫工程中后，创建爬虫文件：scrapy genspider -t crawl xxx
爬虫---scrapy爬虫框架（详细+实战）
热门推荐
lihaian的博客
08-01 3万+
Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或图片。...
【爬虫】4.4 Scrapy 爬取网站数据
Jack
06-12 1990
为了说明 scrapy 爬虫爬取网站多个网页数据的过程，用 Flask 搭建一个小型的 Web 网站。 编写一个爬虫程序爬取这个网站所有的页面的标题文字。
python匹配文本内容_python中用xpath匹配文本段落内容的技巧
weixin_39630999的博客
11-29 373
content = item.xpath('//div[@class="content"]/span')[0].xpath('string(.)')content= item.xpath('//div[@class="content"]/span//text()')两种匹配规则，都能匹配到图中的文本段落内容：第一种匹配到的结果是："content":"\n\n\n小儿子5岁天生戏精在高铁站，一对夫...
用Python 的 Scrapy 爬取 网站
踢砖头
12-14 1607
用Python 的 Scrapy 爬取网站说到制作蜘蛛爬取网站听起来挺简单的，其实深究起来是个蛮综合的应用，有不少技能点需要点亮。比如： 基本的Request/Response HTML，CSS，XPath，JavaScript等前端技能点 即便你有这些技能点加成，不管你是Newbee还是老鸟，如果你坚持不懈的要制造自己的轮子，很多坑估计你死多少遍也填不平。这时候我适时的推荐你用Scrapy这个框
使用scrapy爬取北京3000条二房信息
qq_44767889的博客
11-27 308
网站：https://bj.lianjia.com/ershoufang/pg1/ 部署items import scrapy class HomeItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() hkind=scrapy.Field() ...
怎么用python的scrapy库爬取网页上的图片
02-01
使用 Python 的 Scrapy 库爬取网页上的图片可以按如下步骤进行： 1. 安装 Scrapy。首先需要在你的计算机上安装 Scrapy，可以使用 pip 安装： ```bash pip install scrapy ``` 2. 创建 Scrapy 项目。打开命令行，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值