scrapy学习之路(八)网页解析:BeautifulSoup

scrapy通过selenium获取到网页以后,为了获取数据,我们需要对网页进行解析,BeautifulSoup是一种比较好用的页面解析工具。

(一) 安装beautifulsoup4

     pip install beautifulsoup4

(二)在spider中解析网页:

     (1)引入模块:

              from bs4 import BeautifulSoup

      (2) 通过页面数据构建BeautifulSoup对象

               soup = BeautifulSoup(response.body.decode('utf-8'), 'html.parser')

      (3)解析数据,常用的如下:

              list = soup.find_all('li', 'list-item')

              ali.select('.d-t-c>.media')  #获取tag

             ali.select('div[class="font-15 m-t-5 clearfix"]')[0].text  #获取内容

            都是通过css选择器筛选数据,了解css的基本都能理解上面的含义了

     (4)构建item:

             为了将解析的数据从spider自动传递到pipeline,进行持久化存储等后续操作,需要将解析的数据转化为item,

       创建item类(继承自scrapy.Item),代码如下:

           

 

             import scrapy

            class SpiderItem(scrapy.Item):

            # define the fields for your item here like:

            name = scrapy.Field(serializer=str)#serializer声明序列化,有序列化要求的必须写上,否则会报序列化异常

            position = scrapy.Field(serializer=str)

            date = scrapy.Field(serializer=str)

            content = scrapy.Field(serializer=str)

            pass

     在spider中赋值返回即可,代码如下:

      

 

      def parse(self, response):

            item = MaimaispiderItem()

            item['name'] =  ali.select('div[class="font-13 m-t-5 clearfix"]')[0].text 

            item['position'] =  ali.select('div[class="font-14 m-t-5 clearfix"]')[0].text 

            item['date'] =  ali.select('div[class="font-15 m-t-5 clearfix"]')[0].text 

            item['content'] =  ali.select('div[class="font-16 m-t-5 clearfix"]')[0].text 

            yield item

 

如果设置了pipeline,则 数据会自动发送到pipeline中。

 

                 

发布了13 篇原创文章 · 获赞 4 · 访问量 2410
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览