原生爬虫

最新推荐文章于 2023-07-08 14:15:00 发布

python学习笔记

最新推荐文章于 2023-07-08 14:15:00 发布

阅读量124

点赞数

文章标签： python 正则表达式

本文链接：https://blog.csdn.net/weixin_37064025/article/details/109732412

版权

本文介绍了一个Python爬虫项目，通过抓取斗鱼直播平台LOL分区的直播间信息，进行数据提取、分析和展示。首先，使用`urllib`和`gzip`库处理网页内容，然后利用正则表达式匹配主播名称和观看人数。接着，对数据进行精炼和排序，最后展示排序后的主播人气排名。整个过程涉及网页内容的解压、解析、数据提取和排序等关键步骤。

摘要由CSDN通过智能技术生成

from urllib import request
from io import BytesIO
import gzip
import re


#断点调试：F5：进入断点调试  F11：单步执行程序  F5:跳到下一个断点  F11:进入到函数内部                                                                                                  
class Spider():
    url = 'https://www.douyu.com/g_LOL'
    #root_patter = '<div class="DyListCover-content">[\s\S]*?</div>'
    root_pattern = '<li class="layout-Cover-item">([\s\S]*?)</li>'
    name_pattern = '<div class="DyListCover-userName is-template">([\s\S]*?)</div>'
    number_pattern = '</svg>([\s\S]*?)</span>'

    def __fetch_content(self):
        r = request.urlopen(Spider.url)
        #bytes
        htmls = r.read()
        #以"b’\x1f\x8b\x08"开头的 ，说明它是gzip压缩过的数据,需要先解压缩再转换
        htmls = BytesIO(htmls)
        htmls= gzip.GzipFile(fileobj=htmls)

        #将字节码转化成字符串文本
        htmls = htmls.read().decode('utf-8')
        #htmls = str(htmls, encoding = 'utf-8')
        return htmls
    
        #爬虫分析
        #1、选择定位标签（具有唯一性） 2、选择父级的标签作为定位标签
    def   __analysis(self,htmls):
        root_htmls = re.findall(Spider.root_pattern,htmls)     
        # print(root_htmls[0]) 
        a = 1
        #正则分析获取人名和人气观看人数
        anchors = []
        for html in root_htmls:
            name = re.findall(Spider.name_pattern,html)
            number = re.findall(Spider.number_pattern,html)
            anchor={'name':name,'number':number}
            anchors.append(anchor)
        #print(anchors)
        #print(anchors[0])
        return anchors
    
    #数据精炼
    def __refine(self,anchors):
        l = lambda anchors: {
            'name':anchors['name'][0].strip(),       #此处报错，数组越界的原因
            'number':anchors['number'][0]
            }
        a = 1
        return map(l,anchors)
    #排序
    def __sort(self,anchors):
        anchors = sorted(anchors, key=self.__sort_seed,reverse=True)
        return anchors

    def __sort_seed(self, anchor):
        r = re.findall('\d*',anchor['number'])
        number = float(r[0])
        if '万' in anchor['number']:
            number *= 10000
        return number
    
    #数据展示
    def __show(self, anchors):
        for rank in range(0, len(anchors)):
            print('rank '+str(rank+1)
            +':'+anchors[rank]['name']
            +' '+anchors[rank]['number'])

    def go(self):
        htmls = self.__fetch_content()
        anchors = self.__analysis(htmls)
        anchors = list(self.__refine(anchors))
        anchors = self.__sort(anchors)
        self.__show(anchors)
        #print(anchors)

spider = Spider()
spider.go()