爬取手游网站游戏详情和评论（MQ+多线程）

最新推荐文章于 2022-04-21 15:25:39 发布
最新推荐文章于 2022-04-21 15:25:39 发布
阅读量317 收藏 1
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39483957/article/details/106729700
版权

本文旨在交流学习，勿作他用，否则后果自负
环境 linux+pycharm+anaconda

import re
import requests
import random
import json
import threading
from queue import Queue
import time
from lxml import etree
#生产者

USER_AGENTS = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
]

HEADER = {
    'User-Agent': random.choice(USER_AGENTS),
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en-US,en;q=0.5',
    'Connection': 'keep-alive',
    'Accept-Encoding': 'gzip, deflate',
}


class Productthread(threading.Thread):
    #继承父类的init,初始化子类参数：
    def __init__(self, name, page_queue):
        # threading.Thread.__init__(self)
        super().__init__()
        self.name = name
        self.q = page_queue

    def run(self):
        #防止偷懒，只干一个任务就退出；
        while True:
            if self.q.empty():
                break
            else:
                try:
                    key = self.q.get(block=False)

                    game_r = requests.get(url=key, headers=HEADER, timeout=50)
                    game_res = bytes(game_r.text, game_r.encoding).decode('utf-8', 'ignore')

                    response_queue.put(game_res)
                except:
                    pass




#消费者：解析页面
class Consumerthread(threading.Thread):
    #继承父类的init,初始化子类参数：
    def __init__(self, name):
        super().__init__()
        self.name = name

    def run(self):
        #防止偷懒，只干一个任务就退出；
        while True:
            #当response任务队列为空，并且生产者都死了，没有人再生产response，退出
            if response_queue.empty() and flag:
                break
            else:


                try:
                    #(1)获取任务
                    response = response_queue.get()
                    if response[0]=='{':
                       

                        respon=json.loads(response)

                        comment_list=respon.get('content','notfond')
                        for j in comment_list:
                            id_list=j['id']
                            username_list=j['username']
                            uid_list=j['uid']
                            img_list="https:"+j['avatar']
                            timeStamp = int(j['timeu'])
                            timeArray = time.localtime(timeStamp)
                            time_list = time.strftime("%Y--%m--%d %H:%M:%S", timeArray)
                            comment=j['comment']
                            good_num=j['good_num']
                            num=j['num']


                            print(id_list,username_list,uid_list,img_list,time_list,comment,good_num,num)
                    else:

                        game_d = etree.HTML(response)
                        name_list = game_d.xpath(
                            r"/html/body/div[1]/div[3]/div[1]/div[1]/div[1]/div/div[1]/h1/text()")  # 名字
                        logo_list = game_d.xpath(r'/html/body/div[1]/div[3]/div[1]/div[1]/div[1]/div/img/@src')  # 图
                        introduce_list = game_d.xpath(
                            r'.//div[@class="txtArea"]/div[@class="txtCon"]/div[not(@class or @id)]/text()')  # 介绍
                        score_list = game_d.xpath(
                            r'/html/body/div[1]/div[3]/div[1]/div[1]/div[1]/div/div[2]/div/p[2]/text()')  # 评分
                        comment_count_list = game_d.xpath(
                            r'/html/body/div[1]/div[3]/div[1]/div[1]/div[1]/div/div[2]/div/p[4]/text()')  # 评论人数
                        if logo_list[0]=="h":
                            logo=logo_list[0]
                        else:
                            logo='https:'+logo_list[0]


                        print(name_list[0], id_list[0],logo, introduce_list[0], score_list[0], comment_count_list[0])

                except:
                    pass





if __name__ == '__main__':

    #线程锁：
    lock = threading.Lock()

    ##1.消费者队列：
    response_queue = Queue()
    flag = False
    start_time = time.time()

    #2.创建生产者任务队列：
    page_queue = Queue()
    try:
        url = 'https://www.3839.com/top/hot.html'
        r = requests.get(url=url, headers=HEADER, timeout=50)
        res = bytes(r.text, r.encoding).decode('utf-8', 'ignore')
        data = etree.HTML(res)
        game_url_list = data.xpath('/html/body/div[1]/div[4]/ul/li/a/@href')
        for i in game_url_list:
            game_url = 'https:' + i

            page_queue.put(game_url)

            id_list = re.compile(r'//www.3839.com/a/(.*).htm').findall(i)  # id




            for k in range(1, 100):
                xq_url = 'https://www.3839.com/cdn/comment/view_v2-ac-json-pid-1-fid-{}-p-{}-order-1-htmlsafe-1-urltype-1-audit-1.htm'.format(id_list[0],k)
                page_queue.put(xq_url)





        #3.起生产者线程：
        crawl_name = str([i for i in range(1,16)])
        pthread_list = []
        for name in crawl_name:
            crawl = Productthread(name, page_queue)
            crawl.start()
            pthread_list.append(crawl)

        #4.起消费者线程：
        consumer_name = str([i for i in range(1,15)])
        cthread_list =[]
        for name in consumer_name:
            crawl = Consumerthread(name)
            crawl.start()
            cthread_list.append(crawl)


        #阻塞主线程
        for thread in pthread_list:
            thread.join()

        flag = True  #表示生产者线程都死光了：

        for thread in cthread_list:
            thread.join()

        end_time = time.time()
    except:
        pass
圆滚滚的程序员
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
游戏服务端框架之业务线程模型
littleschemer的博客
07-12 4307
玩家的消息请求如果放在mina的io线程池进行处理，当业务处理非常耗时，会严重影响io的吞吐量。所以，我们应该另起用于处理业务逻辑的线程池，采用生产者消费者模型，异步处理玩家请求。
爬取蝉妈妈数据平台商品数据
qq_39483957的博客
05-21 6587
本文旨在交流学习，勿作他用，否则后果自负 环境 linux+pycharm+anaconda import json import csv import requests from usere_agent import UA from requests.packages.urllib3.exceptions import InsecureRequestWarning requests.packages.urllib3.disable_warnings(InsecureRequestWarning) he
关于手机网游（android_game）软件相关数据的爬取和spss分析
fisoaliu10的博客
09-09 1956
1.数据的爬取 import requests from bs4 import BeautifulSoup import json from openpyxl import Workbook import numpy as np import time list = [] # User Agents hds = {'User-Agent': 'Mozilla/5.0 (Windows N...
利用爬虫爬取游戏网站图片和信息并生成词云图
weixin_43920241的博客
12-23 978
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
firefox后台启动，前台打不开
fflacy的博客
05-03 1194
首先保存好书签然后windows+R，打开运行窗口运行下列命令firefox.exe -p -no-remote：首先删除已有的默认用户配置文件：然后点击创建配置文件点击下一步：点击完成然后点击启动firefox如果平时已经登录了火狐浏览器用户，会自动保存书签。不需要导入。建议这样操作。否则需要导入书签。...
利用Python的scrapy框架爬取手游排行前几名的手游信息
qq_31518899的博客
07-25 1689
初学scrapy框架 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 有关于scrapy的教学与基础知识这里不做解释，感兴趣的同学可以去访问 http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html（此为中文教程，版本有点过时，但语法
1 消息队列MQ+多线程任务+业务处理
10-19
具体到实际应用，消息队列MQ和多线程的结合有以下几个关键知识点： 1. **负载均衡**：MQ可以分配任务到不同的消费者，实现任务负载均衡，避免某个组件过载，确保系统的稳定性。 2. **异步处理**：通过MQ，系统可以...
基于springcloud+Netty+MQ+mysql的分布式即时聊天系统.zip
最新发布
06-26
尊敬的用户您好！本资源中的源码已经过本地编译测试，下载后按照文档配置好环境就可以运行。资源项目的难度比较适中，内容都是经过助教老师审定过的，应该能够满足学习、使用需求，如果有需要的话可以放心下载使用。...
NetMQ例子，多线程模式，推拉模式等
07-19
在标题和描述中提到的几个关键概念包括“多线程模式”、“推拉模式”和“订阅模式”，这些都是NetMQ的核心特性，下面将详细阐述这些知识点。 1. **多线程模式**：在多线程编程中，多个线程可以并行执行不同的任务，...
使用多线程模拟MQ系统应用
03-24
说明：本人在给Java游戏开发特训班讲解多线程时，需要说明多线程同步的问题，其中讲解了使用“生产者-消费者”模型来解决同步问题。可是当时特训班的学生不是很明白，特别是不明白这个模型怎么使用。这可能是由于...
学习文档MQ+Redis
03-30
【MQ+Redis 学习文档】 在现代的Java开发中，消息队列（Message Queue，简称MQ）和Redis常被用作关键的技术组件，以实现异步处理、提高系统性能和构建可扩展的架构。本学习文档将深入探讨MQ与Redis的基础操作以及...
爬取3499手游网下载地址信息
qq_37592047的博客
11-19 494
爬取3499手游网下载地址信息 爬取游戏的下载地址和信息，爬取的信息存入到数据库中。 1、首先需要安装第三方库 requests，lxml，MySQLdb 2、先创建down_software数据库,创建youxi表 create table down_software.youxi ( id int auto_increment primary key, yx_title varchar(255) null,
爬取百度地图店家信息
qq_39483957的博客
05-17 2076
本文旨在交流学习，勿作他用，否则后果自负 import json import csv import random import requests import pandas as pd USER_AGENTS = [ "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1", "Mozilla/5.0 (Windows; U; Windows NT 5.1; z
解决python +Selenium无法获取window.showModalDialog()弹窗对象问题
qq_39483957的博客
09-13 1411
节假日买个车票是真艹蛋，构思着写个脚本抢票。 遇到Selenium无法获取window.showModalDialog()弹窗对象问题。 听起来比较可信的说法是：Selenium目前没有提供对IE模态对话框(即通过showModalDialog方法打开的弹出对话框)的处理。原因在于，模态对话框会将父页面的JS挂起，直至对话框处理完毕才会继续执行父页面JS。因为Selenium的底层实现是基于JS的，所以模态对话框会同时将selenium挂起，selenium无法选中模态对话框，直至超时。 解决： selen
爬取彩票数据
qq_39483957的博客
08-23 1282
import requests import json import csv from user_agents import UA def post_request(url,data): HEADER = { 'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Connection': 'keep
爬取小米有品app商品数据
qq_39483957的博客
05-24 974
本文旨在交流学习，勿作他用，否则后果自负 环境 linux+pycharm+anaconda import csv import requests from lxml import etree import re import random import json from usere_agent import UA from requests.packages.urllib3.exceptions import InsecureRequestWarning requests.packages.urllib
基于QQwebAPI 查询昵称和头像的爬虫
qq_39483957的博客
11-28 816
API详解见QQWEB文档。 环境python3.8+win import requests import re from PIL import Image from io import BytesIO def getQQPhoto(qqCode): url ="https://q4.qlogo.cn/g?b=qq&nk={}&s=100".format(qqCode) headers = { 'Referer': 'http://pic.netbian.c
爬虫效率提升方法
qq_39483957的博客
04-21 796
协程：在函数(特殊函数)定义的时候,使用async修饰,函数调用后,内部语句不会立即执行,而是会返回一个协程对象 任务对象：任务对象=高级的协程对象(进一步封装)=特殊的函数，任务对象必须要注册到时间循环对象中，给任务对象绑定回调:爬虫的数据解析中 事件循环：当做是一个装载任务对象的容器，当启动事件循环对象的时候,存储在内的任务对象会异步执行 先起个flask服务 from flask import Flask import time app = Flask(__name__) @app.route('
JAVA中多线程和MQ有什么区别？MQ是基于多线程吗
06-02
MQ和多线程没有必然的联系，它们可以互相配合使用，比如在多线程程序中使用MQ进行异步通信和任务调度。MQ本身并不是基于多线程实现的，而是利用了操作系统和网络协议的异步IO机制来实现高效的消息传递。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值