【python】基于spark的大数据爬虫漫画推荐系统

大家可以帮忙点赞、收藏、关注、评论啦

精彩专栏推荐订阅：在 下方专栏

JAVA实战项目

一、项目介绍

随着人工智能技术的飞速发展，数据驱动的推荐系统成为了满足用户个性化需求的重要工具。特别是在漫画产业中，如何从海量数据中提取有价值的信息，推荐符合用户喜好的漫画作品，具有重要的实际应用价值。本文旨在探讨利用Spark技术进行大数据爬虫漫画推荐系统的研究，以期为漫画产业的可持续发展提供新的思路和方法。

在当今信息化社会，人们对信息的需求日益增长，而漫画作为一种深受大众喜爱的艺术形式，其产业发展迅速，涵盖了网络、出版、影视等多个领域。然而，面对如此庞大的漫画作品库，如何选择适合自己的作品成为了用户面临的难题。传统的推荐方法往往基于用户历史行为或社交网络数据进行推荐，但这些方法难以准确地反映用户的个性化需求。因此，研究基于大数据的漫画推荐系统，对于解决用户面临的信息过载问题具有重要意义。

在 Spark 大数据爬虫漫画推荐系统中，我们利用 Spark 强大的数据处理能力，从海量漫画数据中提取特征，建立推荐模型，为用户提供精准的漫画推荐服务。该系统的实现不仅可以提高漫画产品的质量和数量，还能满足用户的个性化需求，提高用户的满意度。此外，通过基于 Spark 的大数据爬虫技术，我们能够实时更新数据，确保推荐系统的有效性和实时性。

尽管目前市场上的漫画推荐系统多种多样，但仍然存在一些问题，如信息过载和个性化推荐不足等。这些问题的出现主要是由于缺乏有效的数据处理技术和准确的推荐算法。因此，本研究旨在通过 Spark 大数据爬虫技术，对于海量的漫画数据进行深度的分析和挖掘，从用户行为、作品属性、社交网络等多个维度提取特征，建立更加精准的推荐模型，以解决现有推荐系统存在的问题。

二、功能介绍：

个人中心是用户在系统中的个人空间，提供以下功能：

用户信息管理：用户可以查看和编辑自己的个人信息，包括头像、昵称、性别等。
收藏管理：用户可以在个人中心查看自己收藏的漫画作品，以及对收藏的作品进行管理，如取消收藏、添加标签等。
评分管理：用户可以在个人中心查看自己对漫画作品的评分，以及修改或删除评分。
历史记录管理：用户可以在个人中心查看自己的浏览历史记录，以及删除历史记录。

漫画数据管理：
漫画数据管理模块是整个系统的基础，提供以下功能：

数据存储：系统可以存储大量的漫画数据，包括漫画的图片、简介、作者、出版社等信息。
数据查询：系统提供多种查询方式，使用户能够方便快捷地查找到自己感兴趣的漫画作品。
数据统计和分析：系统可以对漫画数据进行统计和分析，为推荐算法提供数据支持。
数据爬取：系统可以自动爬取各大漫画平台的漫画数据，包括漫画的图片、简介、评分等信息。
数据清洗：对于爬取到的原始数据进行清洗和过滤，包括去除重复数据、标准化处理等。
数据更新：系统可以更新漫画数据，保证数据的时效性和准确性。

系统管理：
系统管理模块是整个系统的后台管理部分，提供以下功能：

系统设置：管理员可以设置系统的各项参数，包括推荐算法的参数、系统的响应等。

三、开发环境

• 开发语言：Python
• 数据库：MySQL
• 系统架构：B/S
• 后端：Django
• 前端：Vue+HTML+CSS+JavaScript+jQuery
• 工具：PyCharm

四、项目展示

登录页面：
管理员模块：

五、代码展示

from scrapy import signals
import json
import codecs
from twisted.enterprise import adbapi
from datetime import datetime
from hashlib import md5
import MySQLdb
import MySQLdb.cursors
import re

# 过滤 json 格式，返回一个json 文件
class JsonWriterCarPipeline(object):
    def __init__(self):
       self.file = open('car.json', 'wb' )

    def process_item(self, item, spider):
        rep_item = item
        line = json.dumps(dict(rep_item)).replace('\n', '')
        self.file.write(line.replace(' ', '') + "\n")
        return item

class JsonWriterHousePipeline(object):
    def __init__(self):
       self.file = open('house.json', 'wb' )

    def process_item(self, item, spider):
        rep_item = item
        line = json.dumps(dict(rep_item)).replace('\n', '')
        # self.file.write(line.replace(' ', '') + "\n")
        return item

class JsonWriterAtuoPipeline(object):
    def __init__(self):
       self.file = open('auto.json', 'wb' )

    def process_item(self, item, spider):
        rep_item = item
        line = json.dumps(dict(rep_item)).replace('\n', '')
        # self.file.write(line.replace(' ', '') + "\n")
        return item

class JsonWriterAuto2Pipeline(object):
    def __init__(self):
       self.file = open('auto2.json', 'wb' )

    def process_item(self, item, spider):
        rep_item = item
        line = json.dumps(dict(rep_item)).replace('\n', '')
        #self.file.write(line.replace(' ', '') + "\n")
        return item

class JsonWriterAuto3Pipeline(object):
    def __init__(self):
       self.file = open('auto3.json', 'wb' )

    def process_item(self, item, spider):
        rep_item = item
        line = json.dumps(dict(rep_item)).replace('\n', '')
        self.file.write(line.replace(' ', '') + "\n")
        return item

class JsonWriterrenrenchePipeline(object):
    def __init__(self):
       self.file = open('renrenche.json', 'wb')

    def process_item(self, item, spider):
        rep_item = item
        line = json.dumps(dict(rep_item)).replace('\n', '')
        self.file.write(line.replace(' ', '') + "\n")
        return item

class PretreatmentPipeline(object):
    def process_item(self, item, spider):
        return item


class MysqldbPipeline(object):

    def __init__(self):
        # 打开数据库连接
        self.conn = MySQLdb.connect(host="localhost",user="root",passwd="root",db="analysis",charset="utf8")
        self.cursor = self.conn.cursor()
        # 清空表
        self.cursor.execute('truncate table spider_car_data;')
        self.conn.commit()

    def process_item(self, item, spider):
       # now = datetime.utcnow().replace(microsecond=0).isoformat(' ')
        now = datetime.now().replace(microsecond=0).isoformat(' ')
        #self.cursor.execute("INSERT INTO spider_car_data (name) VALUES (1)")
        name = item['title']
        price1 = re.split(r"([a-zA-Z0-9.]+)", item['price'][0].replace('\n', '').replace(' ', ''))[1]
        price2 = re.split(r"([a-zA-Z0-9.]+)", item['price'][1].replace('\n', '').replace(' ', ''))[1]
        price3 = 0
        desc = item['info'][0]
        content = item['info'][1]
        self.cursor.execute("""
        		insert IGNORE into spider_car_data(name, price1, price2, price3, describes, content, type, datetime)
        		values(%s, %s, %s, %s, %s, %s, %s, %s)
        	    """, (name, price1, price2, price3 , desc, content, 1, now))
        self.conn.commit()
        return item

class MysqldblianjiaPipeline(object):

    def __init__(self):
        # 打开数据库连接
        self.conn = MySQLdb.connect(host="localhost",user="root",passwd="root",db="analysis",charset="utf8")
        self.cursor = self.conn.cursor()
        # 清空表
        self.cursor.execute('truncate table spider_lianjia_data;')
        self.conn.commit()

    def process_item(self, item, spider):
        now = datetime.now().replace(microsecond=0).isoformat(' ')
        name = item['gms_title'][0].replace('\n', '').replace(' ', '')
        address = item['gms_title'][1].replace('\n', '').replace(' ', '')
        price1 = item['gms_info'][0]
        city = item['gms_city']
        for item in item['gms_price']:
            if item != "\n":
                price2 = item
            else:
                price2 = 0
        self.cursor.execute("""
        		insert IGNORE into spider_lianjia_data(name,address,city,price1,price2,datetime)
        		values(%s, %s, %s, %s, %s, %s)
        	    """, (name,address,city, price1,price2,now))
        self.conn.commit()
        return item

六、项目总结

随着互联网的发展和普及，漫画作为一种深受大众喜爱的艺术形式，已经成为人们获取娱乐和信息的重要途径。在海量的漫画作品中，如何快速准确地找到自己感兴趣的漫画作品成为了用户面临的难题。此外，漫画产业的快速发展带来了大量的数据，如何从这些数据中提取有价值的信息也是漫画产业面临的重要问题。

针对以上问题，本项目旨在利用Spark大数据技术，构建一个高效、准确的漫画推荐系统。该系统通过爬取和分析漫画作品的数据，根据用户的兴趣爱好和其他信息，为用户提供个性化的漫画推荐服务。该系统的实现可以帮助用户快速准确地找到自己喜欢的漫画作品，提高用户的满意度和体验，同时也可以为漫画产业的可持续发展提供支持。

大家点赞、收藏、关注、有问题都可留言交流👇🏻👇🏻👇🏻