基于Python+Spark的国产漫画推荐系统（爬虫+可视化大屏）_大数据推荐系统流程图

最新推荐文章于 2024-05-21 11:40:29 发布
最新推荐文章于 2024-05-21 11:40:29 发布
阅读量1k 收藏 9
点赞数 9
分类专栏： 2024年程序员学习 文章标签： 大数据 python spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181221/article/details/137792334
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

    else:
        #非管理员权限的表,判断当前表字段名是否有userid
        if tablename!="users" and 'news'[:7]!='discuss'and "userid" in news.getallcolumn(news,news):
            req_dict["userid"] = request.session.get("params").get("id")

    #当列属性authTable有值(某个用户表)[该列的列名必须和该用户表的登陆字段名一致]，则对应的表有个隐藏属性authTable为”是”，那么该用户查看该表信息时，只能查看自己的
    try:
        __authTables__=news.__authTables__
    except:
        __authTables__=None

    if __authTables__!=None and  __authTables__!={}:
        try:
            del req_dict['userid']
            # tablename=request.session.get("tablename")
            # if tablename=="users":
                # del req\_dict['userid']
            
        except:
            pass
        for authColumn,authTable in __authTables__.items():
            if authTable==tablename:
                params = request.session.get("params")
                req_dict[authColumn]=params.get(authColumn)
                username=params.get(authColumn)
                break

    q = Q()

    msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
    msg['data']['pageSize']  =news.page(news, news, req_dict, request, q)

    return JsonResponse(msg)

def news_autoSort(request):
‘’’
．智能推荐功能(表属性：[intelRecom（是/否）],新增clicktime[前端不显示该字段]字段（调用info/detail接口的时候更新），按clicktime排序查询)
主要信息列表（如商品列表，新闻列表）中使用，显示最近点击的或最新添加的5条记录就行
‘’’
if request.method in [“POST”, “GET”]:
msg = {“code”: normal_code, “msg”: mes.normal_code, “data”:{“currPage”:1,“totalPage”:1,“total”:1,“pageSize”:10,“list”:[]}}
req_dict = request.session.get(“req_dict”)
if “clicknum” in news.getallcolumn(news,news):
req_dict[‘sort’]=‘clicknum’
elif “browseduration” in news.getallcolumn(news,news):
req_dict[‘sort’]=‘browseduration’
else:
req_dict[‘sort’]=‘clicktime’
req_dict[‘order’]=‘desc’
msg[‘data’][‘list’], msg[‘data’][‘currPage’], msg[‘data’][‘totalPage’], msg[‘data’][‘total’],
msg[‘data’][‘pageSize’] = news.page(news,news, req_dict)

    return JsonResponse(msg)

def news_list(request):
‘’’
前台分页
‘’’
if request.method in [“POST”, “GET”]:
msg = {“code”: normal_code, “msg”: mes.normal_code, “data”:{“currPage”:1,“totalPage”:1,“total”:1,“pageSize”:10,“list”:[]}}
req_dict = request.session.get(“req_dict”)
if req_dict.contains(‘vipread’):
del req_dict[‘vipread’]

    #获取全部列名
    columns=  news.getallcolumn( news, news)
    #表属性[foreEndList]前台list:和后台默认的list列表页相似,只是摆在前台,否:指没有此页,是:表示有此页(不需要登陆即可查看),前要登:表示有此页且需要登陆后才能查看
    try:
        __foreEndList__=news.__foreEndList__
    except:
        __foreEndList__=None

    if __foreEndList__=="前要登":
        tablename=request.session.get("tablename")
        if tablename!="users" and 'userid' in columns:
            try:
                req_dict['userid']=request.session.get("params").get("id")
            except:
                pass
    #forrEndListAuth
    try:
        __foreEndListAuth__=news.__foreEndListAuth__
    except:
        __foreEndListAuth__=None


    #authSeparate
    try:
        __authSeparate__=news.__authSeparate__
    except:
        __authSeparate__=None

    if __foreEndListAuth__ =="是" and __authSeparate__=="是":
        tablename=request.session.get("tablename")
        if tablename!="users":
            req_dict['userid']=request.session.get("params",{"id":0}).get("id")

    tablename = request.session.get("tablename")
    if tablename == "users" and req_dict.get("userid") != None:#判断是否存在userid列名
        del req_dict["userid"]
    else:
        __isAdmin__ = None

        allModels = apps.get_app_config('main').get_models()
        for m in allModels:
            if m.__tablename__==tablename:

                try:
                    __isAdmin__ = m.__isAdmin__
                except:
                    __isAdmin__ = None
                break

        if __isAdmin__ == "是":
            if req_dict.get("userid"):
                # del req\_dict["userid"]
                pass
        else:
            #非管理员权限的表,判断当前表字段名是否有userid
            if "userid" in columns:
                try:
                    pass
                except:
                        pass
    #当列属性authTable有值(某个用户表)[该列的列名必须和该用户表的登陆字段名一致]，则对应的表有个隐藏属性authTable为”是”，那么该用户查看该表信息时，只能查看自己的
    try:
        __authTables__=news.__authTables__
    except:
        __authTables__=None

    if __authTables__!=None and  __authTables__!={} and __foreEndListAuth__=="是":
        try:
            del req_dict['userid']
        except:
            pass
        for authColumn,authTable in __authTables__.items():
            if authTable==tablename:
                params = request.session.get("params")
                req_dict[authColumn]=params.get(authColumn)
                username=params.get(authColumn)
                break
    
    if news.__tablename__[:7]=="discuss":
        try:
            del req_dict['userid']
        except:
            pass


    q = Q()

    msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
    msg['data']['pageSize']  = news.page(news, news, req_dict, request, q)

    return JsonResponse(msg)

def news_save(request):
‘’’
后台新增
‘’’
if request.method in [“POST”, “GET”]:
msg = {“code”: normal_code, “msg”: mes.normal_code, “data”: {}}
req_dict = request.session.get(“req_dict”)
if ‘clicktime’ in req_dict.keys():
del req_dict[‘clicktime’]
tablename=request.session.get(“tablename”)
isAdmin = None
allModels = apps.get_app_config(‘main’).get_models()
for m in allModels:
if m.tablename==tablename:

            try:
                __isAdmin__ = m.__isAdmin__
            except:
                __isAdmin__ = None
            break


    #获取全部列名
    columns=  news.getallcolumn( news, news)
    if tablename!='users' and req_dict.get("userid")!=None and 'userid' in columns  and __isAdmin__!='是':
        params=request.session.get("params")
        req_dict['userid']=params.get('id')


    error= news.createbyreq(news,news, req_dict)
    if error!=None:
        msg['code'] = crud_error_code
        msg['msg'] = error

    return JsonResponse(msg)

def news_info(request,id_):
‘’’
‘’’
if request.method in [“POST”, “GET”]:
msg = {“code”: normal_code, “msg”: mes.normal_code, “data”: {}}

    data = news.getbyid(news,news, int(id_))
    if len(data)>0:
        msg['data']=data[0]
        if msg['data'].__contains__("reversetime"):
            msg['data']['reversetime'] = msg['data']['reversetime'].strftime("%Y-%m-%d %H:%M:%S")
    #浏览点击次数
    try:
        __browseClick__= news.__browseClick__
    except:
        __browseClick__=None

    if __browseClick__=="是"  and  "clicknum"  in news.getallcolumn(news,news):
        try:
            clicknum=int(data[0].get("clicknum",0))+1
        except:
            clicknum=0+1
        click_dict={"id":int(id_),"clicknum":clicknum}
        ret=news.updatebyparams(news,news,click_dict)
        if ret!=None:
            msg['code'] = crud_error_code
            msg['msg'] = ret
    return JsonResponse(msg)

def news_detail(request,id_):
‘’’
‘’’
if request.method in [“POST”, “GET”]:
msg = {“code”: normal_code, “msg”: mes.normal_code, “data”: {}}

    data =news.getbyid(news,news, int(id_))
    if len(data)>0:
        msg['data']=data[0]
        if msg['data'].__contains__("reversetime"):
            msg['data']['reversetime'] = msg['data']['reversetime'].strftime("%Y-%m-%d %H:%M:%S")

    #浏览点击次数
    try:
        __browseClick__= news.__browseClick__
    except:
        __browseClick__=None

    if __browseClick__=="是"   and  "clicknum"  in news.getallcolumn(news,news):
        try:
            clicknum=int(data[0].get("clicknum",0))+1
        except:
            clicknum=0+1
        click_dict={"id":int(id_),"clicknum":clicknum}

        ret=news.updatebyparams(news,news,click_dict)
        if ret!=None:
            msg['code'] = crud_error_code
            msg['msg'] = retfo
    return JsonResponse(msg)

def news_update(request):
‘’’
‘’’
if request.method in [“POST”, “GET”]:
msg = {“code”: normal_code, “msg”: mes.normal_code, “data”: {}}
req_dict = request.session.get(“req_dict”)
if req_dict.get(“mima”) and “mima” not in news.getallcolumn(news,news) :
del req_dict[“mima”]
if req_dict.get(“password”) and “password” not in news.getallcolumn(news,news) :
del req_dict[“password”]
try:
del req_dict[“clicknum”]
except:
pass

    error = news.updatebyparams(news, news, req_dict)
    if error!=None:
        msg['code'] = crud_error_code
        msg['msg'] = error

    return JsonResponse(msg)

def news_delete(request):
‘’’
批量删除
‘’’
if request.method in [“POST”, “GET”]:
msg = {“code”: normal_code, “msg”: mes.normal_code, “data”: {}}
req_dict = request.session.get(“req_dict”)

    error=news.deletes(news,

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

ion.get(“req_dict”)

    error=news.deletes(news,

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-A8QbHMHh-1713180206293)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84181221
关注
  • 9
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python+Spark+Hadoop大数据基于用户画像电影推荐系统设计
11-01
采用MTV模式，数据库使用MySQL和Redis，以从豆瓣平台爬取的电影数据作为基础数据源，主要基于用户的基本信息和使用操作记录等行为信息来开发用户标签，并使用Hadoop、Spark大数据组件进行分析和处理的推荐系统。...
基于Python+Spark的国产漫画推荐系统（爬虫+可视化大屏）_大数据推荐系统流程图(1)
2401_84181309的博客
05-04 236
管理员点击漫画数据管理。数据爬取：系统可以自动爬取各大漫画平台的漫画数据，包括漫画的图片、简介、评分等信息。数据存储：系统可以存储大量的漫画数据，包括漫画的图片、简介、作者、出版社等信息。系统设置：管理员可以设置系统的各项参数，包括推荐算法的参数、系统的响应等。用户信息管理：用户可以查看和编辑自己的个人信息，包括头像、昵称、性别等。数据更新：系统可以更新漫画数据，保证数据的时效性和准确性。
基于Python+Spark的国产漫画推荐系统（爬虫+可视化大屏）_大数据推荐系统流程图(2)
2401_84181309的博客
05-04 406
数据库：mysql 5.7或更高版本数据库工具：Navicat11爬虫框架：Spark开发软件：PyCharm/vs code前端框架:vue.js。
Python+Spark+Hadoop大数据基于用户画像电影推荐系统设计+sql数据库(毕设源码).zip
06-15
采用MTV模式，数据库使用MySQL和Redis，以从豆瓣平台爬取的电影数据作为基础数据源，主要基于用户的基本信息和使用操作记录等行为信息来开发用户标签，并使用Hadoop、Spark大数据组件进行分析和处理的推荐系统。...
基于python+Django+Spark的电影推荐系统项目源码（95分以上大作业项目）.zip
12-23
基于python+Django+Spark的电影推荐系统项目源码（95分以上大作业项目）.zip主要针对计算机相关专业的正在做课程设计和期末大作业的学生和需要项目实战练习的学习者。包含全部项目源码、该项目可以直接使用、项目都...
毕业设计 - 基于Python+Spark+Hadoop大数据基于用户画像电影推荐系统
04-05
采用MTV模式，数据库使用MySQL和Redis，以从豆瓣平台爬取的电影数据作为基础数据源，主要基于用户的基本信息和使用操作记录等行为信息来开发用户标签，并使用Hadoop、Spark大数据组件进行分析和处理的推荐系统。...
计算机毕业设计源码：基于python旅游推荐系统+爬虫+分析可视化 +django框架
10-30
计算机毕业设计源码：基于python旅游推荐系统+爬虫+分析可视化 +django框架 Django旅游数据采集分析推荐系统 去哪儿网站、基于用户协同过滤推荐算法、requests爬虫、MySQL数据库 摘 要 本系统主要针对解决获取旅游...
【仿RabbitMQ消息队列项目day2】使用muduo库中基于protobuf的应用层协议进行通信
最新发布
weixin_74113106的博客
05-21 743
使用muduo库中基于protobuf的应用层协议进行通信
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
m0_72717598的博客
05-16 263
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
工作中的相关问题
m0_49099215的博客
05-21 178
工作总结
计算机SCI期刊，IF=8+，专业性强，潜力新刊！
mshsci的博客
05-21 210
《大数据杂志》发表了关于数据科学和数据分析的开放获取原创研究。深度学习算法和大数据的所有应用都受到欢迎。还考虑了调查文件和案例研究。
要对数据源和同步后的数据进行数据量的对比
smile6868的博客
05-16 336
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
Hive的“分区”
早拾碗吧的博客
05-15 473
【代码】Hive的“分区”
大数据概述
JAZJD的博客
05-16 689
从最初的存储和处理海量数据，到后来的数据分析和可视化，再到如今的机器学习和人工智能驱动的大数据应用，大数据技术日新月异，不断突破创新。在信息科技方面，计算机硬件性能的提升、存储技术的进步、网络传输速度的加快等，为海量数据的产生、收集和处理提供了技术支撑。：大数据往往包含多种类型的数据，如结构化数据（数据库中的表格数据）、半结构化数据（XML、JSON等格式）、以及非结构化数据（文本、图像、视频等）。随着技术的进步和应用的深入，大数据必将释放出更大的价值，为社会带来更多的创新和变革。
【大数据】探索开源向量相似度搜索引擎 —— Milvus
Mia惠枫的博客
05-19 305
它的出现为大规模向量数据的存储、管理和搜索带来了全新的解决方案，为人工智能和机器学习领域的发展注入了新的活力。Milvus是一个开源的向量相似度搜索引擎，致力于帮助用户高效存储、管理和搜索大规模向量数据。随着人工智能和机器学习领域的不断发展，Milvus将在未来发挥更加重要的作用。：Milvus提供了快速的相似度搜索功能，帮助用户快速找到他们需要的向量数据。：Milvus提供了灵活的数据管理功能，用户可以轻松管理各种类型的向量数据。：Milvus可以用于文本相似度计算，帮助用户找到相似的文本内容。
技术前沿 |【SIMD并行计算与分布式算法：前沿技术的深度解析】
尺小闹的博客
05-15 1101
随着技术的不断进步和创新，SIMD并行计算和分布式算法将在更多领域得到应用。例如，在物联网、边缘计算、区块链等新兴领域中，SIMD并行计算和分布式算法将发挥重要作用，推动这些领域的快速发展。综上所述，SIMD并行计算和分布式算法作为前沿技术，在提升数据处理和计算能力方面具有重要作用。随着信息技术的不断发展，这两种技术将在更多领域得到应用，并推动社会进步和科技发展。
zookeeper基础入门·
jshxk的博客
05-14 439
zookeeper入门基础文章
python+spark+hadoop大数据基于用户画像电影推荐系统毕业源码案例设计+源代码+文
12-10
大数据基于用户画像电影推荐系统是一个涉及Python、Spark和Hadoop等技术的复杂项目。在这个毕业源码案例设计中，源代码包含了多个部分的实现。 首先，Python作为主要的编程语言之一，负责数据的处理和分析。通过Python的数据处理库，我们可以对用户的个人画像数据进行清洗和整合，包括用户的年龄、性别、观影习惯等信息。同时，Python也可以用来编写推荐算法和模型评估的代码。 其次，Spark作为大数据处理和分析的引擎，在这个项目中起着重要的作用。我们可以利用Spark来处理海量的用户观影行为数据，进行分布式计算和数据处理，快速生成用户画像和推荐模型。Spark的机器学习库也可以用来构建推荐系统模型，根据用户的画像特征为其推荐电影。 最后，Hadoop作为大数据存储和管理的平台，负责存储用户的个人画像数据、电影信息数据以及用户观影行为数据。通过Hadoop分布式文件系统（HDFS）和MapReduce计算框架，可以实现数据的高效存储和处理。 在这个毕业源码案例设计中，源代码会包括数据预处理的代码、推荐算法的实现、模型评估的代码，以及与Hadoop和Spark的交互代码等。这些源代码的编写将涉及到Python的数据处理和建模技术，Spark的分布式计算和机器学习技术，以及Hadoop的数据存储和管理技术。通过这些源代码的设计和实现，可以构建一个完整的大数据用户画像电影推荐系统。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值