Task01：熟悉新闻推荐系统的基本流程（项目结构）

已于 2022-03-14 23:34:51 修改
阅读量367 收藏
点赞数
分类专栏： 新闻推荐系统 文章标签： 数据库 mongodb database
于 2022-03-14 23:33:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52202311/article/details/123426819
版权

Task01：熟悉新闻推荐系统的基本流程（项目结构）

0.代码版本

该专栏的博客当中涉及的所有代码，均为组队学习期间的版本，大概在2021年12月12日左右，某一个可能的参考版本链接如下：

https://github.com/datawhalechina/fun-rec/tree/9bcfafaae339c443cc7911b9070bf52adef9e994

1. 文件说明

PS D:\Project\fun-rec\codes\news_recsys> tree /f /a
卷 Data 的文件夹 PATH 列表
卷序列号为 7876-8A9C
D:.
+---news_rec_server
|	|
|   |   README.md
|   |	说明文件
|   |		
|   |   requirements.txt
|   |	环境要求
|   |		
|   |   server.py
|   |	与前端交互的部分，接受请求
|   |
|   +---conf
|   |
|   |       dao_config.py
|   |		设定数据库中数据库的名字和表的名字
|   |		设定数据库的host和端口号，用户名及密码
|   |
|   |       proj_path.py
|   |		一些路径设置
|   |
|   |       README.md
|   |		说明文件
|   |
|   |       stop_words.txt
|   |		停用词，用来提取关键词的
|   |
|   +---controller
|   |
|   |       log_controller.py
|   |		MVC当中控制日志的controller
|   |
|   |       user_action_controller.py
|   |		MVC当中控制用户表的controller
|   |
|   +---dao
|	|	|
|   |   |   mongo_server.py
|   |   |   MVC当中控制MongoDB的model
|   |   |   
|   |   |   mysql_server.py
|   |   |   MVC当中控制MySQL的model
|   |   |   
|   |   |   README.md
|   |   |   说明文件
|   |   |   
|   |   |   redis_server.py
|   |   |   MVC当中控制Redis的model
|   |   |
|   |   \---entity
|   |    \--   
|   |           logitem.py
|   |           定义日志表的结构
|   |           
|   |           register_user.py
|   |           定义用户注册表的结构
|   |           
|   |           user_collections.py
|   |           定义用户收藏表的结构
|   |           
|   |           user_exposure.py
|   |           定义用户曝光表的结构
|   |           
|   |           user_likes.py
|   |           定义用户点赞表的结构
|   |           
|   |           user_read.py
|   |           定义用户阅读表的结构
|   |
|   +---materials
|   |   |         
|   |   |   process_material.py
|   |   |	控制处理逻辑：
|   |   |	1.处理新闻画像
|   |   |	2.更新新闻动态画像
|   |   |	3.生成前端展示画像并备份
|	|	|
|   |   |   process_user.py
|   |   |	控制处理逻辑：
|   |   |	1.存储用户曝光数据
|   |   |	2.更新用户画像
|   |   |
|   |   |   README.md
|   |   |	项目说明
|   |   |
|   |   |   update_redis.py
|   |   |	控制处理逻辑：
|   |   |	更新Redis数据
|   |   |
|   |   +---material_process
|   |   |       
|   |   |       log_process.py
|   |   |       处理日志，但是没有被调用
|   |   |       
|   |   |       news_protrait.py
|   |   |       将新闻加工成画像
|   |   |       
|   |   |       news_to_redis.py
|   |   |       将新闻复制到Redis
|   |   |       
|   |   |       README.md
|   |   |       说明文件
|   |   |       
|   |   |       utils.py
|   |   |       人工提取关键词的函数
|   |   |
|   |   +---news_scrapy
|   |   |   |   monitor_news.py
|   |   |   |   爬虫监控脚本
|   |   |   |   
|   |   |   |   scrapy.cfg
|   |   |   |   爬虫配置文件
|   |   |   |
|   |   |   \---sinanews
|   |   |       |   
|   |   |       |   items.py
|   |   |       |   单条新闻的结构
|   |   |       |   
|   |   |       |   middlewares.py
|   |   |       |   控制代理等
|   |   |       |   
|   |   |       |   pipelines.py
|   |   |       |   持久化存储到数据库
|   |   |       |   
|   |   |       |   run.py
|   |   |       |   定义爬虫运行的命令
|   |   |       |   
|   |   |       |   settings.py
|   |   |       |   相关的配置
|   |   |       |   
|   |   |       |   __init__.py
|   |   |       |   初始化文件
|   |   |       |
|   |   |       \---spiders
|   |   |        \--  
|   |   |               sina.py
|   |   |               具体的爬虫文件
|   |   |               
|   |   |               __init__.py
|   |   |               初始化文件
|   |   |
|   |   \---user_process
|   |    \--
|   |           user_protrail.py
|   |           用户画像处理文件
|   |           
|   |           user_to_mysql.py
|   |           从Redis记录曝光表
|   |
|   +---recprocess
|   |   |   offline.py
|   |   |   控制离线处理的逻辑
|   |   |   
|   |   |   online.py
|   |   |   控制在线处理的逻辑
|   |   |   结合server.py提供推荐服务
|   |   |   
|   |   |   README.md
|   |   |   说明文件
|   |   |
|   |   +---cold_start
|   |   |   
|   |   |       cold_start.py
|   |   |   	给不同的人群准备不同的模板
|   |   |   	其实也就是准备推荐页
|   |   |
|   |   \---recall
|   |    \--
|   |           hot_recall.py
|   |           给所有的人准备热门页
|   |
|   \---scheduler
|           
|           crawl_news.sh
|           控制爬虫的执行
|           
|           offline_material_and_user_process.sh
|           控制离线物料的处理
|           包括新闻画像和用户画像
|           
|           README.md
|           说明问价
|           
|           run_offline.sh
|           控制离线推荐服务的运行
|           也就是生成热门页和推荐模板
|
\---news_rec_web
    \---Vue-newsinfo
        |   .babelrc
        |   好像是转码文件
        |   		
        |   package-lock.json
        |   锁定依赖包的版本
        |   		
        |   package.json
		|   当前的依赖配置
		|   
        |   README.md
		|   说明文件
		|   
        |   vue.config.js
		|	vue项目的配置文件
		|	
        |   webpack.config.js
		|	用于配置打包的文件
        |
        \---src
            |   App.vue
			|	根组件
			|	
            |   index.html
			|	主页面
			|	
            |   main.js
			|	主脚本
			|	
            |   router.js
			|	路由脚本
			|	
            |   store.js
			|	管理用户状态的缓存
            |
            +---api
            |       newVue.js
			|		好像没用
			|	
            |       Vue╕№╨┬░ц ╧ю─┐║═api╜╙┐┌╦╡├ў╬─╡╡ги╧ю─┐╓╨╦∙╙╨╡─╜╙┐┌╬─╡╡╥╘┤╦╬к╫╝гй-╫ю╨┬.docx
			|		一个API的说明文档，也没用
            |
            +---assets
            |   |   logo.png
			|   |   Vue的logo
            |   |
            |   +---css
            |   |       index.less
			|   |   	好像没用
			|   |       
            |   |       sign.css
			|   |       登录页面的样式
			|   |       
            |   |       tab.css
			|   |       没用
			|   |       
            |   |       test.css
			|   |       顶部导航栏养式
			|   |       切换推荐和热门
            |   |
            |   \---js
            |           cookie.js
			|           应该是管理缓存的
            |
            +---components
            |       bottomBar.vue
			|       底部导航栏
			|       切换新闻和个人页面
			|       
            |       common.vue
			|       存放全局变量
			|       
            |       hotLists.vue
			|       热门页面
			|       
            |       Myself.vue
			|       个人中心
			|       
            |       NewsInfo.vue
			|       新闻详情页面
			|       
            |       recLists.vue
			|       推荐页面
			|       
            |       signIn.vue
			|       登陆页面
			|       
            |       signUp.vue
			|       注册页面
            |
            +---images
            |       datawhale.png
			|       dw头像
			|       
            |       dw.png
			|       dw二维码
            |
            \---lib
                \---mui
				 \--饿了么的Mint UI库
				  \-但是没有在本项目使用
			       \
                    +---css
                    |       icons-extra.css
                    |       mui.css
                    |       mui.min.css
                    |
                    +---fonts
                    |       mui-icons-extra.ttf
                    |       mui.ttf
                    |
                    \---js
                            mui.js
                            mui.min.js

2. 流程图示

在这里插入图片描述

3. 架构图示1

在这里插入图片描述

  1. 第32期组队学习重点 ↩︎

JxWang05
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【新闻推荐系统】(task1)系统搭建基本流程
发现问题，并解决问题，批判性思维
12-13 3642
学习总结 sparrow电影推荐系统和我们本次要搭建的新闻推荐系统类似： 首先是离线处理部分： 获取数据：爬取数据后画像处理。用户画像和物品画像，物料存入MongoDB中的SinaNews数据库中；MongoDB中的用户画像，来自mysql中的用户注册表和用户日志数据（如阅读量、点赞数、收藏数等）。这里我们用MongoDB是因为其文档类似于JSON对象，增删字段非常方便。处理完的物料会存入redis中（直接从MongoDB拉去会比较卡），前端展示。 PS：这里为了方便搭建，数据并不是实时在线获得，但是每晚
一、熟悉新闻推荐系统基本流程
maozixiang的博客
12-14 2559
一、悉新闻推荐系统基本流程 环境搭建： vmware + ubuntu20.04（虚拟机） 前端框架： Vue、 后端框架： Flask 数据库： MySQL、MongoDB、redis IDE：vscode(个人觉得连接虚拟机或者服务器很nice） vscode连接虚拟机教程 题外话：（如何拥有自己的项目？） 找开源项目（github） 第一步先配好环境 第二部先把人家的项目跑起来 看源码 自己尝试修改，最后复现 新闻推荐系统架构图： offline: 最核心的一点就是要定
Task01：熟悉新闻推荐系统的基本流程（数据库设计）
博客
03-14 1544
Task01：熟悉新闻推荐系统的基本流程（数据库设计）0.代码版本1. 相关文件2. MySQL3. MongoDB4. Redis5. 流程图示 0.代码版本 该专栏的博客当中涉及的所有代码，均为组队学习期间的版本，大概在2021年12月12日左右，某一个可能的参考版本链接如下： https://github.com/datawhalechina/fun-rec/tree/9bcfafaae339c443cc7911b9070bf52adef9e994 1. 相关文件 PS D:\Project\fun-
【01】熟悉新闻推荐系统基本流程
lance～crazy
12-14 1139
0 linux 走通流程 python环境 创建conda虚拟环境: conda create -n RL --clone base 安装依赖文件: pip install -r requirements.txt ubuntu数据库环境（对应机子百度） 安装 Mysql 基础 安装 MongoDB 安装 Redis基础 ubuntu前端环境配置 安装node, 推荐安装v8.17.0版本(已经放到了项目目录中) 安装前端环境依赖: npm install -g cnpm --registry=h
推荐系统实践Task1：熟悉新闻推荐系统基本流程
杂文集
12-14 1700
1 环境搭建 操作系统：Windows10 MySQL：8.0.25 Redis：5.0.14 Mongodb：5.0.5 Python 3.8 前端IDE：WebStorm2021.1 2 项目导入 前端项目： 待补充。。。
推荐系统从入门到实战—— 推荐系统流程的构建.
swpucwf的博客
12-31 638
Offline offline部分主要是基于前面存储好的物料画像和用户画像进行离线计算， 为每个用户提供一个热门页列表和推荐页列表并进行缓存， 方便online服务的列表获取。 所以下面主要帮大家梳理这两个列表的生成以及缓存到redis的流程。 热门页列表 当用户进入系统， 点击热门按钮时， online服务就会为当前用户获取热门页列表， 而这个列表是在用户登录进入的时候， 离线部分事先为用户生成好缓存到了redis中。online服务获取，只需要从redis中拉取即可。 所谓热门页， 就是对于每篇文章，会
MapReduceV1：TaskTracker端启动Task流程分析
02-26
我们基于Hadoop1.2.1源码分析MapReduceV1的处理流程。TaskTracker周期性地向JobTracker发送心跳报告，在RPC调用返回结果后，解析结果得到JobTracker下发的运行Task的指令，即LaunchTaskAction，就会在TaskTracker...
taskflow:通用并行异构任务编程系统
03-08
任务流程 Taskflow帮助您使用现代C ++快速编写并行和异构任务程序 为什么选择任务流？ 与许多现有任务编程框架相比，任务流在处理复杂的并行工作负载方面更快，更富表现力，并且更易于进行嵌入式集成。 使用Task...
MapReduceV1：JobTracker端Job/Task数据结构
02-26
在MapReduce程序运行的过程中，JobTracker端会在内存中维护一些与Job/Task运行相关的信息，了解这些内容对分析MapReduce程序执行流程的源码会非常有帮助。在编写MapReduce程序时，我们是以Job为单位进行编程处理，一...
推荐系统-Task01熟悉新闻推荐系统基本流程
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
12-17 2626
新闻推荐系统项目流程讲解：https://datawhale.feishu.cn/minutes/obcnzns778b725r5l535j32ohttps://datawhale.feishu.cn/minutes/obcnzns778b725r5l535j32o DW学习资料：GitHub - datawhalechina/fun-rec: 本推荐算法教程主要是针对具有机器学习基础并想找推荐算法岗位的同学，教程由推荐算法基础、推荐算法入门赛、新闻推荐项目及推荐算法面经组成，形成了一个完整的从基础到实
【新闻推荐系统】(task5)推荐系统流程的构建（更新ing）
发现问题，并解决问题，批判性思维
01-01 1006
学习总结 （1）推荐系统流程构建，主要包括Offline和Online两个部分（本次task主要是下面红色框框内的内容）。 文章目录学习总结一、Offline1.1 热门页列表1.2 推荐页列表（1）冷启动（2）个性化二、OnlineReference 一、Offline offline部分主要是基于前面存储好的物料画像和用户画像进行离线计算， 为每个用户提供一个热门页列表和推荐页列表并进行缓存， 方便online服务的列表获取。 本次task主要是梳理这两个列表的生成以及缓存到redis的流程。 通过o
新闻资讯项目结构图
idealemail的博客
02-08 689
该项目为真实项目,隐去敏感部分,稍作更改,展示了从新闻进入到最终展示给用户的过程.
【计算机毕业设计】045新闻推荐系统
最新发布
卓怡学长的博客
04-23 3508
随着信息互联网购物的飞速发展，国内放开了自媒体的政策，一般企业都开始开发属于自己内容分发平台的网站。本文介绍了新闻推荐系统的开发全过程。通过分析企业对于新闻推荐系统的需求，创建了一个计算机管理新闻推荐系统的方案。文章介绍了新闻推荐系统的系统分析部分，包括可行性分析等，系统设计部分主要介绍了系统功能设计和数据库设计。 本新闻推荐系统有管理员和用户两个角色。管理员功能有个人中心，用户管理，排行榜管理，新闻管理，我的收藏管理，系统管理等。用户功能可以在首页查看新闻排行榜，新闻信息，并可以注册登录，收藏新闻，对新
新闻推荐系统Task1
qq_39199884的博客
11-25 526
赛题理解 赛题理解是切入一道赛题的基础，会影响后续特征工程和模型构建等各种工作，也影响着后续发展工作 的方向，正确了解赛题背后的思想以及赛题业务逻辑的清晰，有利于花费更少时间构建更为有效的特征 模型， 在各种比赛中， 赛题理解都是极其重要且必须走好的第一步， 今天我们就从赛题的理解出发， 首先了解一下这次赛题的概况和数据，从中分析赛题以及大致的处理方式， 其次我们了解模型评测的指 标，最后对赛题的理解整理一些经验。 赛题简介 此次比赛是新闻推荐场景下的用户行为预测挑战赛， 该赛题是以新闻APP中的新闻推荐为
推荐系统实战：新闻推荐系统基本流程
m0_47637467的博客
12-15 1710
推荐系统实战第一章学习记录
[附源码]java毕业设计个性化新闻推荐系统
计算机毕设程序设计
11-14 842
项目运行环境配置：Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX（Webstorm也行）+ Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM + mybatis + Maven + Vue 等等组成，B/S模式 + Maven管理等等。环境需要1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。2.IDE环境：IDEA，Eclipse,Myeclipse都可以。
一个简易的基于内容的新闻推荐系统
infi
06-07 7650
源码地址：https://github.com/zhouyinfei/NewsRecommend 在线演示地址：http://www.infi.cloud:8000/NewsRecommend/ 背景：表妹毕业的论文答辩前一个多月突然联系我，要我帮忙弄一下毕业设计，而她自己百度了挺久没有找到合适的方案，要我帮忙。匆忙之下，利用业余时间做了一个简化到不能再简化的系统。本以为自己做的太简单论文答辩可能通过不了，谁料论文答辩的更简单，提问题的时候老师也只是随便问了一下，瞬间感觉自己1个多月的业余时间有点.
新闻个性化推荐系统
热门推荐
weixin_46605806的博客
07-11 1万+
新闻个性化推荐系统一、绪论及背景1.1、绪论1.2、背景1.3、发展历史二、需求分析2.1、功能需求2.1.1、用户功能需求2.1.2、运营功能需求2.1.3、算法功能需求2.2、非功能需求2.2.1、性能需求2.2.2、准确性需求2.2.3、稳定性需求2.2.4、可靠性需求三、详细设计3.1、系统结构设计3.2、模块设计分析3.2.1，系统功能3.2.2，系统服务部署架构3.2.3、数据时序图3.3、重要数据结构设计3.3.1，新用户注册3.3.2，新的新闻文本发表3.2.3、给用户推荐新闻文本3.2.4
Linux下ACE_Task::putq超时为0时队满行为详解
通过这些分析，读者可以理解当ACE_Task::putq在队列满时如何影响线程执行流程，以及为何没有设置超时会导致线程长时间阻塞。 最后，结论部分总结了本文的主要发现，强调了理解和掌握这种行为对于理解和优化ACE应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值