DW推荐系统 | Task01 熟悉新闻推荐系统基本流程

Task01 熟悉新闻推荐系统基本流程

这两天因为事情较多，只听了直播课程了解了一下基本流程+跑通程序。

1.流程图

仅了解了大概，说实话有些流程还不太了解。（填坑，之后再补…

2.安装流程

这一块非常感谢峰哥！基本完全按照他的流程来的，没踩什么坑！撒花！开心！

2.1 使用软件版本

操作系统：Windows10

MySQL：8.0.23

Redis：5.0.14

Mongodb：5.0.5

Anaconda Python 4.8.3

Node.js：12.19.0

前端IDE：VSCode 1.63.0

2.2 前后端项目运行

2.2.1 前端

因为自身电脑之前安装了conda和vscode所以就直接使用了，需要改变是：

• vscode切换到conda的python环境

• 安装node.js

• 访问页面

1. VSCode切换conda python环境

先导入项目工程 VUE-NEWSINFO ，然后打开File-》preferences -》setting

搜索python.pythonPath，再红框中输入anaconda中对应环境的python命令的路径，如
“D:\Anaconda\envs\mlbook\bin\python”

这样我们的工程就在自己对应的虚拟环境中

2. 打开终端安装node.js

npm install -g cnpm --registry=https://registry.npm.taobao.org

cnpm install

安装成功！

3. 访问页面

因为是本地服务器，需要修改ip地址为127.0.0.1，打开文件package.json，修改第49行的IP和端口，修改内容如下：

"scripts":{
	"test": "echo \"Error: no test specified\" && exit 1",
	"dev": "webpack-dev-server --open --port 8686 --contentBase src --hot --host 127.0.0.1",
	"start": "nodemon src/main.js"
}

打开文件main.js，文件路径：src/main.js，修改第23行的IP和端口，修改内容如下：

// Vue.prototype.$http = axios
Vue.use(VueAxios, axios); 
// axios**公共基路径，以后所有的请求都会在前面加上这个路径 
// axios.defaults.baseURL = "http://10.170.4.60:3000";  
// axios.defaults.baseURL = "http://47.108.56.188:3000"; 
axios.defaults.baseURL = "http://127.0.0.1:5000"

在终端运行 npm run dev

2.2.2 后端

• 采用pycharm，导入项目news_rec_server，配置相应的环境，再终端安装相应的依赖包。

• 打开server.py，修改修改第233行的IP和端口，修改为host=‘127.0.0.1’, port=5000

• 修改项目路径配置文件proj_path.py，文件路径：conf/proj_path.py

• # home_path = os.environ['HOME']
  # proj_path = home_path + "/fun-rec/codes/news_recsys/news_rec_server/"
  proj_path = os.path.join(sys.path[1], '')
  

• 核对数据库配置文件dao_config.py

• 启动雪花算法服务，用于生成用户ID，启动命令如下：

  snowflake_start_server --address=127.0.0.1 --port=8910 --dc=1 --worker=1

• 启动server.py程序

2.3 数据库安装配置

需要安装datagrip，比较方便连接不同的数据库，并且进行可视化界面显示

2.3.1 MySQL

电脑自带mysql，但是之前在Mysql Workbench中连接过本地的3306端口号，需要把这个连接先删除，或者在datagrip里面连接时修改端口号，但是为了方便起见，我就把之前的删除了。

这里遇见一个坑，我忘记我之前mysql root用户的密码了，为了重新配置密码搞了好久。

按照这篇博客https://www.cnblogs.com/jerrys/p/10626408.html，就可以重置。

其中找到MySQL的bin目录，可以在 电脑-服务-mysql服务双击 中找到目录。

接着就可以连接了，然后创建数据库loginfo和userinfo

2.3.2 Mongodb和Redis

下载峰哥微云中的这两个文件夹，直接解压缩。

• Mongodb的配置可以按照这个博客来：https://blog.csdn.net/m0_46217225/article/details/119109334?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163946311116780271525266%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=163946311116780271525266&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~rank_v31_ecpm-1-119109334.pc_search_mgc_flag&utm_term=%E6%9C%80%E6%96%B0mongdb%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE%2B%E6%B7%BB%E5%8A%A0%E5%88%B0%E6%9C%8D%E5%8A%A1&spm=1018.2226.3001.4187
• 然后在datagrip中直接连接即可
• Redis也是直接下载文件夹Redis-x64-5.0.14解压缩，然后运行redis-server.exe

看到这个界面就可以了

• 接着下载RedisDesktopManager，直接运行，连接默认的本地连接即可

2.4 启动程序

接下来的步骤完全按照峰哥的执行步骤执行，不会出错~

2.4.1 爬取新浪新闻

通过查看crawl_news.sh文件（文件路径：scheduler/crawl_news.sh），可知爬取新浪新闻的代码在如下目录/materials/news_scrapy/sinanews/run.py使用PyCharm的Run按钮，手动执行该代码，需要配置参数：—pages=30

2.4.2 更新物料画像

通过查看offline_material_and_user_process.sh文件（文件路径：scheduler/offline_material_and_user_process.sh），可知更新物料画像的代码在如下目录：materials/process_material.py，运行

2.4.3 更新用户画像

通过查看offline_material_and_user_process.sh文件（文件路径：scheduler/offline_material_and_user_process.sh），可知更新用户画像的代码在如下目录：materials/process_user.py使用PyCharm的Run按钮，手动执行该代码

2.4.4 离线将推荐列表和热门列表存入redis

通过查看run_offline.sh文件（文件路径：scheduler/run_offline.sh），可知离线将推荐列表和热门列表存入redis的代码在如下目录：recprocess/offline.py使用PyCharm的Run按钮，手动执行该代码

2.5 登录用户查看推荐和热门新闻

2.6 查看数据库

参考：峰哥task01学习笔记（为了自己之后好学习）