![](https://img-blog.csdnimg.cn/20200225115247538.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
项目相关
文章平均质量分 90
项目实战!!
山顶夕景
实践出真知
展开
-
【容器】docker基础使用
docker attach :附加到正在运行的容器的标准输入、输出和错误流。网络和端口相关命令:docker network ls:列出 Docker 网络。docker network create :创建一个自定义网络。docker port :查看容器的端口映射。运行 docker --help 或查阅 Docker 官方文档来获取更详细的命令信息和使用说明。二、注意事项镜像可视为软件包(包括程序运行所需的代码、环境、库文件原创 2023-08-05 22:22:47 · 760 阅读 · 3 评论 -
【Airflow】工作流自动化和调度系统
文章目录一、Airflow的诞生二、基于CeleryExecutor方式的系统架构三、Airflow的组成成分四、安装五、基本命令Reference一、Airflow的诞生未使用airflow使用airflow需要自己添加调度代码、调试复杂、功能单一、缺乏整体调度能力框架调度,简单易用,更稳定,功能全面,可以整体调度缺乏图形化能力,给任务的新增、排查等操作带来很多困难。特别是当任务较多,结构复杂的时候内置树状图和流程图,清晰明了的展现任务拓扑结构需要自己添加任务实时监原创 2022-03-25 23:01:16 · 1377 阅读 · 0 评论 -
【新闻推荐系统】(task5)推荐系统流程的构建(更新ing)
学习总结(1)推荐系统流程构建,主要包括Offline和Online两个部分(本次task主要是下面红色框框内的内容)。文章目录学习总结一、Offline1.1 热门页列表1.2 推荐页列表(1)冷启动(2)个性化二、OnlineReference一、Offlineoffline部分主要是基于前面存储好的物料画像和用户画像进行离线计算, 为每个用户提供一个热门页列表和推荐页列表并进行缓存, 方便online服务的列表获取。 本次task主要是梳理这两个列表的生成以及缓存到redis的流程。通过o原创 2022-01-01 22:37:17 · 1006 阅读 · 0 评论 -
【新闻推荐系统】(task4)前后端交互
学习总结(1)task4的最后一part是前后端交互部分,前两个part是前端基础(包括html、css、JavaScript和vue基础)和web后端服务器flask框架,现在就可以学习前后端交互过程了。(2)围绕新闻页列表、热门推荐页、新闻详情页,用的瀑布流展示:https://www.jianshu.com/p/cea62b6868ce。文章目录学习总结一、 项目样式展现二、后端目录结构1、用户注册登录(1)注册部分:(2)登录部分:2、推荐页列表2.1、获取用户推荐列表3、热门推荐页4、新闻详原创 2021-12-27 09:03:48 · 1305 阅读 · 0 评论 -
【王喆-推荐系统】(task1)DL推荐系统架构(基础架构篇)
深度学习中 Embedding 技术在召回层的应用。作为深度学习中非常核心的 Embedding 技术,将它应用在推荐系统的召回层中,做相关物品的快速召回,已经是业界非常主流的解决方案了。不同结构的深度学习模型在排序层的应用。排序层(也称精排层)是影响推荐效果的重中之重,也是深度学习模型大展拳脚的领域。深度学习模型灵活性高,表达能力强(因此非常适合于大数据量下的精确排序)。工业界和学业界都在不断投入和迭代深度学习排序模型。原创 2021-09-29 09:32:43 · 2246 阅读 · 2 评论 -
【新闻推荐系统】(task2)MongoDB篇
学习总结(1)学习MongoDB数据库的相关概念及基本操作,为了更好的了解MongoDB在新闻推荐系统中的应用,需要了解数据库的相关概念并熟练使用python操作MongoDB。(2)MongoDB 创建数据库的语法格式:use DATABASE_NAME。如果数据库不存在,则创建数据库,否则切换到指定数据库。这个和mysql不一样。文章目录学习总结一、MongoDB简介1.1 主要特点1.2 Linux平台安装MongoDB1.3 创建数据库目录1.4 MongoDB 后台管理 Shell二、Mon原创 2021-12-15 23:09:57 · 1482 阅读 · 0 评论 -
【新闻推荐系统】(task2)Redis篇(上)
学习总结文章目录学习总结一、redis简介:1.1 安装:(1)安装Redis服务器:(2)启动Redis服务:1.2 命令:1、基本操作命令:(1)启动Redis(2)连接Redis(3)停止Redis(4)切换库指令(5)删除当前库的数据(6)删除所有库的数据(7)查看key的数量2、Key的操作命令:(1)查找符合模板的Key(2)查找存在key的数量(3)设置过期时间(4)Key所属类型(5)删除Key3、字符串类型—string命令:(1)基础命令(2)常用命令4、列表—list命令:(1)基本原创 2021-12-17 09:07:46 · 1537 阅读 · 0 评论 -
【新闻推荐系统】(task2)Python调用Redis
学习总结文章目录学习总结二、Python调用Redis2.1 安装Redis模块2.2 Python连接Redis(1)直连模式(2)连接池模式2.3 基本操作1. String操作2. Hash操作3. List操作4. Set操作5. SortedSet操作6. 管道操作Reference二、Python调用Redis在Python中,目前可以通过一个redis模块来实现操控Redis,下面我们简单的介绍一下关于使用redis模块。2.1 安装Redis模块如果是在Windows 系统,安装原创 2021-12-18 12:10:46 · 1819 阅读 · 2 评论 -
【新闻推荐系统】(task3)Scrapy基础及新闻爬取实战
学习总结回顾之前的爬虫(八)Scrapy爬虫框架。scrapy爬虫的使用步骤:创建一个工程和spider模板编写spider编写item pipeline优化配置策略为了在推荐系统中不断获取数据,本次task为(新闻推荐实战)数据层—构建物料池之scrapy爬虫框架基础:Scrapy框架有固定的文件结构、类和方法,在实际使用过程中一般是编写item pipelines和spider(里面的自定义爬取器类)两个文件代码。文章目录学习总结一、Scrapy的简介与安装1.0 爬虫工具介绍原创 2021-12-21 16:15:07 · 1483 阅读 · 0 评论 -
【新闻推荐系统】(task3)自动化构建用户及物料画像
学习总结(1)学习新闻推荐系统离线如何通过自动化的形式构建【物料】和【用户】的画像:(2)\fun-rec-master\codes\news_recsys\news_rec_server\materials\material_processlog日志处理新闻画像处理新闻画像存入redis(3)用户画像处理\fun-rec-master\codes\news_recsys\news_rec_server\materials\user_process注意:Redis的value存储中文后原创 2021-12-22 11:50:51 · 1421 阅读 · 0 评论 -
【新闻推荐系统】(task4)前端基础
学习总结(1)task4主要是前后端基础及交互(前端、flask、后端请求逻辑)。(2)Web标准有三层结构,分别是结构(HTML)、表现(CSS)和行为(JS)。结构类似人的身体, 表现类似人的着装, 行为类似人的行为动作。(3)Vue:可以自底向上逐层应用,其核心库只关注图层,还便于与第三方库或有项目整合,完全能够为复杂的单页应用提供驱动。文章目录学习总结一、Web前端1.1 什么是Web1.2 Web 标准构成1.2.1 HTML(超文本标记语言)(1)超文本的含义(2)语法骨架格式1.2.2原创 2021-12-23 12:25:37 · 1432 阅读 · 2 评论 -
【新闻推荐系统】(task4)Vue基础与实战(更新ing)
学习总结文章目录学习总结二、Vue简介2.1 安装2.1.1 通过< script>标签引入2.1.2 通过CDN安装2.1.3 通过NPM安装2.2 创建一个Vue实例2.2.1 语法格式2.2.2定义数据对象2.3 Vue的生命周期2.3.1 beforeCreate2.3.2 created2.3.3 beforeMount2.3.4 mounted2.3.5 beforeUpdate2.3.6 updated2.3.7 beforeDestroy2.3.8 destroyed2.4 创原创 2021-12-23 20:01:35 · 1194 阅读 · 0 评论 -
【新闻推荐系统】(task4)Flask框架基础与入门
学习总结继续我们的新闻推荐系统,本个task是学习系统后端构建之Flask及其基本使用。算法工程师需要了解一些关于开发的知识,因为在实际的工作中经常调试线上的代码来调用策略或模型。一般来说,URL=传输协议+主机名+端口号+(目录)文件名,传输协议和主机名对于同一个网站是一样的,但后面的内容多种多样。一个网站往往有很多网页,为了方便管理、存放网页对应的URL,我们使用[路由](在flask框架中,默认使用@app.route装饰器),即用户请求(HTTP请求)的URL与视图函数之间的映射程序。将找到原创 2021-12-24 19:52:14 · 1521 阅读 · 0 评论 -
扫雷python实现
import randomLEVEL_ONE = 1LEVEL_TWO = 2LEVEL_THREE = 3MINE_VALUE = -1EMPTY_VALUE = 0UNCOVER_STATUS = 1COVER_STATUS = 0INPUT_GAME_LEVEL_ERROR = '输入游戏编号错误'USER_SELECT_TIPS = ("2:40个雷,16*16平铺网格\n")LEVEL_DIC = { 2: (16, 16, 50)}c原创 2021-05-03 22:20:37 · 808 阅读 · 0 评论 -
进程池&线程池(更新ing)
1.并发型服务器核心思想:一池子管理子进程or线程(在服务器处于负载高峰期可以增加服务池大小,以适应新的客户端请求),减少CPU资源浪费在创建和销毁进程/线程的时间。(1)服务器在启动阶段(即任何客户端请求来之前)就预先创建好一定数量的子进程(或线程)——构成进程池/线程池。(2)拿进程池举例,每个子进程一次只处理一个客户端。在处理完客户端请求后,子进程不会终止,而是获取下一个待处理的客户端继续处理。虽然对于大多数应用来说,传统的阻塞式I/O模型足够,但有些应用需要满足:(1)以非阻塞方式检查文件描原创 2021-01-26 20:52:59 · 682 阅读 · 0 评论 -
socket网络编程(select & epoll)
Socket基础概念(1)socket是一种特殊接口(也是一种文件描述符fd),如插座端口上的孔,端口不能被其他进程占用。Socket即为实现操作某个IP地址上的某个端口达到点到点通信的目的,需要绑定到某个具体的进程中和端口中。(2)客户端和服务器之间的通信都需要唯一的socket,每个socket都由 {协议、本地地址、本地端口} 表示,一个完整的套接字则由{协议、本地地址、本地端口、远程端口}表示。(3)socket也有类似打开文件的函数调用,该函数返回一个整型的socket描述符。struc原创 2021-01-25 16:43:03 · 2255 阅读 · 0 评论