开源免费存储服务器操作系统推荐,推荐一个国人开源的推荐系统

开源最前线(ID:OpenSourceTop) 猿妹综合整理 综合自:https://github.com/Tencent/bk-job

今天,要和大家推荐一个Go 编写的开源推荐系统——Gorse。

a048e62dbca65da9ceb759baf247b87f.png

Gorse 旨在成为一个通用的开源推荐系统,可以快速引入各种在线服务。通过将商品、用户和交互数据导入 Gorse,系统将自动训练模型为每个用户生成推荐。项目特点如下:

自动化:通过后台模型搜索,自动选择最佳推荐模型和策略;

分布式推荐:单节点训练、分布式预测以及在推荐阶段实现水平扩展的能力;

Restful API:为数据 CRUD 和推荐请求提供 RESTful API;

数据仪表盘:提供数据导入和导出、监控和集群状态检查的仪表板;

26b42235a81bdc64330a5513c9c74e09.png

Gorse 是一个单节点训练和分布式预测推荐系统。Gorse 将数据存储在 MySQL 或 MongoDB 中,中间数据缓存在 Redis 中。集群由一个主节点、多个工作节点和服务器节点组成。主节点负责模型训练、非个性化物品推荐、配置管理、会员管理。服务器节点负责公开 RESTful API 和在线实时推荐。Worker 节点负责为每个用户进行离线推荐。此外,管理员可以通过主节点的仪表盘进行系统监控、数据导入导出和系统状态检查。

Gorse的主要工作流程如下:

abf4508e2b2bde4c4d81cfac5b76425b.png

1、用户产生的反馈被收集到数据存储中。

2、提取存档的反馈以训练推荐模型。Gorse中有两种模型(排名模型和CTR模型)。

3、离线推荐在后台从所有项目生成并缓存。

4、在线推荐基于缓存的离线推荐实时返回给用户。

ae28b4ebb8fbeb94aed31af23cb4cca8.png

目前,Gorse已经在Github上标星3.8K,累计分支 274 个(Github地址:https://github.com/zhenghaoz/gorse)

HustStore- 高性能分布式存储服务huststore 是一个高性能的分布式存储服务,不但提供了 10w QPS 级别的 kv 存储的功能,还提供了 hash、set 等一系列数据结构的支持,并且支持 二进制 的 kv 存储,可以完全取代 Redis 的功能。此外,huststore 还结合特有的 HA 模块实现了分布式消息队列的功能,包括消息的流式推送,以及消息的 发布-订阅 等功能,可以完全取代 RabbitMQ 的功能。特性huststore 分为 hustdb 以及 HA 模块两大部分。hustdb (存储引擎)的底层设计采用了自主开发的 fastdb,通过一套独特的 md5 db 将QPS 提升至 10w 级别的水准(含网络层的开销)。HA 以 nginx 模块的方式开发。nginx 是工业级的 http server 标准,得益于此,huststore 具备以下特性:高吞吐量hustdb 的网络层采用了开源的 libevhtp 来实现,结合自主研发的高性能 fastdb 存储引擎,性能测试 QPS 在 10w 以上。高并发参考 nginx 的并发能力。高可用性huststore 整体架构支持 Replication (master-master),支持 load balance 。HA 的可用性由nginx 的 master-worker 架构所保证。当某一个 worker 意外挂掉时, master 会自动再启动一个 worker 进程,而且多个 worker 之间是相互独立的,从而保证了 HA 的高可用性。huststore 的高可用性由其整体架构特点保证。由于 hustdb 的存储节点采用了 master-master 的结构,当某一个存储节点挂掉时,HA 会自动将请求打到另外一台 master,同时 HA 会按照自动进行负载均衡,将数据分布存储在多个 hustdb节点上,因此存储引擎不存在单点限制。同时 HA 集群本身也是分布式的设计,而且每个 HA 节点都是独立的,当某一台 HA 挂掉时, LVS 会自动将请求打到其他可用的 HA 节点,从而解决了 HA 得单点限制。通用性的接口huststore 使用 http 作为通用协议,因此客户端的实现不限制于语言。支持二进制的 key-value架构设计运维架构存储引擎设计依赖leveldblibcurllibevhtpzlog 标签:360  分布式存储
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值