系统架构
文章平均质量分 85
javastart
专注于大数据 AI
展开
-
开源仅 1 天就斩获近万星!超越 RAG、让大模型拥有超强记忆力的 Mem0 火了
人类的记忆有限,但是 Dot 拥有超长的记忆能力,你可以随时 cue 它回答关于你的任何回忆,你发送的文字、语音备忘录、图片、PDF 文件,它都用来形成它的记忆,从而成为一个随时在线的伴侣,帮助你思考生活、发现隐藏的联系并提升自我。Mem0 可以用来开发长期、短期记忆,它能记住用户的偏好、过去的交互、事情的进展,可以为应用构建适应性的学习体验。:Mem0 优先考虑最近的交互,并逐渐忘记过时的信息,确保记忆保持相关和最新,以提供更准确的响应。并且 Mem0 还提供了开发者友好的 API,安装和使用也很简单。原创 2024-08-11 07:42:30 · 593 阅读 · 0 评论 -
Mixture-of-Agents(MoA)
我们的MoA方法在无害性、鲁棒性、正确性、效率、事实性、常识性、洞察力、完整性等方面均优于原Qwen1.5-110B-Chat。值得注意的是,在 AlpacaEval 2.0 上,仅使用开源模型,我们从 57.5% (GPT-4 Omni) 到 65.1% (MoA) 实现了 7.6% 的绝对提升。Mixture of Agents (MoA) 是一种新颖的方法,它利用多个 LLM 的集体优势来提高绩效,实现最先进的结果。通过采用分层架构,每层包含多个 LLM 代理,MoA 在仅使用开源模型的情况下,在。原创 2024-08-10 23:15:10 · 831 阅读 · 0 评论 -
ray集群部署vllm的折磨
这个想法是在去年下半年的时候萌发的,当时开源界已经有很多LLM inference的框架,比如:huggingface transformer(包括accelerate)包,deepspeed-inference/deepspeed-FastGen(似乎现在做了集成,改名为deepspeed-MII),还有GGUF格式的inference,以及今天的主角vllm。虽然问题得到了解决,但是我心里仍然很不安,原因很简单:我的解决方案并不是vllm官方支持的,只是通过研读源码,自行找到的解决方案。原创 2024-08-02 17:10:08 · 812 阅读 · 0 评论 -
docker mirrors (适合中国宝宝的镜像源)
在国内的访问速度极慢. 当时大家主要还是依赖国内的一些镜像源: 如中科院或alipapa etc. 但是今年逐渐所有的国内镜像站也逐渐关闭. 在墙内的小伙伴想要拉取镜像变成了很困难的事情。如果你正在使用 orbstack. 你也可以直接在 ~/.orbstack/config/docker.json 中编辑配置,然后用 orb restart docker 重启引擎。注: 视频中使用的是 orb. 基本操作和直接使用 docker 相同. 具体细节可以查看下面的配置方法.更多 orb 细节, 见。原创 2024-07-07 18:33:10 · 859 阅读 · 0 评论 -
Uniapp从零开始,手把手教学(附精选源码32套,涵盖商城团购等)
如果是刚入门小程序的,又或者刚听到这个名词的人,可能跟我之前一样,带着诸多的疑惑。比如:什么是uniapp?它和原生微信小程序有什么异同之处?为什么推荐uniapp开发?这里一句话两句话解释了可能还是云里雾里的。我的建议是看看下面这个视频,个人觉得讲的很清楚明白。开发微信小程序使用原生开发还是uniapp开发,详细介绍原生小程序与uni-app开发的优缺点_哔哩哔哩_bilibili页面文件遵循Vue单文件组件规范组件标签靠近小程序规范,详细见uni-app组件规范。原创 2024-04-12 08:00:17 · 2177 阅读 · 0 评论 -
详解Java设计模式之职责链模式
责任链模式(Chain of Responsibility Pattern)是一种行为设计模式,使多个对象都有机会处理请求,从而避免请求的发送者和接收者之间的耦合关系。将这个对象连成一条链,并沿着这条链传递该请求,直到有一个对象处理它为止。在责任链模式中,请求通过一条链传递,每个对象都有机会处理请求。当一个对象无法处理请求时,它会将请求传递给链中的下一个对象,直到找到能够处理请求的对象为止。这种方式可以动态地组织和管理对象,使得请求发送者和接收者之间解耦,提高系统的灵活性和可扩展性。职责链模式的好处。原创 2023-11-19 10:02:24 · 440 阅读 · 0 评论 -
Linux的缓存内存(cache memory)
当你读写文件的时候,Linux内核为了提高读写性能与速度,会将文件在内存中进行缓存,这部分内存就是Cache Memory(缓存内存)。即使你的程序运行结束后,Cache Memory也不会自动释放。这就会导致你在Linux系统中程序频繁读写文件后,你会发现可用物理内存会很少。其实这缓存内存(Cache Memory)在你需要使用内存的时候会自动释放,所以你不必担心没有内存可用。如果你希望手动去释放Cache Memory也是有办法的。转载 2022-10-05 11:15:42 · 3035 阅读 · 0 评论 -
前端性能优化(三)——浏览器九大缓存方法
浏览器九大缓存方法转载 2022-07-25 18:18:51 · 3556 阅读 · 0 评论 -
前后端分离,我怎么就选择了 Spring Boot + Vue 技术栈?
前两天又有小伙伴私信松哥,问题还是职业规划,Java 技术栈路线这种,实际上对于这一类问题我经常不太敢回答,每个人的情况都不太一样,而小伙伴也很少详细介绍自己的情况,大都是一两句话就把问题抛出来了,啥情况都不了解,就要指出一个方向,这实在是太难了。因此今天我想从我学习 Spring Boot + Vue 这套技术栈的角度,来和大家聊一聊没有人指导,我是如何一步一步建立起自己的技术体系的。线上大家看我经常写文章,线下我其实比较宅,跟人交流比较少,我也很少问别人职业规划或者技术规划这些问题,因为这...转载 2021-06-05 16:19:31 · 1084 阅读 · 0 评论 -
Metrics,Prometheus监控
Metrics,Prometheus监控1.MeticsMetrics收集器从服务端收集数据,查询引擎会统计流量和时间,在Dashboard中显示。2.PrometheusPrometheus收集数据,交给Granfana显示,或者将警告发给微信。3.启动eureka导入示例项目actuatordemo,并运行项目中做监控需要添加promrtheus依赖,并添加启动类方法这里监控的数据会发到promrtheus数据库,设定actuator-demo标签。demo启动后访问8080端.转载 2021-05-02 19:08:40 · 1220 阅读 · 0 评论 -
mysql 5.7 binlog 压缩_MySQL binlog 压缩功能的相关介绍-爱可生
为了解决大数据下 binlog 占用空间大问题,在研究这问题。之前有做过一个 binlog 压缩能节约多少空间的测试,效果上看还是比较理想的,可以节约一半以上的空间。但是这个又引出了一个新的问题,那就是这个功能对性能有多大影响呢?于是我又在测试环境试了一下,测试环境的物理配置如下。根据之前的经验这套测试环境在 120 个表 + 240 个并发的情况,可以取得一个性能上的极大值;所以在这里就直接使用这个作为测试压力。8.0.19 场景第一步:安装。dbma-cli-singl...转载 2021-02-08 14:17:26 · 435 阅读 · 0 评论 -
MySQL之binlog_row_image参数
根据文档描述,在基于RBR的复制中,每一个数据行更改事件会包含两份影像(image)。一份是“before”影像,是指被更改的数据行的那些列的原始记录,一份是“after”影像,是指被更改后的列(值)。默认配置下,mysql会在“before”和“after”影像中记录更改数据行的所有列。但是很明显,这不是必须的。其实我们可以通过配置binlog_row_image参数来节省磁盘,内存以及网络资源。因为其实仅仅只需要记录我们更改的那些列(值)。当删除一条数据行时,仅仅只有“before”影...转载 2021-02-07 17:16:07 · 772 阅读 · 0 评论 -
Firefly RK3399开源板的双目摄像头数据采集方案
Firefly RK3399开源板有双通道MIPI摄像头接口,RK3399芯片内部有双通道ISP,可以同时采集两路图像信号,两通道数据完全独立并行采集。可以应用在双目立体视觉、VR等场合,配合RK3399强大的CPU、GPU资源,在图像处理、人工智能方面也是大有前景硬件准备准备一块Firefly RK3399开源板,两块Firefly OV13850摄像头模组,HDMI显示器一台。连接方式Firefly RK3399开源板上有两个MIPI摄像头接口座,其中右边的是第一通道,左边...原创 2021-01-10 09:38:48 · 1554 阅读 · 1 评论 -
[译] 通过优化 Gunicorn 配置提高性能
[译] 通过优化 Gunicorn 配置提高性能weixin_33877092 2019-05-25 04:56:03 1505 收藏 3 文章标签: python 运维 数据库最后发布:2019-05-25 04:56:03首次发布:2019-05-25 04:56:03原文链接:https://juejin.im/post/5ce8cab8e51d4577523f22f8版权原文地址:Better performance by optimizing Gunicorn c转载 2020-12-15 17:55:09 · 1153 阅读 · 0 评论 -
Docker三剑客之Docker Swarm
目录一、什么是Docker Swarm 二、Docker Swarm 基本结构图 三.Swarm的几个关键概念 四、Swarm的工作模式 五、Swarm的调度策略 六、Swarm Cluster模式特性 七、Dcoker Swarm 集群部署 八、Docker Swarm 容器网络回到顶部一、什么是Docker Swarm Swarm是Docker公司推出的用来管理docker集群的平台,几乎全部用GO语言来完成的开发的,代码开源在https://github.com.转载 2020-08-26 11:06:25 · 607 阅读 · 0 评论 -
Docker Swarm Mode
目录Docker Swarm Mode. 1 1. Docker Swarm Mode简介... 3 1.1 Swarm mode基本概念... 3 1.1.1 Swarm.. 3 1.1.2 Node. 4 1.1.3 Services和tasks. 4 1.1.4 Load balancing. 4 1.1.5 Swarm mode跨主机使用... 6 2. Docker Swarm Mode基本操作... 6 2.1 示例环境及组件... 6 2.2 Docker安...转载 2020-08-20 17:44:36 · 1101 阅读 · 0 评论 -
mycat 下载地址变更
http://dl.mycat.io 变更为以下地址:http://dl.mycat.org.cn/原创 2020-06-29 14:56:08 · 2933 阅读 · 1 评论 -
hdfs 中 CentOS,清理缓存(drop_caches)规划
读写文件时,Linux内核为了提高读写效率与速度,会将文件在内存中进行缓存,这就是Cache Memory(缓存内存)。即使程序运行结束后,Cache Memory也不会自动释放。这就会导致程序频繁读写文件后,可用物理内存会很少。其实这缓存内存(Cache Memory)在你需要使用内存的时候会自动释放,所以不必担心没有内存可用。如果你希望手动去释放Cache Memor...原创 2020-03-12 11:18:03 · 1432 阅读 · 0 评论 -
Hadoop2.2.0版本多节点集群安装及测试
摘要:本文记录了Hadoop2.2.0版本多节点集群安装过程,并做了基本配置,启动运行和测试了一个单词统计例子。转http://www.kankanews.com/ICkengine/archives/68086.shtml环境说明:基于Windows下的VMware Player4.0.3中的Ubuntu12.04-64server安装,先把基础软件安装到一个虚拟机中,然后拷贝两份再转载 2013-11-19 22:53:22 · 1182 阅读 · 0 评论 -
构建高并发高可用的电商平台架构实践
构建高并发高可用的电商平台架构实践 [复制链接] hyjhyj当前在线 积分2872 窥视卡 雷达卡272主题455帖子2872积分版主积分2872转载 2014-05-25 15:24:16 · 7990 阅读 · 2 评论 -
Memcache高可用共享session,容纳100万人同时在线 .
Memcache高可用共享session,容纳100万人同时在线转载 2014-10-07 14:12:40 · 1603 阅读 · 0 评论 -
JAVA MemCache 史无前例的详细讲解【转】
JAVA MemCache 史无前例的详细讲解【转】博客分类:mysql Memcach什么是Memcache Memcache集群环境下缓存解决方案 Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用转载 2014-10-13 14:52:07 · 771 阅读 · 0 评论 -
Memcache存储大数据的问题 - mfrbuaa
Memcache存储大数据的问题 - mfrbuaa时间 2014-07-08 18:21:44 博客园-所有随笔区原文 http://www.cnblogs.com/mfrbuaa/p/3832065.html Memcached存储单个item最大数据是在1MB内,假设数据超过1M,存取set和get是都是返回false,并且引起性能的问题。我们之前对转载 2015-03-11 13:44:12 · 640 阅读 · 0 评论 -
redis 3.0 cluster 集群 学习之路篇(资料汇总)
特殊说明:由于不能主人不允许转载,只能挂连接 http://zhoushouby.blog.51cto.com/9150272/1560346转载 2015-04-07 15:24:43 · 1287 阅读 · 0 评论 -
大数据技术的事件处理上应该如何选择Linux服务器?
大数据技术的事件处理上应该如何选择Linux服务器?大数据技术的事件处理,在系统资源使用上,需要很强的计算能力,如何选择Linux服务器?希望获得:通用方法关注问题7回答8评论8 回答按赞同排序按时间排序loveryue 软件开发工程师 , IBM晓黎转载 2015-11-07 20:44:11 · 1118 阅读 · 0 评论 -
YARN内存使用优化配置
YARN内存使用优化配置hadoopyarnyarn 内存分配 在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用转载 2015-09-22 15:11:08 · 1566 阅读 · 0 评论 -
什么是用户画像?金融行业大数据用户画像实践 [
什么是用户画像?金融行业大数据用户画像实践 [复制链接] 丫丫98主题128帖子674积分超级版主积分674收听TA发消息电梯直达转载 2015-10-27 08:07:31 · 9028 阅读 · 1 评论 -
通过HBase Observer同步数据到ElasticSearch
通过HBase Observer同步数据到ElasticSearchObserver希望解决的问题HBase是一个分布式的存储体系,数据按照RowKey分成不同的Region,再分配给RegionServer管理。但是RegionServer只承担了存储的功能,如果Region能拥有一部分的计算能力,从而实现一个HBase框架上的MapReduce,那HBase的操作性能将进一转载 2015-11-20 15:59:20 · 2353 阅读 · 0 评论 -
基于内存数据网格的REST数据服务
基于内存数据网格的REST数据服务 数据库REST 数据分析 阅读3353转载 2016-06-27 13:24:47 · 555 阅读 · 0 评论 -
电商异步消息系统的实践
声明:本文为《从程序员》7月期原创投稿文章,未经许可禁止任何形式的转载。 作者:王晓宇,小米网平台研发部软件研发工程师。2015年入职小米,主要负责电商后端仓储物流相关的业务系统开发。曾在西门子中国研究院,从事软件研发工作,拥有两年以上的软件开发相关经验。曾使用过的编程语言主要有Java与PHP,拥有多年的服务器开发经验以及MySQL优化经验,对电商相关业务与系统架构具有一定的了解以及自己的见转载 2016-08-04 13:13:21 · 3361 阅读 · 0 评论 -
业务赋能利器之外卖特征档案
业务赋能利器之外卖特征档案马骧 ·2017-03-02 18:26应用背景及现状美团外卖业务自2013年9月启动至今已运营三年时间。截至2016年12月,美团点评整个外卖平台的日订单超过900万。从发展速度和体量上看,外卖业务仍处在迅猛发展的上升期。与早期飞速增长的状态相比,随着规模的不断扩大,业务的发展需要更健康、高效,这就对业务对象、业务环节的整体业务运营管理提出更转载 2017-03-07 19:20:33 · 554 阅读 · 0 评论 -
推荐7个超棒的监控工具
推荐7个超棒的监控工具发布时间: 2017-3-31 10:25:55 Java 开发者最有用的监控工具有哪些呢? 监测是当今生产环境中很重要的一个功能。错误和性能问题任何时间都会出现 —— 不仅仅在业务时间内 —— 所以好的监控工具需要 7 天 24 小时。目前有许多从不同角度解决这个问题的工具,所以弄清楚去采用哪个不是那么简单。转载 2017-04-06 19:59:03 · 9405 阅读 · 0 评论 -
如何为Hadoop集群选择正确的硬件
当我们想搭建一个Hadoop大数据平台时,碰到的第一个问题就是我们到底该如何选择硬件。虽然Hadoop被设计为可以运行在标准的X86硬件上,但在选择具体服务器配置的时候其实没那么简单。为已知的工作负载或者应用场景选择硬件时,往往都要综合考虑性能因素和性价比,才能选择合适的硬件。比如,对于IO密集型的工作负载,用户往往需要为每个CPU core匹配更多的存储或更高的吞吐(more spi转载 2017-11-15 20:25:39 · 7919 阅读 · 0 评论 -
百位架构师调查:新趋势下IT架构的变迁
http://tech.it168.com/a2013/0816/1522/000001522061_all.shtml2013年08月19日00:05 it168网站原创 作者:王玉圆 编辑:王玉圆我要评论(1)标签: 调查报告 , 架构师 , IT头条 【IT168 调查报告】架构是整个IT系统的灵魂,架构的成功与否关乎企业的成败。架构师成就IT架构转载 2013-08-27 08:02:06 · 1994 阅读 · 0 评论