人工智能和大数据
人工智能和大数据
田猿笔记
这个作者很懒,什么都没留下…
展开
-
环境变量:驾驭Ollama的强大工具
*OLLAMA_MAX_LOADED_MODELS**环境变量与OLLAMA_NUM_PARALLEL类似,但它更侧重于控制内存中同时存在的模型数量。**OLLAMA_KEEP_ALIVE**环境变量决定了模型在内存中的存活时间。**OLLAMA_NUM_PARALLEL**环境变量限制了Ollama可以同时加载的模型数量。**OLLAMA_PORT**环境变量用于修改Ollama的默认端口,其默认值为`11434`。2. **提升性能**:通过设置合适的模型存活时间和并发数,提高数据处理的速度和质量。原创 2024-07-26 22:26:25 · 612 阅读 · 0 评论 -
Ollama 如何让模型保持在内存或卸载
Ollama 默认情况下,模型会在内存中保存 5 分钟,然后才会卸载。如果您向 LLM 发出大量请求,这可以缩短响应时间。但是,您可能希望在 5 分钟过去之前释放内存,或者无限期地加载模型。端点来控制模型在内存中保留的时间。原创 2024-07-23 22:23:54 · 1505 阅读 · 0 评论 -
混合代理 (MoA) 增强AI模型能力
混合代理 (MoA) 是一种新颖的方法,它利用多个 LLM 的集体优势来提高性能,从而实现最先进的结果。通过采用分层架构(每层由多个 LLM 代理组成),MoA 在 AlpacaEval 2.0 上的表现显著优于 GPT-4 Omni 的 57.5%,得分为 65.1%,而且仅使用开源模型!翻译 2024-07-23 07:48:08 · 50 阅读 · 0 评论 -
RAG与微调:大语言模型优化策略的对比与探讨
它的核心思想是将外部知识库作为模型的记忆扩充,从而在不重新训练模型的情况下,扩展其能力。综上所述,RAG和微调作为两种常见的大语言模型优化策略,各自具有独特的优势和局限性。展望未来,随着人工智能技术的不断进步和创新,我们期待看到更多高效、灵活的大语言模型优化策略的出现。此外,RAG还具有一定的灵活性,可以在一定程度上平衡可定制性和资源需求。值得注意的是,虽然RAG和微调在某种程度上是互补的,但已有研究表明,可以设计出能够结合两者优势的通用方法。**三、RAG与微调的适用场景对比****四、总结与展望**原创 2024-07-05 08:13:36 · 366 阅读 · 0 评论 -
AutoGen与Flowise:大语言模型(LLM)应用开发的两种工具
例如,如果你正在开发一个基于LLM的应用程序,该程序需要处理用户查询,并根据查询的类型调用不同的服务。然后,你可以使用AutoGen的工作流功能来协调这些代理的交互,以确保正确的服务被调用,并将结果返回给用户。你可以使用Flowise来创建一个工作流,该工作流定义了机器人如何处理输入、调用LLM以生成回复,以及如何处理LLM的输出以生成最终的回复。然而,开发基于LLM的应用程序并不是一件容易的事情,需要处理许多复杂的问题,如工作流管理、错误处理、性能优化等。选择使用哪一个工具取决于你的具体需求和偏好。原创 2024-06-04 08:12:20 · 330 阅读 · 0 评论 -
Jan AI:开源、离线运行的 AI 助手,将智能带入您的桌面
在数字化的现代社会,人工智能(AI)正在不断渗透到我们的生活中,为我们的日常任务带来更多的便利。其中,Jan AI 是一款开源、本地优先的工具,旨在为每日任务提供创新的AI解决方案。本文将深入探讨 Jan AI 的特点、安装过程以及如何在 Windows 11 上本地运行 Jan AI,以便您能够更好地利用这一强大的工具。原创 2024-03-02 12:47:16 · 992 阅读 · 0 评论 -
Groq:最快的AI芯片
Groq 的 TSP 架构为 AI 推理领域带来了突破性的性能。它的设计理念和微架构都充满创新,让我们期待更多 AI 加速器的发展和应用。原创 2024-02-24 18:53:04 · 285 阅读 · 0 评论 -
Groq:最快的AI芯片
3. **数据并行性**:Groq 在一个 220 兆字节的 scratchpad 内存中显式分配 tensor,以便编译器知道 tensor 的位置以及它们如何在芯片上移动。- **大型 MXM 模块**:芯片上的大型 MXM 模块是 TSP 架构的主力,包含 409,600 个乘加器。1. **静态和动态界面**:Groq 使用静态和动态界面来区分编译时和运行时的操作。- **软件定义硬件**:Groq 显式地将控制权移交给软件,特别是编译器,以便它可以从第一性原理的角度推断硬件上的正确性和调度指令。原创 2024-02-21 08:09:37 · 587 阅读 · 0 评论 -
深度学习模型: transformer
Transformer 也类似,它可以通过分析文本数据中的关键词和主题,来推断文本的含义。Transformer 可以通过分析聚会上人们的谈话,找出关键词和主题,并将这些信息转化为一个主题标签。例如,如果人们在谈论电影、音乐和美食,Transformer 可能会将聚会的主题标签为“娱乐”。总之,Transformer 是一种强大的自然语言处理模型,它可以帮助我们理解和处理文本数据。它的工作原理类似于人类的注意力机制,可以帮助我们从大量的文本数据中找出有用的信息。这时,Transformer 就可以帮助你。原创 2023-09-12 19:31:46 · 156 阅读 · 0 评论 -
AI 正在杀死旧 Web?
随着人工智能技术的不断进步,越来越多的网站开始使用 AI 技术来提高用户体验和网站性能。比如说,AI 可以根据用户的浏览历史和兴趣推荐相关内容,从而提高用户留存率和转化率。不仅如此,AI 还可以帮助我们更好地了解用户行为和需求,从而提高网站的用户体验。比如说,通过分析用户搜索关键词和点击行为,AI 可以帮助我们更好地了解用户的需求和偏好,从而优化网站内容和布局。虽然它可能会杀死一些旧 Web,但它也会为我们带来更多的机会和挑战。随着人工智能的快速发展,越来越多的人开始担心 AI 是否会杀死旧 Web。原创 2023-06-30 15:50:59 · 83 阅读 · 0 评论 -
最热的IT技术和未来IT技术趋势
3. 物联网(IoT): IoT是一种新型的技术,通过联网的设备和对象之间的通信,可以实现智慧城市、智能家居、智能制造等领域的应用。1. 以人为中心的技术:在未来,技术将更加注重人的需求和体验,例如虚拟现实、增强现实等技术将成为热门技术。3. 区块链:区块链技术可以实现去中心化、安全、透明的交易,将在金融、医疗、保险等领域得到广泛应用。2. 量子计算:量子计算将比经典计算更快、更精确、更安全,将成为未来IT领域的重要领域。4. 智能化:随着技术的发展,无人驾驶、智能语音助手、智能家居等技术将逐渐成为现实。原创 2023-05-31 10:02:34 · 374 阅读 · 0 评论 -
智慧社区用什么技术开发
智慧社区是指利用信息技术和先进的管理理念,将社区内的各种公共服务进行整合和优化,提高社区居民的生活品质和社区管理的效率。为了实现智慧社区的建设,需要采用多种技术,包括但不限于以下几种:1.物联网技术:通过在社区内部安装传感器和智能设备等,收集各种信息,实现设施的自动化和智能化控制;2.云计算技术:将社区内的各种信息和数据上传至云端中心,实现信息的共享和互联,提高社区管理效率;3.大数据技术:通过对社区内大量数据的分析和处理,识别出社区内的热点问题和治理难点,提高社区管理决策的科学性和有效性;原创 2023-05-30 11:09:58 · 1680 阅读 · 0 评论