- 博客(5)
- 收藏
- 关注
RSS订阅原创 云原生架构中的核心原则02
在云原生架构中，可观测原则指的是一种设计和实施系统以便于理解和监控系统内部运行状态的能力。它强调在分布式、微服务架构中如何有效地收集、处理系统生成的各种数据和事件。
2024-08-08 10:34:09
806
原创 如何在单个 4GB 的 GPU 上运行 70B LLMs
你是否曾经梦想过使用最先进的大型语言模型 (LLMs) 来执行自然语言处理 (NLP) 任务，但因高内存要求而感到沮丧？如果是这样，你可能对 AirLLM 感兴趣，这是一个优化推理内存使用的 Python 包，允许 70B LLMs 在单个 4GB GPU 上运行推理。不需要会导致模型性能下降的量化、蒸馏、修剪或其他模型压缩技术。
2024-08-06 11:00:00
577
原创 一文看懂：本地运行迄今为止最大最出色的开源人工智能模型Llama 3.1
至此，本地运行Llama 3.1大模型的步骤就是以上简单4步，如果你还想结合本地大模型搭建ChatGPT类似的Web界面，甚至结合Langchain从零开始开发AI Agent，请关注我，后续奉上更多AIGC和低代码相关的基础教程。使用合成数据生成绝大部分的 SFT 示例，多次迭代以生成质量更高的合成数据，覆盖所有能力。Llama 3.1 包含8B、70B 和 405B 三个尺寸，对应的大模型文件尺寸分别是4.7GB、40GB和231GB，考虑到演示的目的和机器性能，我们使用8B的尺寸。
2024-08-01 10:55:32
678
原创 云原生架构中的核心原则01
好的弹性能力不仅缩短了从采购到上线的时间，让企业不用操心额外软硬件资源的成本支出（闲置成本），降低了企业的 IT 成本，更关键的是当业务规模面临海量突发性扩张的时候，不再因为平时软硬件资源储备不足而“说不”，保障了企业收益。分布式环境下的限流降级、熔断隔仓、灰度、反压、零信任安全等，本质上都是基于服务流量（而非网络流量）的控制策略，所以云原生架构强调使用服务化的目的还在于从架构层面抽象化业务模块之间的关系，标准化服务流量的传输，从而帮助业务模块做基于服务流量的策略控制和治理。
2024-07-23 10:53:04
829
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人