- 博客(22)
- 收藏
- 关注
RSS订阅转载 如何选择虚拟机或容器
虚拟机是一种软件技术，它允许多个操作系统在同一台物理服务器上运行。每个虚拟机都拥有自己的操作系统和应用程序，它们通过虚拟化层与物理硬件隔离开来。
2024-09-13 20:38:10
55
转载 如何给运行中的容器动态增加端口映射
如果要增加新的端口映射，传统的方法是停止容器并重新启动它，这样可能会导致服务中断，这在生产环境中是不可接受的。这种方式可以彻底给容器增加端口映射，但同时也有副作用，就是本机的所有容器都因 dockerd 的重启而被迫停止，如果容器没有配置自动启动，那么即使 dockerd 启动后，容器也不会自动启动。在Docker 中，容器内部的端口和宿主机的端口是通过端口映射来关联的。对于需要频繁更改端口映射的应用，建议在设计初期考虑灵活的网络架构，避免在容器运行期间频繁修改端口映射，以减少对服务的影响。
2024-09-12 19:42:08
45
原创 基于亲和性的 GPU 容器绑核策略 Copy
因此，优化内存和 CPU 的亲和性，使任务尽量在对应的 NUMA 节点内运行，是性能优化的重要一环。通过 Docker 的CPU 和 GPU 资源控制功能，可以精确地控制容器使用的 CPU 核，并将这些 CPU 核与 GPU 进行绑定。秉承提供高性价比算力服务的宗旨，推出了 GPU 弹性算力产品，通过提供多样化的 GPU 、优化的性能以及充足的算力资源，为新一代生成式人工智能、云端渲染、机器学习和加速计算等领域提供高性价比的算力支持。：限制容器使用的内存为8GB，可以确保内存分配也与CPU/GPU亲和。
2024-09-11 19:52:48
370
原创 压力给到 Google，OpenAI 发布 GPT-4o 来了
GPT-4 是 OpenAI 此前的旗舰模型，可以处理由图像和文本混合而成的信息，并能完成诸如从图像中提取文字或描述图像内容等任务，GPT-4o 则在此基础上新增了语音处理能力。听起来，GPT-4o 的语音也太自然了，对答如流，可以唱歌，回应还可以有幽默娇羞这些情绪。相较于之前的模型，GPT-4o在语音交互方面实现了显著进步。以往的 ChatGPT 对话模式存在较高的延迟，而 GPT-4o 通过一个统一的模型直接处理所有输入和输出，无需通过多个模型转换，从而减少了信息丢失，提升了交互的直接性和效率。
2024-05-14 10:14:16
611
原创 A100 解析：为何它成为 AI 大模型时代的首选？
长期以来，A100 都被认为是在大模型生产系统中的不二之选，基于此，派欧算力云对 Llama2 在 A100 上的表现进行了详细测试。点击查看详情~
2024-05-09 17:54:42
3288
1
原创 全网首发，Llama3 实测 RTX 4090 性能
自从 Llama3 模型发布以来，它在多个领域引起了极大的关注，并激发了众多基于该模型的演示应用程序的开发。这些应用程序的表现和效果不仅依赖于 Llama3 模型自身的对话能力、逻辑推理和上下文理解等核心特性，而且在实际部署和运行中，它们的表现也极大地受到计算资源的制约。在现实世界的应用场景中，一定规模的语言模型，尤其是像 Llama3 这样复杂的模型，需要大量的计算资源来支持其运行。这包括但不限于处理能力（CPU 或 GPU）、内存、存储空间以及网络带宽。
2024-04-26 18:46:51
3466
2
原创 探索 AI 新高度：NVIDIA RTX 4090显卡性能全面解析
NVIDIA GeForce RTX 4090 在性能、效率和 AI 驱动的图形领域实现了质的飞跃。这款 GPU 采用 NVIDIA Ada Lovelace 架构，配备 24 GB 的 GDDR6X 显存。此外，RTX 4090还引入了多项创新技术。例如，它支持 DirectX12Ultimate，能够在即将推出的视频游戏中支持硬件光线追踪和可变速率着色，为用户带来更加逼真的游戏画面。同时，其采用的第三代光线追踪核心和第四代 Tensor 内核，使得显卡在光线追踪和 AI 辅助渲染方面的性能达到新的高度。
2024-04-24 11:34:46
10580
3
原创 深夜震撼发布，一文速览 Llama3
2024年4月18日，Meta AI 正式宣布推出 Llama 3，这标志着开源大型语言模型（LLM）领域的又一重大进步。如同一颗重磅炸弹， Llama 3 以其卓越的性能和广泛的应用前景，预示着 AI 技术的新时代。
2024-04-19 10:02:37
1025
原创 L20 实测，3090 vs L20 孰强孰弱？
NVIDIA L20 是一款针对中国市场的高性能GPU，基于 NVIDIA Ada Lovelace 架构开发，具有高性能和可扩展性，支持广泛的 AI 应用和模型训练任务。L20 的定位是全高全长的加速卡，适用于需要较高计算能力的场景。派欧算力云（www.paigpu.com） 推出全新 GPU 测评栏目，基于实际生产中的业务场景，为大家带来不同 GPU 的性能测评，我们将专注于为大家带来最前沿、最深入的性能评测和行业动态。在这里，你将能第一时间了解到最新款 GPU 的性能表现。
2024-04-18 10:42:18
16330
原创 详解4090D参数性能，实测性能达4090的98%
4090D对比4090，实际评测效果非常好。在 SD 文生图测试中，4090D 的性能为 4090 的 98%-99%。在 Llama2 语言模型测试中，4090D 的性能为 4090 的96%-97%。
2024-04-03 18:00:04
5106
1
原创 PPIO派欧算力云上线首发！注册即领1000元无门槛代金券
派欧算力云结合 PPIO 派欧云在分布式计算上的能力积淀而出，为客户提供广泛的算力供给、丰富的 GPU 型号、极致的性能优化和高效运维能力，为新一代生成式AI、云渲染、机器学习和加速计算等场景提供高性价比的算力服务。
2024-03-21 16:16:40
504
1
原创 PPIO边缘云面对非标异构的海量节点如何实现快速自动巡检？
随着云游戏、超低延时直播、VR/AR、自动驾驶等场景的出现，延时标准从秒级进入毫秒级，超低延时将成为必然趋势，数据数量将呈指数级增长。不断增加的终端设备和所在的应用场景对于低延时和带宽都提出了更高的要求，而边缘计算更靠近设备端，靠近用户，可以减少计算和传输延迟。
2024-02-27 11:02:26
625
原创 对话PPIO王闻宇：推理爆发前夕，从GPU发展角度看AIGC大时代的来临
随着推理创新应用的落地开花，GPU作为一种强大的计算工具，正在引领着这场数字化世界的变革。其卓越的高性能计算能力和并行处理能力为AIGC技术的发展提供了强大支持，推动了音视频内容的创新与进步。最近， LiveVideoStack荣幸地邀请到PPIO的王闻宇老师接受采访。他将分享自己对GPU与AIGC音视频内容生产的独到观察和深刻见解，从上海站大会一个令他印象深刻的问题——“国内跟国外的AIGC的发展差距到底有多远？”出发，探讨这一领域的前沿趋势和未来发展方向。
2024-02-27 10:57:12
925
原创 现已公开发布！欢迎使用 NVIDIA TensorRT-LLM 优化大语言模型推理
去两年，PPIO一直与NVIDIA团队保持密切合作，采用了NVIDIA TensorRT-LLM赋能加速和优化大语言模型推理。如今，NVIDIA TensorRT-LLM 于 2023 年 10 月 19 日公开发布 ，阅读此文，让我们了解一下其在 NVIDIA GPU 上加速和优化最新的大语言模型（Large Language Models）的推理性能。
2024-02-27 10:52:50
965
原创 最早提出Serverless的一篇文章
Serverless 圈内俗称为“无服务器架构”，Serverless 不是具体的一个编程框架、类库或者工具。简单来说，Serverless 是一种软件系统架构思想和方法，它的核心思想是用户无须关注支撑应用服务运行的底层主机。这种架构的思想和方法将对未来软件应用的设计、开发和运营产生深远的影响。
2024-02-27 10:48:17
557
原创 AIGC音视频工具分析和未来创新机会思考
相较于前两年，2023年音视频行业的使用量增长缓慢，整个音视频行业遇到瓶颈。音视频的行业从业者面临着相互竞争、不得不“卷”的状态。我们需要进行怎样的创新，才能从这种“卷”的状态中脱离出来？
2024-02-27 10:36:48
830
原创 如何使用Codellama开源大模型提高开发效率？
CodeLlama是 Meta 在今年 8 月 24 日推出的一款代码领域的开源大模型。它由 Meta 开源的Llama-2模型训练而来。在延续了Llama-2的训练框架和训练数据基础上，CodeLlama加入了更多的代码数据集，并基于三个不同的应用场景，设置了三种不同的模型，分别是 Base 模型、Python 模型和 Instruction 模型。
2024-02-27 10:23:18
1500
原创 PPIO王闻宇：论GPU的过去、现在和未来｜AIGC基石思考之算力哲学
大模型AI席卷全球，推理创新的APP、场景落地越来越多。当训练达到一定阶段，推理必然会形成一个爆发。推理的产品要起来，必然要把推理的成本降到今天 1/ 10 甚至 1/100。此时该如何选好、用好 GPU ，进而影响推理成本？
2024-02-26 16:53:19
1301
1
原创 一文读懂Llama2的架构和推理过程
Meta公司发布了一众备受瞩目的Llama系列大模型，其中的佼佼者无疑是优化后的Llama 2系列该模型训练数据集2万亿token，上下文长度是由llama的2048扩展到4096，在各种基准集的测试上表现突出。深入了解Llama 2，可用于研究和商业用途。我们今天主要来了解一下该模型的整体结构和推理过程。
2024-02-26 16:26:12
9618
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人