- 博客(103)
- 收藏
- 关注
RSS订阅原创 卡间互联详解
a. hw八卡机平台是四颗KP 920处理器，CPU和GPU是直通模式，中间无PCIE sw芯片，并且CPU的PCIE lane数量有限，每CPU支持PCIE 4.0x40对应2个NPU，200Gb的网卡也是通过NPU直出，卡卡间无类似Nvlink sw芯片，单卡到多卡为7条链路的总带宽，单卡到单卡卡互联带宽取决于单条链路的速率。a. HGX模组是英伟达推出的标准产品，主要包括了8块OAM的GPU卡、GPU互联底板、Nvlink SW芯片等。a. 通过PLX（PCIE SW芯片）扩展的三种拓扑。
2024-12-11 22:34:56
601
原创 算力介绍与解析
f. INT8：8位整数，用于量化神经网络的计算，由于存储和计算都相对于浮点数更加高效，在低功耗、嵌入式系统和边缘设备等领域有着广泛的应用。算力在科学研究、工程计算、人工智能、金融分析、医疗健康等领域具有广泛的应用，推动了各个领域的发展和进步。随着科技的不断进步，量子计算、边缘计算、异构计算和绿色计算等新技术将推动算力的未来发展。a. FP64：双精度占用64位空间，通常用于大规模科学计算、工程计算等需要高精度计算的算法。算力在科学研究、工程计算、人工智能等领域具有广泛的应用，推动了各个领域的发展和进步。
2024-12-11 22:33:26
820
原创 神经网络的起源与工作原理
a. 训练：通过设计合适 AI 模型结构以及损失函数和优化算法，将数据集以 mini-batch （数据集分为多个批次，作用是每次使用少量数据更新模型参数，再用新的数据验证等刚得到模型参数的计算效果）反复进行前向计算并计算损失，反向计算梯度利用优化函数来更新模型，使得损失函数最小。b. 当完成模型训练，意味着在给定的数据集上，模型已经达到最佳或者满足需求的预测效果。最终目标是将训练好的模型部署生产环境中。b. 机器自己根据数据找出所有的参数，机器自己后天学习的成果，得到的不同f函数就是不同模型。
2024-12-11 22:32:28
710
原创 生成式AI概览与详解
生成式AI（Generative AI）是指通过机器学习模型生成新的数据或内容的人工智能技术。生成式AI可以生成文本、图像、音频、视频等多种形式的数据，广泛应用于内容创作、数据增强、自动化生成等领域。大模型（Large Model）是指具有大量参数和复杂结构的深度学习模型。大模型通常基于深度神经网络，特别是Transformer架构，通过在大规模数据集上进行训练，能够捕捉复杂的模式和关系。大模型的代表包括 GPT-3、BERT、T5、DALL-E 等。超大参数自然语言模型+对话交互=生成式AI。
2024-12-11 22:31:40
746
原创 生成式AI对产业的影响与冲击
a. 催生大模型为中心的开发范式：大模型将成为未来企业的基础资产之一，基于大模型+微调的开发模式，结合人工反馈训练、提示工程的设计，可以在大模型通用化能力的基础上，结合企业专有的领域数据，得到效果更好的领域模型，并拓展应用场景。例如，生成式AI在个性化推荐、教育培训等领域的应用，提高了个性化服务的效果。9. 生成式AI在数据增强领域的应用能够生成新的数据样本，扩展数据集，提高模型的训练效果和泛化能力。生成式AI能够创作新的内容，改变了传统的娱乐媒体内容由人工生产的方式，带来的生产力的提升与突破。
2024-12-11 22:30:36
293
原创 kubernetes起源与介绍
kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。自我修复：一旦某一个容器崩溃，能够在1秒中左右迅速启动新的容器弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整服务发现：服务可以通过自动发现的形式找到它所依赖的服务负载均衡。
2024-12-11 22:26:38
464
原创 常见LLM大模型概览与详解
LLaMA2 是 LLaMA（Large Language Model Meta AI）的第二代模型，由 Meta（前身为 Facebook）开发。
2024-11-23 20:22:06
765
原创 生成式AI对产业的影响与冲击
a. 催生大模型为中心的开发范式：大模型将成为未来企业的基础资产之一，基于大模型+微调的开发模式，结合人工反馈训练、提示工程的设计，可以在大模型通用化能力的基础上，结合企业专有的领域数据，得到效果更好的领域模型，并拓展应用场景。b. 场景化算法并存：对于特定的场景问题，出于场景（特别是传统分析型AI在数值分析的应用场景）和资源的限制（在端侧部署），场景化算法也不会完全被替代。生成式AI能够创作新的内容，改变了传统的娱乐媒体内容由人工生产的方式，带来的生产力的提升与突破。生成式AI带来的变革。
2024-11-23 20:21:28
1064
原创 watermark大模型水印详解
模型水印是一种用于模型版权保护的技术，通过向大模型植入水印（触发集数据加上特定的噪声或者标志），使得模型学习到这种特定的噪声或者标志的特征，通过特定的问题可以从大模型的回答中提取出水印进行验证。主要目的是保护模型的知识产权，防止未经授权的复制和使用。水印可以在模型的训练过程中嵌入，也可以在模型的推理过程中检测。
2024-11-11 10:44:22
968
原创 Checkpoint断点续训详解
模型在训练过程中的中间状态和结果，是大语言模型在训练过程中进行容错的一种关键技术，通过将中间状态和结果作为checkpoint保存到持久化存储，在训练任务由于异常失败时，可以从checkpoint中恢复训练中间状态继续训练，Checkpoint 的主要目的是防止训练过程中因意外中断而导致的训练进度丢失，并提供模型的不同版本以便于选择最佳模型。断点续训的基本原理是定期保存模型的状态（即检查点），包括模型的权重、优化器的状态、当前的训练轮数等信息。
2024-11-11 10:40:27
823
原创 quantize模型量化详解
模型量化，又称为模型压缩，是指以较低的推理精度损失将连续取值（通常为float32或者大量可能的离散值）的浮点型权重近似为有限多个离散值（通常为int8或int4）的过程。通过以更少的位数表示浮点数据，模型量化可以减少模型尺寸，进而减少在推理时的内存消耗，并且在一些低精度运算较快的处理器上可以增加推理速度。模型结构设计上，不要限制激活值的范围。(比如relu比relu6好)权衡好量化位宽。
2024-11-11 10:39:28
1006
原创 DeepSpeed模型训练加速详解
DeepSpeed是一个由微软开发的开源深度学习优化库，基于pytorch构建，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。DeepSpeed还提供了一些辅助工具，如分布式训练管理、内存优化和模型压缩等，以帮助开发者更好地管理和优化大规模深度学习训练任务。
2024-11-11 10:38:50
817
原创 Seldon Core大模型部署详解
Seldon Core 目前是机器学习模型部署领域最受欢迎的方案之一，由 Seldon 公司开源和维护，旨在为不同框架下训练出来的模型（Tensorflow，Pytorch，SKLearn，XGBoost）提供一套相对统一的部署方式，支持多种不同类型模型的Inference Server。seldoncore将ML模型（Tensorflow、Pytorch、H2o等）或语言包装器（Python、Java等）转换为生产REST/GRPC微服务。
2024-11-11 10:37:27
1050
原创 LoRA详解
Low-RankAdaption of Large Language Models，大语言模型的低秩适应，是一种PEFT（参数高效性微调方法），其核心思想是对大型模型的权重矩阵进行隐式的低秩转换，LoRA 主要应用于自然语言处理（NLP）和计算机视觉（CV）等领域。
2024-10-09 15:03:24
1105
原创 ChatGLM详解
ChatGLM是由清华技术成果转化的公司智谱AI发布的开源的、支持中英双语问答的对话语言模型系列，并针对中文进行了优化，该模型基于General Language Model（GLM）架构构建，ChatGLM是一款基于人工智能技术的智能聊天机器人，它具备强大的自然语言处理能力，能够理解和回答我们的问题，通过与ChatGLM的对话，我们可以轻松获取各种信息，解决生活中的疑惑，甚至寻求专业建议，ChatGLM的出现，让我们在获取信息、解决问题上更加高效便捷。
2024-10-09 15:01:46
1739
原创 LLaMA详解
Large Language Model Meta AI，由Meta AI公司于2023年2月发布的开放且高效的大型基础语言模型系列，共有7B、13B、33B、65B四种版本，旨在推动自然语言处理（NLP）领域的发展，提供高效、强大的语言理解和生成能力。
2024-10-09 15:00:16
1152
原创 LLM详解
Large Language Model，称大规模语言模型或者大型语言模型，是一种基于大量数据训练的统计语言模型，可用于生成和翻译文本和其他内容，以及执行其他自然语言处理任务（NLP），通常基于深度神经网络构建，包含数百亿以上参数，使用自监督学习方法通过大量无标注文本进行训练。例如国外的有GPT-3、GPT-4、PaLM、Galactica和LLaMA等，国内的有ChatGLM、文心一言、通义千问、讯飞星火等。
2024-10-09 14:58:58
914
原创 AI技术总览
人工智能技术已经成为现代科技发展的重要驱动力，广泛应用于自然语言处理、计算机视觉、语音识别、自动驾驶等领域。AI技术的发展经历了早期的神经网络研究、现代的深度学习兴起以及生成式AI的广泛应用。
2024-10-09 14:56:26
1488
原创 如何挑选适合自己的Offer
简历和面试都是去推销自己，切记要突出重点面试时要注意答案和得出答案的思考，解答的过程同样重要没有捷径，只有不断地修炼内功，多学习要区分卷和努力是不同的，选个好平台。
2024-03-26 15:50:44
598
3
原创 面试干货分享（面试中）
夏沫Coding：致力于分享计算机干货知识、八股文、校招笔试、面试和面经等信息。地址：http://47.93.49.179/通过以下资料，你可以免费获取到大量的校招资料和相关信息，帮助你更好地准备校园招聘。学习交流群：进行计算机知识分享和交流，提供内推机会，QQ群号：325280438。关注夏沫Coding公众号，校招信息抢先观看，获取第一手校招情报信息和简历模板。
2024-03-26 15:50:13
649
原创 面试干货分享（面试前）
突出项目重点：简要介绍项目的目标和重要性，突出项目面临的主要挑战以及你们采取的解决方案。这可以展示你的团队如何应对困难，并找到创新的方法来解决问题。突出你在项目中的个人贡献：强调你在项目中的个人贡献和成就。这可以包括你的想法、决策、领导能力、解决问题的能力等。通过具体的例子和情况说明你的贡献如何推动了项目的成功。运用STAR法则介绍项目：情景 (Situation)描述项目的背景和情况。说明项目所处的环境、挑战和重要性。任务 (Task)确定你在项目中的具体任务和目标。
2024-03-26 15:49:33
661
原创 简历指导与模板获取
简历是应聘过程当中最重要的材料，是我们在求职市场的一张名片，一份好的简历能够吸引招聘者的注意，使你在竞争激烈的求职市场中脱颖而出。
2024-03-23 16:03:13
453
原创 校招免费资料大集合
添加夏沫小助手，进微信专属校招信息交流群，免费获取最新校招信息和免费简历指导修改和面试辅导。夏沫Coding：致力于分享计算机干货知识、八股文、校招笔试、面试和面经等信息。通过以下资料，你可以免费获取到大量的校招资料和相关信息，帮助你更好地准备校园招聘。关注夏沫Coding公众号，校招信息抢先观看，获取第一手校招情报信息和简历模板。校招帮：提供校招公司岗位消息，微信公众号。小林coding：计算机基础八股文，R2coding：计算机基础八股文，Go语言中文文档：Go语言文档，极客兔兔：Go八股文，
2024-03-23 16:02:42
379
原创 校招应聘流程讲解
在整个应聘流程中，记得保持积极的态度、认真准备面试，同时也要对自己的能力和经验有清晰的认识，这样才能在竞争激烈的校园招聘中脱颖而出，成功获得心仪的工作机会.
2024-03-23 16:01:39
621
原创 校招岗位大解析
校园招聘岗位需要综合考虑岗位描述、行业背景、公司文化、职业发展路径、技能要求、薪酬福利以及公司口碑等多个方面的因素，全面了解并综合考虑这些因素，才能更好地选择适合自己的岗位，实现个人职业发展目标。
2024-03-23 16:01:01
710
原创 校招应该如何准备
校园招聘是大学生进入职场的重要途径之一，请从以下方面去准备校招，通过认真的准备和努力，相信你一定能够在校园招聘中找到理想的工作机会。
2024-03-23 15:59:19
1472
原创 校招招聘信息分享
校园招聘已经成为许多毕业生迈入职场的重要途径之一。然而，尽管招聘渠道多样，信息不对称的问题依然存在，有些宝贵的招聘信息可能被局限在某些圈子内。因此，分享一些24届校招岗位和25届实习岗位的汇总，旨在打破信息壁垒，为广大求职者提供更多就业机会。点击链接校招岗位信息即可跳转最新校招招聘信息。校招是一种招聘方式，主要是指应届毕业生在校园招聘中寻找工作机会。在校招过程中，公司会在高校举办招聘会、宣讲会或校园面试，与学生面对面交流，介绍公司文化、职位需求和职业发展机会。
2024-03-23 15:46:47
778
原创 面试某大厂，被Go的Channel给吊打了，这次一次性通关channel。
前几天面试某大厂的云原生岗位，原本是一个轻松+愉快的过程，当问到第二个问题，我就发现事情的不对劲，先复盘一下面试官有关Channel的问题，然后再逐一解决，最后进行扩展，这次一定要一次性通关channel！答应我，看完这篇文章，不要再被Channel吊打了！Channel是Go语言中的一种并发原语，用于在goroutine之间传递数据和同步执行。Channel实际上是一种特殊类型的数据结构，可以将其想象成一个管道，通过它可以发送和接收数据，实现goroutine之间的通信和同步。
2023-04-13 20:53:57
1523
3
原创 深度学习深入浅出
深度学习中最常用的神经网络结构是多层感知机（Multilayer Perceptron，MLP），它是由多层神经元组成的网络，每层之间相互连接，其中输入层接收数据，输出层输出结果，中间的隐藏层则对输入数据进行非线性变换和特征提取。深度学习的模型需要大量的数据进行训练，而且数据的质量也需要较高。如果数据的质量不高，比如包含较多的噪声或错误，那么深度学习的效果将会受到很大的影响。深度学习中最基本的模型是神经网络（Neural Network），它的结构模仿了人类的神经系统，包含多个层级（Layer）。
2023-04-09 10:06:17
527
原创 随机森林算法深入浅出
机器学习是一种基于数据的算法，通过对大量数据进行学习，发现数据的规律和模式，并将这些规律应用到新的数据上，从而做出预测和决策。与传统的计算机程序不同，机器学习算法不需要人工编写所有的规则和逻辑，而是能够自主地从数据中学习并做出预测。训练数据通常包括输入数据和对应的输出数据，例如图像识别中的图片和图片中所表示的物体。算法是指用来训练和优化模型的算法，常见的算法有梯度下降、支持向量机、决策树等。在监督学习中，我们给定一组输入数据和对应的输出结果，算法通过学习输入和输出之间的关系来建立一个预测模型。
2023-04-08 21:35:05
7567
原创 机器学习深入浅出
机器学习是一种基于数据的算法，通过对大量数据进行学习，发现数据的规律和模式，并将这些规律应用到新的数据上，从而做出预测和决策。与传统的计算机程序不同，机器学习算法不需要人工编写所有的规则和逻辑，而是能够自主地从数据中学习并做出预测。训练数据通常包括输入数据和对应的输出数据，例如图像识别中的图片和图片中所表示的物体。算法是指用来训练和优化模型的算法，常见的算法有梯度下降、支持向量机、决策树等。在监督学习中，我们给定一组输入数据和对应的输出结果，算法通过学习输入和输出之间的关系来建立一个预测模型。
2023-04-08 14:06:51
577
原创 一文带你了解机器学习算法
简单的说，机器学习就是让机器从数据中学习，进而得到一个更加符合现实规律的模型，通过对模型的使用使得机器比以往表现的更好，这就是机器学习。对上面这句话的理解：数据：从现实生活抽象出来的一些事物或者规律的特征进行数字化得到。学习：在数据的基础上让机器重复执行一套特定的步骤（学习算法）进行事物特征的萃取，得到一个更加逼近于现实的描述（这个描述是一个模型它的本身可能就是一个函数）。我们把大概能够描述现实的这个函数称作我们学到的模型。更好：我们通过对模型的使用就能更好的解释世界，解决与模型相关的问题。
2023-03-16 12:03:32
774
原创 百度2024届暑期实习后端算法题详解
这是百度2024届暑期实习后端岗位的第一轮笔试，总共有十五道单选题，五道多选题，三道编程题，选择题涉及数据库、计算机网络、操作系统、语言基础、补充代码、哈希算法、linux、数据结构、数学等等；时长两个小时，我用的是go语言，编程题前两题挺简单的，最后一题体感虽然很简短，其实很有深度。话不多说，开冲！
2023-03-15 15:39:29
1541
3
原创 美团2024届暑期实习第一轮后端笔试详解
这是美团2024届暑期实习后端岗位的第一轮笔试，总共有五道编程题，四道 情景算法题，一道 二叉树题目，时长两个小时，我用的是go语言，只AC了前两道，第三道死活通不过，第四道模拟情况太复杂，放弃了，第五道马上写完，可惜没时间了，还是得合理分配时间才行，哭死！！！
2023-03-12 12:01:55
3850
7
原创 一文带你吃透计算机网络（下）
源主机收到这个 ARP 响应数据包后，将得到的目的主机的 IP 地址和 MAC 地址添加到自己的 ARP 列表中，并利用此信息开始数据的传输。的方式发送的，这时同一个子网中的计算机 C, D 也会收到这个数据包的，然后收到这个数据包的计算机，会把数据包的 MAC 地址取出来，与自身的 MAC 地址对比，如果两者相同，则接受这个数据包，否则就丢弃这个数据包。其实在询问MAC地址的数据包中，在对方的MAC地址这一栏中，填的是一个特殊的MAC地址，其他计算机看到这个特殊的MAC地址之后，就能知道广播想干嘛了。
2023-03-12 11:41:07
406
原创 一文带你吃透计算机网络（上）
HTTP/2 是基于 TCP 协议来传输数据的，TCP 是字节流协议，TCP 层必须保证收到的字节数据是完整且连续的，这样内核才会将缓冲区里的数据返回给 HTTP 应用，那么当「前 1 个字节数据」没有到达时，后收到的字节数据只能存放在内核缓冲区里，只有等到这 1 个字节数据到达时，HTTP/2 应用层才能从内核中拿到数据，这就是 HTTP/2 队头阻塞问题。URI 是一种语义上的抽象概念，可以是绝对的，也可以是相对的，而URL则必须提供足够的信息来定位，是绝对的。时间到后，定时任务检查是否需要重传数据。
2023-03-11 09:05:43
680
原创 一文带你吃透MySQL数据库！
InnoDB，其数据文件本身就是索引文件，相比MyISAM，索引文件和数据文件是分离的，其表数据文件本身就是按B+Tree组织的一个索引结构，树的节点data域保存了完整的数据记录，这个索引的key是数据表的主键，因此InnoDB表数据文件本身就是主索引，这被称为“聚簇索引”或者聚集索引，而其余的索引都作为辅助索引，辅助索引的data域存储相应记录主键的值而不是地址，这也是和MyISAM不同的地方。重写日志， 正如之前说的，MySQL是先把磁盘上的数据加载到内存中，在内存中对数据进行修改，再写回到磁盘上。
2023-03-10 09:01:11
549
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人