- 博客(148)
- 收藏
- 关注
RSS订阅
原创 使用stable diffusion webui在本地搭建中文的AI绘图模型
最近一段时间大火的AI绘画引起了各界人士的关注，但是stable diffusion开源的都是英文的模型，本文参考封神榜团队开源的太乙模型以及相关代码，利用stable diffusion webui搭建一个中文的AI绘图模型，在本地实现AI绘画。
2022-12-07 16:20:10
26550
25
原创 英伟达NVIDIA服务器显卡多实例技术（MIG）
多实例技术有点类似于vGPU，如果物理服务器安装的是vmware或者KVM这种虚拟机系统，那么如果想给每个虚拟机分配一张显卡显然显卡不够分，一般6U的服务器也就8张显卡，所以需要用到vGPU技术，将显卡虚拟化成多张显卡，而这玩意跟虚拟机系统一样是需要收费的，按照显卡数量进行授权收费。而如果物理服务器安装的不是虚拟机操作系统，例如安装的是Ubuntu系统，然后采用docker等容器技术，也是需要对显卡进行多实例划分的，提高显卡的利用率。英伟达服务器显卡多实例技术（MIG）
2022-12-06 17:04:17
11357
3
原创 nvidia-smi命令详解和一些高阶技巧介绍
在深度学习等场景中，nvidia-smi命令是我们经常接触到的一个命令，用来查看GPU的占用情况，可以说是一个必须要学会的命令了，普通用户一般用的比较多的就是nvidia-smi的命令，其实掌握了这一个命令也就能够覆盖绝大多数场景了，但是本质求真务实的态度，本文调研了相关资料，整理了一些比较常用的nvidia-smi命令的其他用法。nvidia-smi命令详解和一些高阶技巧介绍。
2022-12-05 17:44:06
22478
4
原创 【计算机网络相关】内网穿透介绍以及使用FRP实现内网穿透Windows远程桌面
内网穿透介绍以及使用FRP实现内网穿透Windows远程桌面。利用内网穿透技术，将内网的一些设备的数据包进行转发，从而实现公网环境访问内网的设备。公网服务器充当的是一个数据交换的作用，我们访问公网IP，然后公网服务器将我们访问的数据转发到内网设备的IP，内网设备将数据在转发给公网服务器，公网服务器将数据转发给本地客户机，从而实现内网穿透，在任何地方访问内网设备。
2022-12-04 14:10:27
9542
原创 【NLP相关】深入理解attention机制（产生、发展、原理、应用和代码实现）
attention机制并不是一个新概念，在很久之前（90年代）就有学者提出，其最早产生并且应用在计算机视觉（CV）领域，之后在自然语言处理（NLP）领域快速发展，最近又在CV领域火了起来。attention机制在深度学习各个领域都被广泛使用，尤其是CV和NLP任务中经常会出现attention机制的身影。本文将从原理角度深入分析attention机制。
2020-10-22 20:45:34
17474
2
原创 VS Code如何使用服务器的Python开发环境
在当今的开发世界中，远程开发已经变得越来越普遍。特别是对于需要大量计算资源或特定配置的项目，使用服务器的开发环境可以大大提高效率。Visual Studio Code（VS Code）是一个功能强大的代码编辑器，支持远程开发。在本文中，我们将探讨如何在VS Code中设置和使用服务器上的Python开发环境。
2023-11-15 21:45:19
634
原创 Ubuntu中安装R语言环境并在jupyter kernel里面增加R kernel
本篇博客旨在指导读者如何在Ubuntu操作系统中安装R语言环境。Ubuntu，作为一款广受欢迎的Linux发行版，因其稳定性、安全性和易用性而被广泛使用。在Ubuntu中安装R语言，将为用户提供一个强大且灵活的环境，用于进行数据分析和统计计算。
2023-11-13 22:31:35
1228
原创 jupyter lab常用插件集合
本篇博客旨在为读者介绍一系列常用且强大的 Jupyter Lab 插件。无论是初学者还是资深用户，你都会在这些插件中发现可以提升你日常工作效率和体验的宝藏。我们将深入探索每个插件的功能、安装方法和使用技巧，帮助你构建一个更加高效、定制化的 Jupyter Lab 工作环境。
2023-11-13 22:19:33
3315
原创 jupyter lab配置列表清单
Jupyter Notebook和Jupyter Lab提供了广泛的配置选项，允许用户根据自己的需求定制运行环境。这些配置项涉及了从日志设置、安全性选项、内核管理，到内容管理等多个方面，每项配置都有其特定的作用和默认值。这个配置文件是Jupyter环境的核心，正确配置这些选项将帮助你创建一个安全、高效、符合个人需求的Jupyter工作环境。根据你的具体使用场景（如教学、数据分析、机器学习等），可能需要调整不同的配置项以获得最佳体验。
2023-11-12 21:59:41
798
原创 保姆级jupyter lab配置清单
本文旨在提供一个全面的Jupyter Lab配置指南，无论你是刚刚开始接触Jupyter Lab，还是希望提高你现有的工作流程，这里都有适合你的内容。从基础配置到高级技巧，从本地安装到远程服务端配置，我们将一步步带你深入Jupyter Lab的世界。此外，本文还将详细介绍如何在Jupyter环境中安装和使用不同的Kernel，包括热门的R语言Kernel，使得你的数据科学项目更加多元和强大。
2023-11-12 21:12:35
2666
原创 大模型部署实战（四）——ChatGLM2-6B
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：更强大的性能、更长的上下文、更高效的推理、更开放的协议。
2023-06-25 21:15:47
827
原创 大模型部署实战（三）——ChatGLM-6B
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。本
2023-06-13 22:02:41
630
原创 大模型部署实战（二）——Ziya-BLIP2-14B-Visual
Ziya-Visual多模态大模型基于姜子牙通用大模型V1训练，具有视觉问答和对话能力。今年3月份OpenAI发布具有识图能力的多模态大模型GPT-4，遗憾的是，时至今日绝大部分用户也都还没有拿到GPT-4输入图片的权限，Ziya-Visual参考了Mini-GPT4、LLaVA等优秀的开源实现，补齐了Ziya的识图能力，使中文用户群体可以体验到结合视觉和语言两大模态的大模型的卓越能力。本文主要用于Ziya-LLaMA-13B的本地部署。
2023-06-12 21:36:11
1847
原创 大模型部署实战（一）——Ziya-LLaMA-13B
Ziya-LLaMA-13B是IDEA基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。本文主要用于Ziya-LLaMA-13B的本地部署。
2023-06-09 15:59:06
5021
1
原创 使用Python处理PDF文件的简介与实践
在现代数字化时代，PDF（Portable Document Format）文件已经成为广泛使用的电子文档格式。无论是在工作中处理文件还是在个人生活中管理文档，我们经常需要对PDF文件进行处理和操作。Python作为一种强大的编程语言，提供了许多工具和库，使得处理PDF文件变得更加简单和高效。本篇博客将介绍如何使用Python处理PDF文件，并展示一些常用的操作和技巧。
2023-05-30 23:50:05
1243
原创 探索对抗样本生成方法：保护机器学习模型的安全性
在当今人工智能时代，机器学习模型被广泛应用于各个领域，包括图像识别、语音识别、自然语言处理等。然而，随着机器学习模型的普及应用，对抗样本攻击也成为了一个备受关注的问题。对抗样本是经过有意设计的、对机器学习模型具有误导性的输入数据，可以引发模型的误判。本文将探索对抗样本生成方法，以期提供一些参考和启示，从而加强机器学习模型的安全性。
2023-05-12 22:28:34
741
1
原创 对抗训练方法：保卫人工智能的盾牌
在当今人工智能技术迅猛发展的时代，保护模型的鲁棒性和安全性变得尤为重要。对抗训练方法应运而生，作为一种有效的防御手段，能够使模型在面对各种攻击和噪声时保持高度的稳定性和准确性。本文将详细介绍对抗训练方法的原理，结合代码讲解，同时探讨其在NLP领域的应用，以及面临的挑战和解决方案。
2023-05-12 22:06:59
1243
1
原创 深入探究语音识别技术：原理、应用与实现
随着人工智能的快速发展，语音识别技术得到了广泛应用。它可以帮助我们实现智能语音助手、自然语言交互等功能，极大地方便了人们的生活。本文将深入探究语音识别技术的原理、应用和实现方法，希望能为读者带来一些有用的启示。
2023-05-10 21:36:59
1884
原创 探索文本生成世界：原理、技术与应用
文本生成技术已经成为人工智能领域中备受关注的研究方向，它在自然语言处理、机器翻译、推荐系统等领域有着广泛的应用。本文将详细介绍文本生成的原理、技术、算法和应用，同时结合代码进行讲解，帮助读者更深入地了解和掌握文本生成技术。
2023-05-10 21:33:18
1001
原创 深度学习与文本聚类：一篇全面的介绍与实践指南
在信息爆炸的时代，文本聚类成为了信息处理的重要任务之一。文本聚类可以帮助我们从海量的文本数据中提取有价值的信息和知识，这对于商业智能、搜索引擎、新闻推荐等应用具有重要的意义。然而，传统的文本聚类方法面临着许多挑战，比如需要手动选择特征、需要对文本进行预处理等。随着深度学习技术的发展，越来越多的研究者开始使用深度学习方法来解决文本聚类的问题。本文将介绍基于深度学习的文本聚类方法，讲解其原理，并结合实例代码进行演示。
2023-05-09 23:12:23
4084
1
原创 主题建模和文本聚类：理论与实践
随着互联网和数字化时代的到来，海量的文本数据变得越来越容易获取。然而，如何从这些文本数据中获取有用的信息是一个非常具有挑战性的问题。主题建模和文本聚类是两个常见的文本挖掘技术，它们可以用于发现文本数据中的主题和模式。本文将介绍主题建模和文本聚类的原理，以及如何使用Python实现。
2023-05-07 22:28:22
1650
原创 文本的清洗和标准化：如何处理混乱的数据？
在现代社会，我们每天都处理大量的文本数据。然而，这些数据常常是混乱的、不一致的，包含着各种各样的错误和噪声。如果我们想要从这些数据中提取有用的信息，首先需要进行文本的标准化和清洗。本文将详细介绍文本的标准化和清洗的原理，并结合代码进行讲解，帮助读者更好地理解如何处理混乱的文本数据。
2023-05-06 22:42:58
2829
原创 深入剖析PyTorch和TensorFlow：理解二者的区别与联系
深度学习框架在近年来的快速发展中发挥了至关重要的作用，其中PyTorch和TensorFlow是最受欢迎的两个框架。它们各自具有独特的特点和优势，但也有一些相似之处。本文将深入剖析PyTorch和TensorFlow，从原理、代码实现等方面对它们进行详细介绍，帮助读者更好地理解二者的区别与联系。
2023-05-05 23:00:48
15933
1
原创 深入理解PyTorch中的训练与推断过程：原理、代码与实践
PyTorch是一种流行的深度学习框架，它以其灵活性和易用性而受到广泛赞誉。在本篇博客中，我们将深入介绍PyTorch中的训练和推断过程，详细解释其原理，并结合代码和实例进行讲解。我们还将探讨损失函数的选择和评估指标的计算，帮助您更好地理解这些关键概念。
2023-05-05 22:53:45
410
原创 深入解析PyTorch中的模型定义：原理、代码示例及应用
在机器学习和深度学习领域，PyTorch是一种广泛使用的开源深度学习框架。它提供了丰富的工具和函数，方便用户定义、训练和部署各种深度学习模型。本篇博客将详细介绍PyTorch中模型定义的方式，并结合原理和代码示例进行讲解，旨在帮助读者深入理解PyTorch的模型定义过程。
2023-05-04 21:36:16
3567
2
原创 PyTorch数据加载工具：高效处理常见数据集的利器
PyTorch是一种广泛应用于深度学习的开源机器学习框架，它提供了丰富的工具和库来简化和加速模型训练的过程。其中，数据加载工具在深度学习任务中起着至关重要的作用。本文将详细介绍PyTorch的数据加载工具，深入讲解其原理，并结合代码示例演示数据加载的过程。同时，我们还将重点解释如何加载两个常见的数据集，即MNIST和CIFAR-10。
2023-05-04 21:25:36
1190
原创 PyTorch中的优化器探秘：加速模型训练的关键武器
在机器学习和深度学习中，优化器是训练模型不可或缺的重要组件。PyTorch作为一种流行的深度学习框架，提供了多种优化器的实现，能够帮助我们更高效地训练神经网络模型。本文将详细介绍PyTorch中的优化器，并深入探讨它们的原理、代码实现以及适用场景和调参技巧，帮助读者更好地理解和应用优化器来加速模型训练。
2023-05-03 21:39:35
740
原创 探索深度学习中的计算图：PyTorch的动态图解析
深度学习已经成为人工智能领域的重要研究方向之一。在深度学习中，计算图扮演着至关重要的角色。PyTorch是一种广泛使用的深度学习框架，它采用了动态图的概念，为用户提供了灵活且易于使用的计算图工具。本文将深入介绍PyTorch中的计算图，包括原理讲解、代码示例和计算图在深度学习中的作用。
2023-05-03 21:30:16
1842
1
原创 深入探索PyTorch中的自动微分原理及梯度计算方法
在机器学习和深度学习领域，自动微分是一项重要的技术，它使我们能够高效地计算复杂函数的梯度。PyTorch作为一种流行的深度学习框架，内置了自动微分功能，为用户提供了强大的梯度计算工具。本文将深入介绍PyTorch中的自动微分原理，并结合具体的原理讲解和代码示例，帮助读者更好地理解和使用自动微分功能。
2023-05-02 21:33:00
1608
原创 深入解析PyTorch中的基本数据结构：张量的维度、形状和数据类型
在深度学习领域，PyTorch作为一种广泛使用的深度学习框架，其强大的数据处理能力和高效的计算性能备受推崇。在PyTorch中，基本数据结构之一的张量（Tensor）扮演着至关重要的角色，它是存储和变换数据的基本单位。本文将深入介绍PyTorch中的张量，包括维度、形状和数据类型，并结合具体的原理和代码示例，帮助读者更好地理解和应用PyTorch中的基本数据结构。
2023-05-02 21:15:51
1359
原创 解密PyTorch动态计算图：打破深度学习束缚的秘密武器
深度学习在近年来取得了巨大的突破，而PyTorch作为一种广泛应用的深度学习框架，以其动态计算图的优势成为了研究者和工程师们的首选。本文将深入探讨PyTorch动态计算图的优势，解释其原理，并通过代码示例来进一步加深理解。了解PyTorch动态计算图的优势不仅能够帮助我们更好地使用这一框架，还能够增加对深度学习的理解和创新。
2023-05-01 23:24:47
969
原创 PyTorch：深度学习框架的优雅演进与设计理念
在人工智能领域中，深度学习的快速发展催生了许多强大的工具和框架。其中，PyTorch作为一种强大而灵活的深度学习框架，引起了广泛的关注和使用。本文将深入探讨PyTorch的起源、设计理念，并结合代码讲解其原理，帮助读者全面了解PyTorch的魅力。
2023-05-01 23:18:03
1327
1
原创 从训练到实际应用：深度学习模型的部署探秘
随着深度学习技术的快速发展，越来越多的深度学习模型在各种应用领域中取得了卓越的成果。然而，训练一个高性能的深度学习模型只是整个应用过程的一部分，将训练好的模型顺利地部署到实际应用环境中同样具有挑战性。本篇博客将深入探讨深度学习模型的部署流程，并结合实际案例和代码，详细介绍深度学习模型的部署原理与实践。
2023-04-13 01:02:40
2693
1
原创 超越传统神经网络——探索卷积神经网络及其变种
在深度学习领域，卷积神经网络（Convolutional Neural Networks, CNNs）作为一种经典的神经网络结构，以其在图像处理、计算机视觉和语音识别等领域的卓越性能而闻名。CNNs在图像处理中引领了一系列革命性的变革，例如图像分类、物体检测、语义分割等任务，取得了显著的成果。随着深度学习的快速发展，各种卷积神经网络的变种也应运而生，进一步提升了模型的性能。本篇博客将深入探讨卷积神经网络及其变种的原理，并通过实际案例和代码演示，展示其强大的能力和广泛的应用。
2023-04-12 22:56:23
788
原创 深入探讨自然语言处理中的Label Smooth技术
在自然语言处理（NLP）领域，标签平滑（Label Smooth）是一种常用的技术，用于改善神经网络模型在分类任务中的性能。随着深度学习的发展，标签平滑在NLP中得到了广泛应用，并在众多任务中取得了显著的效果。本文将深入探讨Label Smooth技术的原理、优势以及在实际应用中的案例和代码实现。
2023-04-11 23:31:53
521
原创 Batch Normalization与Layer Normalization的区别与联系
深度学习作为人工智能领域的热门技术，在图像识别、语音识别、自然语言处理等领域取得了显著的成果。然而，随着神经网络模型的不断深化和复杂化，一些常见的问题如梯度消失、梯度爆炸、模型的训练速度变慢等也逐渐浮现出来。为了解决这些问题，Batch Normalization（简称BN）和Layer Normalization（简称LN）作为深度学习中的重要技术，应运而生。本篇博客将详细介绍BN和LN的原理，并通过案例和代码展示它们在深度学习中的应用和优势。
2023-04-11 23:18:51
1185
原创 深入探索：分布式训练下的深度学习之路
随着深度学习在各个领域的广泛应用，越来越多的研究者和工程师开始关注深度学习分布式训练技术。传统的单机训练在处理大规模数据和复杂模型时面临着计算资源瓶颈和训练时间延长的问题。而分布式训练通过将计算和通信任务分配到多个节点上，可以充分利用集群中的计算资源，显著加速模型的训练过程。
2023-04-10 23:40:17
486
原创 超越时空：加速预训练语言模型的训练
随着自然语言处理（NLP）领域的快速发展，预训练语言模型（PTLM）已成为许多NLP任务的重要基石，如文本生成、情感分析、文本分类等。然而，传统的PTLM训练方法通常需要大量的计算资源和时间，限制了模型的训练速度和效果。那么，如何加速PTLM的训练过程，从而在时空上超越传统方法？本文将介绍一些基于原理的方法，结合实际案例和代码，来探讨如何在加速PTLM训练方面取得突破性的进展。
2023-04-10 23:28:21
437
1
原创 深入了解Hugging Face Transformers库：NLP的转换之力
Hugging Face Transformers库是一个用于自然语言处理（NLP）任务的Python库，提供了各种预训练模型，包括BERT、GPT-2、RoBERTa等。该库是由Hugging Face开发的，旨在提供易于使用和灵活的接口，以便在NLP任务中使用预训练模型。本篇博客将对Hugging Face Transformers库进行详细介绍，包括其原理和代码实现，以帮助您更好地理解和应用该库。
2023-04-09 22:28:18
490
原创 Deepspeed：让大规模深度学习更快更省资源的神器
在人工智能领域，深度学习已经成为了热门的话题。但是，深度学习模型的训练需要耗费大量的时间和计算资源。为了提高训练速度并节省资源，微软推出了Deepspeed，这是一款专门用于训练大规模深度学习模型的神器。本文将详细介绍Deepspeed的原理和应用，并通过代码的方式进行讲解。
2023-04-09 22:23:24
1573
1
自然语言处理文本匹配任务baseline
2023-01-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人