机器学习
文章平均质量分 66
GodGump
这个作者很懒,什么都没留下…
展开
-
GraphRAG论文解读
人类在各个领域的成就依赖于我们阅读和推理大量文档的能力,这种能力通常能得出超越文本本身所陈述内容的结论。微软根据上图结论和自身的数据,做了下图的尝试。Graph RAG 管道使用了由 LLM 生成的源文档文本的图索引。这个索引包含了节点(例如实体)、边(例如关系)和协变量(例如声明),这些元素通过针对数据集领域的 LLM 提示被检测、提取并总结出来。原创 2024-08-26 02:29:07 · 1109 阅读 · 0 评论 -
LivePortrait 本地部署教程
强大且开源的可控人像AI视频生成项目,在Github上。1.将其裁剪为1:1 的宽高比(例如 512×512 或 256×256 像素),或通过 启用自动裁剪–flag_crop_driving_video。–scale_crop_driving_video、–vy_ratio_crop_driving_video选项来调整比例和偏移量2.重点关注头部区域,与示例视频类似。3.尽量减少肩部运动。4.确保参照视频的第一帧是正面且表情中性。原创 2024-07-25 01:52:17 · 490 阅读 · 0 评论 -
制作显卡版docker并配置TensorTR环境
cudnn是NVIDIA推出的用于自家GPU进行神经网络训练和推理的加速库,用户可通过cudnn的API搭建神经网络并进行推理,cudnn则会将神经网络的计算进行优化,再通过cuda调用gpu进行运算,从而实现神经网络的加速(当然你也可以直接使用cuda搭建神经网络模型,而不通过cudnn,但运算效率会低很多)tensorrt其实跟cudnn有点类似,也是NVIDIA推出的针对自家GPU进行模型推理的加速库,只不过它不支持训练,只支持模型推理。(训练需要精确,推理不需要那么精确)怎么查自己电脑的cuda?原创 2024-07-14 15:06:59 · 564 阅读 · 0 评论 -
谷歌内置AI部署
使用下载的浏览器依次导航到下面两个地方,然后点击enablebypass以及enable,然后重启浏览器。一般它会提示你重启。找到Device Model结尾的说明成功了,如下图所示(博主为了测试删除了原来的模型重新来了一遍)注意这个目前可以离线使用,再也不用为了查个东西上网了。注意这个版本不需要卸载之前版本。原创 2024-07-11 02:56:51 · 391 阅读 · 0 评论 -
DB-GPT Docker部署
本地部署大模型,可离线下载后放置DB-GPT/models目录下(启动容器后docker cp即可)。docker cp后别着急提交新镜像,可能会出现要安装其他包。原创 2024-06-27 15:34:12 · 745 阅读 · 2 评论 -
ChatTTS源码部署
在构建和运行chatTTS项目时,我遭遇了一些报错。经过一系列的自查和网上搜索,我发现了一个由社区提供的补丁,用于解决我所遇到的特定问题。我下载了该补丁,并按照说明将其放置在项目目录/models/pzc163/chatTTS/asset/文件夹内。千万记住,放到/models/pzc163/chatTTS/asset/下,其他目录认不出来。cuda版本的torch以及N卡驱动安装 或者 CPU版torch。python版本>=3.9。原创 2024-06-26 23:55:10 · 327 阅读 · 0 评论 -
HuggingFace换源
进入huggingface的主页然后找到设置(setting)点击show以后,获取token。在需要换源的文件前加上下列代码。在需要换源的文件前加上下列代码。原创 2024-05-19 05:07:43 · 737 阅读 · 0 评论 -
Langchain实战
LangChain是一个基于大语言模型(如ChatGPT)的Python框架,专为构建端到端语言模型应用而设计。它提供了一套全面的工具、组件和接口,旨在简化与大型语言模型(LLM)和聊天模型的交互过程,从而轻松创建出功能强大的应用程序。LangChain不仅方便管理语言模型的交互,还能将多个组件灵活链接,满足各种应用场景的需求。使用LangChain,您可以更加高效地构建出具有创新性和实用性的语言模型应用。(这个就是langchain配合文心生成的介绍)原创 2024-05-08 16:11:21 · 973 阅读 · 0 评论 -
Meta Llama 3本地部署
下载完后在根目录进入命令终端(windows下cmd、linux下终端、conda的话activate)然后放到C:\Windows\System32 下。不要控制台,因为还要下载模型。在验证哪里直接输入刚才链接即可。如果报错没有wget,则。创建chat.py脚本。原创 2024-04-23 22:36:58 · 1167 阅读 · 0 评论 -
SadTalker AI部署教程
然后git clone https://github.com/Winfredy/SadTalker.git。然后在根目录下替换即可。然后放到源代码根目录。原创 2024-04-21 08:04:26 · 329 阅读 · 0 评论 -
MetaGPT——一个面向编程的多智能体框架
MetaGPT,作为一种多智能体框架,以其独特的方式引领着这一领域的发展。它利用标准作业程序(SOP)来协调基于大语言模型的多智能体系统,实现了元编程技术的突破。该框架通过模拟一个虚拟软件团队,将智能体赋予了不同的角色,如产品经理、架构师、项目经理、工程师、质量工程师等,并通过引入SOP作为开发流程,使这些智能体能够高效地协同工作。MetaGPT的核心理念是将多智能体视为一个智能体社会。在这个社会中,智能体、环境、标准流程(SOP)、通信和经济共同构成了其运作的基石。原创 2024-04-08 13:41:45 · 1603 阅读 · 0 评论 -
anaconda创建环境时安装默认的第三方库
近期由于多个项目在多头并举,出现了每次安装环境都要重新打一遍指令的麻烦问题,出于节约时间从而提高工作效率的目的。我尝试了很多方法,最后发现,其实anaconda的文档中就有这方面的教程,为了让更多人免于重复配置环境,特此写了本文。本文以numpy为列子。原创 2023-12-27 22:04:39 · 653 阅读 · 0 评论 -
sovits远程访问设置
把blocks.py的如下部分,false改为true。原创 2023-09-11 12:04:32 · 360 阅读 · 0 评论 -
yolov5手机版移植
然后把yolov5s-sim-opt.bin和yolov5s-sim-opt.param放在文件夹ncnn-andorid-yolov5/app/src/main/assets里。stride16和stride32的修改根据.param文件里的Permute后的数字进行修改。这个文件在jni目录下,搜索int ret = yolov5定位,然后把ret的值改成自己的。对了鹅厂NCNN下载20221128的,新版我试了8月和5月的一堆报错,给大家避坑一下。修改权重文件路径为自己的,如下图。原创 2023-09-03 21:47:42 · 309 阅读 · 0 评论 -
AI翻唱整合
因为只训练了800步,效果就那样(许嵩的声音,如有侵权请联系作者删除视频),有机器声勿喷,至少要1W步才会没有,我的960显卡真的做不了,至少要20显卡。在同一个目录下新建3个文件,在第一个文件中放原唱歌曲,第二个文件夹放输出的歌曲,注意不要出现中文名并且不要改变格式,源文件是MP3目标文件就MP3。然后将这些文件放在第三个文件夹,为了保证训练效果,每个时间段控制在15到20S,分割工具用audio sicer然后把目录放在dataraw目录下。安装完后将模型文件解压,然后粘贴到安装目录的这里。原创 2023-06-15 15:23:37 · 858 阅读 · 0 评论 -
python与统计学(未完待续)
在我作为NLP算法工程师的一些工作中,我使用概率分布来模拟不同种类的数据集,并识别我的数据中的显著模式。概率分布描述了随机事件可能结果的可能性。概率分布可以表示简单随机事件的可能结果。例如掷硬币或掷骰子。它们也可以表示更复杂的事件,例如新药物成功治疗医疗条件的概率。随机变量表示随机事件可能结果的值。有两种类型的随机变量:离散和连续。离散随机变量具有可数的可能值。通常,离散变量是可以计数的整数。例如,如果您掷骰子五次,您可以计算骰子落在2上的次数。如果您掷硬币五次,您可以计算它落在正面的次数。原创 2023-04-14 22:05:50 · 292 阅读 · 0 评论 -
CodeFormer 安装
2.执行python开头的命令时,把[input folder]整体替换成待处理的图片所在的文件夹路径。整体图像和视频增强同理,都是把[]替换成路径。1.每次使用前都要先进入cmd,执行cd CodeFormer,进入安装目录后再执行对应命令。,并将其放到weights/CodeFormer下(如果不行,可以用下面的命令),并将其放到weights/facelib下(如果不行,可以用下面的命令)图片修复、去水印、黑白还原为彩色等功能。4.w为保真度,取值为0到1。3.结果在result里面。原创 2023-01-18 16:11:22 · 20105 阅读 · 8 评论 -
Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis翻译(不含实验部分)
(1)文中出现[xxx]表示原文引用的文献序号(2)大多数是使用Transform模型机器翻译的,本人感觉自己的经验读了一遍以后,进行了一些修改,如果有问题可以一起讨论We describe a neural network-based system for text-to-speech (TTS) synthesis that is able to generate speech audio in the voice of different speakers, including those unse翻译 2023-01-12 21:43:28 · 309 阅读 · 0 评论 -
CV基础常用知识点
GoogLeNet主要由Inception模块构成B1模块:使用一个64通道的7×7卷积层B2模块:使用2个卷积层:首先是64通道的1×1卷积层,然后是将通道增大3倍的3×3卷积层。B3模块:串联2个完整的Inception块, 分别是Inception3a和Inception3b。原创 2022-11-15 22:54:43 · 1309 阅读 · 0 评论 -
FPS_AI编程
目前也在根据代码进行AI打FPS的反击程序的测试,有兴趣的可以一起讨论。我们以APEX为列子进行说明。这个依赖组件很多大家可以依次输入以下命令安装,也可以自己写个记事本批量安装。param1需要传入窗口的类名,param2需要传入窗口的标题。不使用的理由:不能指定获取程序的窗口,因此窗口也不能遮挡。一般情况下,参数一填写none即可,参数二是游戏名字。第一个参数,设定鼠标的行为:相对移动或者绝对移动。第二个参数,x轴相对移动的距离。第三个参数,y轴相对移动的距离。原创 2022-11-09 19:55:00 · 1729 阅读 · 0 评论 -
二维码的制作与识别
比如我们要生成一个内容为“test_qr”,保存文件的名字(也可以是路径)为"test.png",则代码如下。说明您下载的这个版本不支持中文。原创 2022-08-25 10:45:01 · 364 阅读 · 0 评论 -
用ppo算法通关超级玛丽
ppo算法作为强化学习领域outofart的算法,如果你要学习强化学习的话ppo会是你最常用的算法。openai早已把ppo作为自己的默认算法,所以我希望你能认真学完ppo算法并为自己所用。原创 2022-07-29 19:33:12 · 1072 阅读 · 2 评论 -
基于人脸的常见表情识别——模型搭建、训练与测试
阿里云训练营摘取项目原创 2022-07-29 19:02:31 · 650 阅读 · 0 评论 -
基于人脸的常见表情识别(2)——数据获取与整理
对于很多初⼊深度学习计算机视觉领域的朋友来说,当前开源资料⾮常多,但有时候难以适从,其中很多资料都没有包含完整的项⽬流程,⽽只是对某个流程的部分截取,对能⼒的锻炼不够。⼈脸表情识别(facialexpressionrecognition,FER)作为⼈脸识别技术中的⼀个重要组成部分,近年来在⼈机交互、安全、机器⼈制造、⾃动化、医疗、通信和驾驶领域得到了⼴泛的关注,成为学术界和⼯业界的研究热点,是⼈脸属性分析的重点。mouth_det_img放置了一些包含人脸的图片,在提取嘴唇区域将会使用到。...原创 2022-07-29 18:40:51 · 718 阅读 · 0 评论 -
基于人脸的常见表情识别(1)——深度学习基础知识
卷积在工程和数学上有非常多的应用,在信号处理领域中,任意一个线性系统的输出,就是输入信号和系统激励函数的卷积。放到数字图像处理领域,卷积操作一般指图像领域的二维卷积。一个二维卷积的案例如上,在图像上滑动,取与卷积核大小相等的区域,逐像素做乘法然后相加。例如原始图像大小是5×5,卷积核大小是3×3。...原创 2022-07-29 13:26:34 · 226 阅读 · 0 评论 -
迁移学习(含代码示例)
先安装fasttext文本分类种类二分类:文本被分类两个类别中, 往往这两个类别是对立面, 比如: 判断一句评论是好评还是差评.单标签多分类:文本被分入到多个类别中, 且每条文本只能属于某一个类别(即被打上某一个标签), 比如: 输入一个人名, 判断它是来自哪个国家的人名.多标签多分类:文本被分人到多个类别中, 但每条文本可以属于多个类别(即被打上多个标签), 比如: 输入一段描述, 判断可能是和哪些兴趣爱好有关, 一段描述中可能即讨论了美食, 又太讨论了游戏爱好.fasttext_data文原创 2022-06-16 14:47:11 · 5983 阅读 · 0 评论 -
Transformer
基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, 文本生成等. 同时又可以构建预训练语言模型,用于不同任务的迁移学习.在接下来的架构分析中, 我们将假设使用Transformer模型架构处理从一种语言文本到另一种语言文本的翻译工作, 因此很多命名方式遵循NLP中的规则. 比如: Embeddding层将称作文本嵌入层, Embedding层产生的张量称为词嵌入张量, 它的最后一维将称作词向量等.源文本嵌入层及其位置编码器目标文本嵌入层及其位置编码器如图原创 2022-06-09 22:26:12 · 372 阅读 · 0 评论 -
RNN以及其改进版(附2个代码案列)
RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出两个黑点一起到达蓝色区域(并在之前形成整体)于帮助调节流经网络的值, tanh函数将值压缩在-1和1之间梯度计算优点:LSTM的门结构能够有效减缓长序列问题中可能出现的梯度消失或爆炸, 虽然并不能杜绝这种现象, 但在更长的序列问题上表现优于传统RNN.缺点:由于内部结构相对较复杂, 因此训练效率在同等算力下较传原创 2022-06-07 02:08:47 · 1940 阅读 · 2 评论 -
自然语言之文本预处理
感谢阅读文本处理的基本方法分词概念作用jieba安装结巴识别模式精确模式:全模式:搜索引擎模式:全模式和搜索引擎模式的区别:向切分依据的字典中添加、删除词语用户自定义词典(utf-8最佳)停用词文本处理的基本方法分词概念分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行文中,单词之间是以空格作为自然分界符的,而中文只是字、句和段能通过明显的分界符来简单划界,唯独词没有一个形式上的分界符。分词过程就是找到这样分界符的过程.作用词作为语言语义理解的最小单元, 是人类理解文本语言的原创 2022-06-02 00:21:00 · 1320 阅读 · 0 评论 -
NLP基础之RNN基础
感谢阅读自然语言处理概述词嵌入层案列代码自然语言处理概述自然语言处理(Nature language Processing, NLP)研究的主要是通过计算机算法来理解自然语言。对于自然语言来说,处理的数据主要就是人类的语言,例如:汉语、英语、法语等,由于该类型的数据不像我们前面接触的过的结构化数据、或者图像数据可以很方便的进行数值化。所以,在本章节,我们主要学习如何将文本数据进行数值化的词嵌入技术、以及如何对文本数据建模的循环网络模型。词嵌入层词嵌入提供了词的密集表示及其相对含义。最简单的理解就是:原创 2022-05-30 00:05:19 · 263 阅读 · 0 评论 -
卷积神经网络概述以及简单案列
感谢阅读CNN概述卷积层卷积计算PaddingstridePyTorch 卷积层 API池化层经典案列图像分类CIFAR10 数据集CNN概述卷积神经网络(Convolutional Neural Network)是含有卷积层的神经网络. 卷积层的作用就是用来自动学习、提取图像的特征CNN网络主要有三部分构成:卷积层、池化层和全连接层构成,其中卷积层负责提取图像中的局部特征;池化层用来大幅降低参数量级(降维);全连接层类似人工神经网络的部分,用来输出想要的结果。卷积层卷积计算input 经过 f原创 2022-05-28 17:28:41 · 298 阅读 · 0 评论 -
深度学习之二手手机价格预测
文章目录特征解释代碼分布解析导包构建数据集创建模型模型训练模型预测效果特征解释battery_power:电池一次可储存的总能量,单位为毫安时blue :是否有蓝牙clock_speed:微处理器执行指令的速度dual_sim:是否支持双卡fc:前置摄像头百万像素four_g:是否有4Gint_memory:内存(GB)m_dep:移动深度(cm)mobile_wt:手机重量n_cores:处理器内核数pc:主摄像头百万像素px_height:像素分辨率高度px_width:像素原创 2022-05-28 00:15:29 · 1671 阅读 · 1 评论 -
Dropout正则化
感谢阅读dropout导论dropout导论dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意:神经元的坏死是暂时原创 2022-05-27 16:15:34 · 350 阅读 · 0 评论 -
adam 神经网络
感谢阅读adam原理以及相对优势原理通俗解释代码版理解相对优势代碼案列adam原理以及相对优势原理通俗解释Adam优化器结合了AdaGrad和RMSProp两种优化算法的优点。对梯度的一阶矩估计(First Moment Estimation,即梯度的均值)和二阶矩估计(Second Moment Estimation,即梯度的未中心化的方差)进行综合考虑,计算出更新步长。代码版理解初始:学习率 lr初始:平滑常数(或者叫做衰减速率) ,分别用于平滑m和v初始:可学习参数初始:while原创 2022-05-26 23:53:17 · 983 阅读 · 0 评论 -
指数移动加权平均
感谢阅读指数移动加权平均概念公式以及理解公式理解代碼实现指数移动加权平均概念我们最常见的算数平均指的是将所有数加起来除以数的个数,每个数的权重是相同的。加权平均指的是给每个数赋予不同的权重求得平均数。移动平均数,指的是计算最近邻的 N 个数来获得平均数。公式以及理解公式其中:St 表示指数加权平均值;Yt 表示 t 时刻的值;β 调节权重系数,该值越大平均数越平缓。理解1.指数移动加权平均法,是指各数值的加权系数随时间呈指数式递减,越靠近当前时刻的数值加权系数就越大。2.指数移动加权原创 2022-05-26 16:50:32 · 833 阅读 · 0 评论 -
你真的懂熵了吗(含交叉熵)
感谢阅读1.熵(Entropy)1.1 熵的多种说法1.2 首次提出1.3 直接计算熵2.交叉熵(Cross-Entropy)2.1 交叉熵的由来2.2 熵的估计受到的影响2.3 交叉熵损失函数公式1.熵(Entropy)1.1 熵的多种说法不同的人、不同的领域对熵都做出了不同的解释:混乱程度,不确定性,惊奇程度,不可预测性,信息量等等。1.2 首次提出信息论中熵的概念首次被香农提出,目的是寻找一种高效/无损地编码信息的方法:以编码后数据的平均长度来衡量高效性,平均长度越小越高效;同时还需满足“无原创 2022-05-26 01:31:56 · 296 阅读 · 0 评论 -
自动微分模块与线性回归构建
感谢阅读自动微分模块非标量代码实现:线性回归构建流程代码实现导库(准备工作)1.准备训练集数据数据集查看:使用dataloader构建数据加载器:2.模型构建:3.设置损失函数和优化器4.模型训练自动微分模块训练神经网络时,最常用的算法就是反向传播。在该算法中,参数(模型权重)会根据损失函数关于对应参数的梯度进行调整。为了计算这些梯度,PyTorch内置了名为 torch.autograd 的微分引擎。它支持任意计算图的自动梯度计算。以x+y=1 2x+y =2(w和b内定波动中心)非标量代码实现:原创 2022-05-22 23:28:07 · 229 阅读 · 0 评论 -
pytorch之张量基础
感谢大家的阅读张量的简介以及基础操作张量的多种创建方法已有数据创建张量创建指定形状的张量创建线性和随机张量torch.arange 和 torch.linspace 创建线性张量张量元素类型转换张量的简介以及基础操作PyTorch中最基本的操作对象就是tensor,表示一个多维矩阵,比如0维矩阵就是一个点,一维矩阵就是向量,二维矩阵就是一般的矩阵,多维矩阵就相当于一个多维数组,这个numpy是对应的。在运行以下代码前先导库:import torchimport numpy as npimport原创 2022-05-22 01:17:47 · 243 阅读 · 0 评论 -
特征工程整理(仅仅是通用处理,不含个列处理)
感谢阅读1.特征工程是什么?2.数据漏斗2.1数据漏斗解决的问题2.2解决不属于同一量纲的问题归一化(区间缩放法)标准化2.3解决信息冗余的问题2.4解决缺失值问题3.特征选择3.1Filter(阈值过滤法)3.1.1 方差选择法3.1.2 相关系数法3.1.3 卡方检验3.2 Wrapper(包装法)3.3 Embedded3.3.1 使用带惩罚项的基模型3.3.2 基于树模型的特征选择法4 . 特征降维4.1 主成分分析法(PCA)4.2 线性判别分析法(LDA)1.特征工程是什么?数据和特征决定了原创 2022-05-15 18:06:35 · 397 阅读 · 0 评论 -
龙珠训练营机器学习-LightGBM学习笔记
本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容,学习链接为:点我跳转感谢各位的阅读学习知识点概要学习内容1.LightGBM的介绍与应用1.1 LightGBM的介绍1.1.1 LightGBM的主要优点1.1.2 LightGBM的主要缺点1.2 LightGBM的应用2.代码流程3.英雄联盟蓝方是否获胜预测3.1 下载并读取数据个人补充内容学习知识点概要LightGBM的介绍与应用、代码流程、英雄联盟胜利预测代码学习内容1.LightGBM的介绍与应用1.1 LightGBM的介绍原创 2022-05-14 01:42:21 · 611 阅读 · 0 评论