![](https://img-blog.csdnimg.cn/f184e0dd76d041abab633112d96712e4.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
随笔
文章平均质量分 74
不动笔墨不读书
python算法工程师
人生即是断舍离
展开
-
chatglm微调
②Lora:技术原理简单,但真有奇效,需要注意rank大小的设置,是根据业务领域来的,领域垂直性越强,就要设置的越大,比较有意思的就是数据,看起来最没技术含量的事情,大家不愿意做,但其实是最难的,数据收集存在诸多问题,数据少且封闭,缺乏标注,垂直领域往往对结果要求很高。解释一下矢量,解释一下万有引力,解释一下摩擦力,解释一下直线运动,刚体运动的分类,解释一下机械波,热力学第一定律。text2vec-base,chatglm-6b 这两个是必要的,下载后,对应的路径要改成自己下载后的路径。原创 2023-07-18 22:23:44 · 2502 阅读 · 0 评论 -
监控程序可以监控网站的端口流量情况
https://github.com/louislam/uptime-kuma原创 2023-07-18 21:04:20 · 507 阅读 · 0 评论 -
llmaindex 多文档管理,索引构建
金十数据6月15日讯,格力电器董秘邓晓博在6月15日举办的2022年度业绩说明会上表示,公司在绿色能源领域持续发力,致力于新能源电器及近用户侧能源互联网系统关键技术研究和产品开发,协同构建能源信息化与直流化新生态,推动绿色经济转型,目前主要聚焦于光伏空调板块、新能源汽车板块和锂电池板块的布局。要将Redis与GPT结合,我们可以将GPT模型应用于某些特定的应用场景,例如智能对话系统、推荐系统等,而Redis则作为缓存系统,提高整体性能。在查询时,从查询中提取关键词,只查询映射的节点。原创 2023-07-18 20:52:46 · 944 阅读 · 0 评论 -
调研:开源版gpt code interpreter
找到了一些开源项目,但都还比较初期。原创 2023-07-18 20:49:48 · 1532 阅读 · 0 评论 -
LangChain for LLM Application Development 课程要点
课程链接: https://learn.deeplearning.ai/langchain/简介了一下 LangChain 等。LangChain 提供的一个关键能力就是 output parsing,如果需要返回结构化(JSON)的结果,可以考虑使用 ResponseSchema、StructuredOutputParser。提到了几种memory,重点讲上下文 Conversation Memory,由于大模型有token长度限制,上下文是有限的。主要讲解了三类 Chain 的用法这是调用大模型的一个基原创 2023-07-16 22:55:25 · 2406 阅读 · 0 评论 -
GPT 最佳实践
由于GPT具有固定的上下文长度,在用户和助手之间的对话中,如果整个对话都包含在上下文窗口中,则无法无限期地进行对话。对此问题有各种解决方法,其中之一是对先前的对话进行总结。一旦输入的大小达到预定的阈值长度,这可能会触发一个查询,对对话的一部分进行总结,并将之前对话的总结作为系统消息的一部分包括进来。另一种选择是在整个对话期间异步地在后台对先前的对话进行总结。另一种解决方案是动态选择与当前查询最相关的先前对话部分。请参考策略“使用基于嵌入式搜索来实现高效的知识检索”。原创 2023-07-16 21:54:26 · 818 阅读 · 0 评论 -
FinGPT 研究
尽管BloombergGPT在金融方面的能力非常出色,但它的计算量非常大。它花了大约130万GPU小时进行培训,按AWScloud2.3美元的费率计算,相当于每次培训花费约300万美元。与BloombergGPT之类模型的高计算成本形成对比的是,FinGPT通过关注顶级开源LLMs的轻量级适配,提供了一个更易于访问的解决方案。适应费用大幅下降,估计每次培训不到300美元。这种方法确保了及时更新和适应性,特别是在动态金融领域。原创 2023-07-16 21:51:00 · 905 阅读 · 0 评论 -
数字人技术调研
(3)Mac和Windows客户端,有一个数字人中本聪(就像以前的瑞星小狮子一样)目前选择Live2D方案,后期支持中本聪变身二次元萌妹,各种中本姬。(1)PC网页端有一个数字人中本聪,可以说话,与用户进行生动的交互。**一定不是基于头像的聊天窗口,一定要有数字人 **最基础的需求就是:弄一个插画人,然后实现语音口型同步。然后鼠标垫下他,就能有些反馈,鼠标移动,他的头跟着动。7月中旬之前搭建中本聪GPT的PC网页版本。(2)手机APP有一个数字人中本聪。大把素材在网上也能便宜买到。原创 2023-07-16 21:49:54 · 574 阅读 · 0 评论 -
使用 ChatGPT API 构建系统 课程要点总结
介绍了两种 LLM 的情况:Base LLM 使用监督学习进行训练,其开发周期相当漫长,而使用 Instruction tuned LLM 开发 prompt-based AI 则可以将开发过程极大程度缩短。原创 2023-07-16 21:48:34 · 1471 阅读 · 0 评论 -
要研究的方向和准备
大语言模型(Large Language Model)崛起后,开发人员只要借助大语言模型,完全可以做到现在大部分NLP工程师在做的事,比如文本分类、实体抽取、推理等。可以预见的是,随着LLM能力的不断提升,可能做的比NLP工程是都要好。而Meta发布的SAM(Segment Anything Model)也让让CV走到尽头,SAM将Engineering的开箱即用做到了极致。原创 2023-07-16 21:46:46 · 288 阅读 · 0 评论 -
GPT 开发技术选取
GPTCache 语义缓存节省开销。原创 2023-06-01 11:51:40 · 1006 阅读 · 1 评论 -
chroma本地化的向量数据库的技术调研
安装你的本地电脑需要有完整的c++的环境不然在编译hnswlib库的时候会报错安装vs 勾选c++的桌面开发使用教程。原创 2023-05-30 17:34:04 · 4358 阅读 · 2 评论 -
向量数据库
向量数据库是一种专门用于存储和处理向量数据的数据库。与传统的关系型数据库不同,向量数据库可以有效地处理高维向量数据,如图像、音频、自然语言等数据类型。向量数据库通常具有以下特点:支持向量索引:向量数据库使用向量索引来快速搜索和检索向量数据。这些索引可以利用距离度量来计算向量之间的相似度,并快速找到最相似的向量。支持向量运算:向量数据库通常支持向量之间的运算,如向量加法、减法、点积、叉积等。高效存储和查询:向量数据库使用专门的存储引擎来存储向量数据,并使用高效的查询算法来快速检索数据。原创 2023-05-25 09:22:38 · 3265 阅读 · 0 评论 -
可视化点云,并对点云的初步了解
python 生成 gif。这个数据集大概4个g左右。原创 2023-05-15 23:29:17 · 246 阅读 · 0 评论 -
算法工程师面试题
LoG算法的优点是可以检测出不同尺度的边缘,但缺点是计算量较大,需要对图像进行多次滤波和卷积运算,容易受到噪声和尺度参数的影响。Sobel算法的优点是计算速度较快,对噪声和图像分辨率较低的图像效果较好,但缺点是容易受到边缘方向的影响,可能会漏检和误检边缘。当遇到大于等于2的元素时,就认为当前区间结束,计算区间的长度,并与当前的最大连续区间进行比较,更新最大连续区间。需要注意的是,在使用OpenCV库时,需要将Mat类型的图像转换为QImage类型的图像,才能在Qt界面中显示。原创 2023-05-12 13:21:44 · 823 阅读 · 0 评论 -
用C++实现矩阵的运算和手写数字识别
Matrix.hpp#ifndef MATRIX_HPP#define MATRIX_HPP#include <vector>#include <initializer_list>#include<iostream>#include <ostream>#include <functional>/*原则1.成员变量尾部有“_”2.头文件内不允许写using namespace 这种语法3.传值的时候,非基础类型,一般会传递引用原创 2023-05-12 05:58:57 · 566 阅读 · 0 评论 -
gazebo仿真
可以使用 Gazebo 提供的传感器模型和 ROS 提供的消息类型,例如。需要注意的是,ROS 和 Gazebo 之间的交互是异步的,即 ROS 发布的消息和 Gazebo 接收的消息之间可能存在延迟。在 Gazebo 中接收控制指令:通过在 Gazebo 中加载 ROS 插件,接收 ROS 中发布的控制指令,并将其转换为 Gazebo 中的模型控制指令。在 ROS 中加载 Gazebo 插件:使用 ROS 提供的插件系统,加载 Gazebo 插件,将 ROS 和 Gazebo 进行连接。原创 2023-05-11 13:20:59 · 556 阅读 · 0 评论 -
农业机器人技术栈
在 ROS(Robot Operating System)中,发布者(Publisher)和订阅者(Subscriber)是两个重要的概念,用于实现 ROS 中节点之间的通信。发布者(Publisher)是一个 ROS 节点,用于发布消息(Message)到 ROS 网络中,其他节点可以通过订阅者(Subscriber)来接收这些消息。发布者通常使用 ROS 提供的类来实现,该类提供了向 ROS 网络中发布消息的函数和方法。原创 2023-05-10 13:25:21 · 1070 阅读 · 0 评论 -
使用OpenCV部署全景驾驶感知网络YOLOP
此外,在本套程序里,还有一个export_onnx.py文件,它是生成onnx文件的程序。不过,export_onnx.py文件不能本套程序目录内运行的, 假如您想了解如何生成.onnx文件,需要把export_onnx.py文件拷贝到https://github.com/hustvl/YOLOP 的主目录里之后,并且修改lib/models/common.py里的代码, 这时运行export_onnx.py就可以生成onnx文件了。在导出模型时,你需要指定模型、示例输入以及要保存的ONNX文件的名称。原创 2023-05-09 12:29:18 · 1045 阅读 · 1 评论 -
用vscode-tunnel配置远程开发环境
VSCode Tunnel 是一款用于远程开发的 Visual Studio Code 扩展程序。它可以通过 SSH 隧道将本地的 VSCode 编辑器连接到远程服务器,并在本地编辑器中直接进行远程代码开发、调试和部署。使用 VSCode Tunnel 可以帮助开发人员避免在本地安装和配置开发环境的繁琐过程,同时也可以提高代码开发和调试的效率。远程编辑器连接VSCode Tunnel 可以通过 SSH 隧道将本地的 VSCode 编辑器连接到远程服务器,实现在本地编辑器中进行远程代码开发、调试和部署。原创 2023-05-08 15:29:25 · 1491 阅读 · 0 评论 -
cuda-trt 学习
【代码】cuda-trt 学习。原创 2023-05-08 14:03:14 · 787 阅读 · 1 评论 -
【Segment Anything 模型深度解构】GPT时代,干翻计算机视觉第一步
https://www.bilibili.com/video/BV1aV4y1d7gC/?spm_id_from=333.1007.tianma.1-2-2.click&vd_source=569ef4f891360f2119ace98abae09f3fDEMO :https://segment-anything.com/GitHub: https://github.com/facebookresearch/segment-anything原创 2023-05-07 16:02:23 · 122 阅读 · 0 评论 -
手写卡尔曼滤波
卡尔曼滤波(Kalman Filter)是一种用于估计状态空间模型中状态变量的算法,它可以通过系统的动态方程和观测方程,递归地计算和更新状态的估计值和误差协方差矩阵。卡尔曼滤波算法最初是由R.E. Kalman在1960年提出来的,后来被广泛应用于控制、信号处理、航空航天、无线通信、机器人等领域。卡尔曼滤波的基本思想是:通过对系统状态及其误差的估计,结合观测数据对系统状态进行更新,从而提高对系统状态的估计精度。原创 2023-05-07 14:41:26 · 713 阅读 · 0 评论 -
在线编程网站
https://github.dev/github/devhttps://zhuanlan.zhihu.com/p/350330364https://codepen.io/pen/tour/welcome/starthttps://leetcode-cn.comhttps://wandbox.org/https://gcc.godbolt.org/原创 2023-05-07 11:43:48 · 107 阅读 · 0 评论 -
yolov5图像识别voc转yolo代码解析
【代码】yolov5图像识别voc转yolo代码解析。原创 2023-05-06 23:04:47 · 520 阅读 · 0 评论 -
AiGC在婚纱摄影中的实际应用
总之,AiGC在婚纱摄影中的实际应用可以帮助婚纱摄影公司快速处理和优化大量的图像数据,提高图像的质量和艺术性,减少后期处理的时间和工作量,从而提高摄影师的工作效率和客户满意度。总的来说,AiGC在婚纱摄影中的应用可以帮助摄影师快速处理和优化大量的图像数据,提高图像的质量和艺术性,减少后期处理的时间和工作量,从而提高摄影师的工作效率和客户满意度。人像美化:使用AiGC可以自动检测图像中的人像,并对人像进行美容、磨皮、瘦脸、美白等处理,提高人像的美观度和质量。原创 2023-05-04 22:38:15 · 1039 阅读 · 0 评论 -
EfficientPS:目前排名第一的高效高精度全景分割算法
EfficientPS是一种高效高精度全景分割算法,由中国科学技术大学、华为诺亚方舟实验室、香港中文大学等机构联合提出。该算法在2019年的全景分割比赛Cityscapes和Mapillary Vistas上分别获得第一名和第二名的好成绩。EfficientPS的核心思想是将全景分割任务转化为像素级二分类任务,并通过多尺度融合和注意力机制来提高分割的精度。原创 2023-05-04 09:45:52 · 427 阅读 · 0 评论 -
transformer在计算机视觉中的应用
论文地址:An Image is Worth 16x16 Words: Transformers for Image代码地址:论文原文:Hierarchical Vision Transformer using Shifted Windows代码地址:论文原文:Simple and Eficient Design for Semantic Segmentation with Transformers代码地址:原创 2023-05-04 05:16:35 · 573 阅读 · 0 评论 -
AIgo C++ 面向ai算法的c++
💻 AI算法视角下的c++原创 2023-05-04 04:47:05 · 767 阅读 · 0 评论 -
入门AI没有显卡怎么办?云计算平台解决你的痛苦
https://colab.research.google.com/https://www.kaggle.com/https://featurize.cn/vm/availablehttps://aws.amazon.com/cn/campaigns/freecenter/?sc_channel=PShttps://azure.microsoft.com/zh-cn/?OCID=AIDcmmyhidqdn5_SEM__EFID__https://www.autodl.com/homehttps://ai.q原创 2023-05-03 16:20:25 · 245 阅读 · 0 评论 -
GPT4 低纬展开实现对高维复杂流形空间的编程能力
具体而言,可以使用Python中的机器学习库,如scikit-learn、TensorFlow等,来实现低维展开和流形学习。总之,低维展开是一种将高维数据映射到低维空间的技术,可以用于处理高维复杂流形空间中的数据。在编程中,可以使用Python中的机器学习库,如scikit-learn、TensorFlow等,来实现低维展开和流形学习,从而提高对高维复杂流形空间的数据处理能力。低维展开是一种将高维数据映射到低维空间的技术,可以用于处理高维复杂流形空间中的数据。原创 2023-05-03 15:52:38 · 214 阅读 · 0 评论 -
如何使用 PyTorch 进行半精度、混(合)精度训练
NVIDIA深度学习加速库Apex是一个用于PyTorch的开源混合精度训练工具包,旨在加速训练并减少内存使用。Apex提供了许多用于混合精度训练的工具,包括半精度浮点数(float16)支持、动态精度缩放、分布式训练等功能。Apex中最为常用的功能是半精度浮点数支持。半精度浮点数通常用于加速深度学习训练,并且可以显著减少GPU内存的使用。Apex提供了一种简单的方法来实现半精度训练,只需要在模型定义和训练循环中添加几行代码即可。原创 2023-05-03 13:59:01 · 8066 阅读 · 2 评论 -
TIMM使用指南
timm提供了多种图像模型的实现,包括经典的AlexNet、VGG、ResNet、Inception、DenseNet、EfficientNet等,同时也包含一些最新的模型,如RegNet、RepVGG、Swin Transformer等。除了提供预训练模型之外,timm还提供了一些训练脚本,可以帮助用户快速构建自己的训练流程。timm(pytorch-image-models)是一种基于PyTorch实现的图像模型库,提供了大量的预训练模型和训练脚本,涵盖了广泛的图像分类、目标检测、图像分割等任务。原创 2023-05-02 16:47:35 · 1845 阅读 · 0 评论 -
如何固定权重,对某些层得学习率改为0?
在训练深度神经网络时,有时需要固定某些层或参数不进行更新。可以使用PyTorch提供的nn.Module中的parameters()方法来获得所有需要学习的参数,并使用torch.optim.SGD()等优化器的param_groups参数来控制不同层的学习率。通过将学习率设为0,就可以固定某些层或参数的权重。在上面的代码中,我们将第1个全连接层的权重设为0.01的学习率,第1个全连接层的偏置设为0.02的学习率。我们还将第1个卷积层和第2个卷积层的权重都设置为0的学习率。原创 2023-05-02 15:53:23 · 1053 阅读 · 0 评论 -
迁移学习
此外,迁移学习和模型微调都是将已有的知识和经验应用到新的任务或数据集中进行训练,而模型蒸馏则是将大模型中的知识和经验传递到小模型中。而模型蒸馏则是在已有的知识和经验的基础上,将大模型中的一些信息压缩到小模型中,来提高小模型的性能。迁移学习是一种从一个领域迁移到另一个领域的技术,通过将一个任务中学习到的知识和经验迁移到另一个相关领域中,来加速和改进新领域的学习和解决问题的能力。模型蒸馏是一种将一个大模型蒸馏成一个小模型的技术,通过将大模型的知识和经验转移到小模型中,来提高小模型的性能和效率。原创 2023-05-02 14:15:14 · 11420 阅读 · 0 评论 -
大模型时代,普通人何去何从
需要不断探索新的应用场景和解决方案,尝试新的技术和算法,并积极参与到学术和技术社区中来,与其他从业者进行交流和合作。这些社群可以提供科研的机会和资源,帮助普通人更好地参与到科研中来。总之,虽然大模型时代可能会使得普通人的科研变得更加困难和具有挑战性,但是普通人仍然可以通过一些途径参与到科研中来,获得科研的机会和经验,同时也为推动科学进步做出贡献。总之,AI从业者在大模型时代需要不断提升自己的技能水平和适应能力,以适应快速发展的AI技术和市场需求,并积极探索和创新,推动AI技术的发展和应用。原创 2023-05-02 01:34:47 · 1639 阅读 · 0 评论 -
从破解虫脑到攻克人脑:一条“永生之路”的新赛道?
果蝇幼虫大脑的连接组。所有脑神经元的形态学都经过了突触分辨率的电子显微镜成像重建,并且整个大脑的突触连接矩阵也得到了记录。利用这些连接信息,将所有的大脑进行了分层聚类,最终得到了93个细胞类型,这些细胞类型在形态学和已知功能方面具有内部的一致性。原创 2023-05-01 22:18:28 · 866 阅读 · 0 评论 -
行为识别 Activity Recognition
具体来说,GCN中的每个节点都有一个特征表示,这个特征表示可以是节点自身的特征向量,也可以是由节点的邻居节点的特征向量组成的聚合特征向量。在行为定位中,通常会使用时间窗口的方法对视频序列进行分割,然后对每个时间窗口进行行为分类,最后通过时间对齐的方法确定行为的发生时间段。这是行为识别中最基本的任务,也是最常见的任务。在这种情况下,特征聚合的计算方法是先将邻接矩阵A通过度矩阵D的逆矩阵进行归一化处理,得到新的邻接矩阵L’,然后将L’与特征矩阵H做矩阵乘法,并乘以权重矩阵W,得到新的特征矩阵H’。原创 2023-04-30 17:39:31 · 3942 阅读 · 0 评论 -
ddp pytoch多卡分布式训练
这是PyTorch分布式训练的启动命令。它使用了PyTorch内置的分布式训练工具来启动多个训练进程,并将它们连接在一起以进行并行训练。main.py当你在多台计算机上运行分布式训练时,你需要在每个节点上运行这个命令,以便启动多个训练进程并将它们连接在一起进行并行训练。在启动命令时,你需要使用不同的参数来指定每个节点的IP地址和端口号等信息,以便它们能够相互通信并共享训练数据。原创 2023-04-29 23:08:47 · 1568 阅读 · 3 评论 -
KL散度
KL散度(Kullback-Leibler divergence),也称为相对熵(relative entropy),是用来衡量两个概率分布之间差异的一种指标。在机器学习中,KL散度常常用于度量两个概率分布之间的相似度或差异性。具体来说,假设我们有两个概率分布px和qx,其中px表示真实分布,qx表示模型预测的分布。DKLp∣∣q∑x∈Xpxlogqxpx其中,X是所有可能的取值的集合。可以看出,KL散度是px和qx。原创 2023-04-29 16:54:51 · 8717 阅读 · 0 评论