- 博客(133)
- 收藏
- 关注
RSS订阅原创 C++算法工程师
参与图像处理，机器视觉，深度学习等核心算法模块的构建，维护，以及模型算法的精度优化，速度优化及网络裁剪。熟悉常见的深度学习框架，caffe，tensorflow，pytoch和keras者优先。参与ai边缘计算开发版本开发，包括模型转换，自定义算子开发，量化及模型优化等。精通C/C++,python语言编程；多线程编程，拥有良好的代码编写习惯。具备良好的分析解决问题的能力，能够独立承担工作任务和把控工作进度。自动化，电子信息，计算机专业优先。硕士应届或本科两年以上工作经验。
2023-08-24 22:55:08
405
原创 chatglm微调
②Lora：技术原理简单，但真有奇效，需要注意rank大小的设置，是根据业务领域来的，领域垂直性越强，就要设置的越大，比较有意思的就是数据，看起来最没技术含量的事情，大家不愿意做，但其实是最难的，数据收集存在诸多问题，数据少且封闭，缺乏标注，垂直领域往往对结果要求很高。解释一下矢量，解释一下万有引力，解释一下摩擦力，解释一下直线运动，刚体运动的分类，解释一下机械波，热力学第一定律。text2vec-base，chatglm-6b 这两个是必要的，下载后，对应的路径要改成自己下载后的路径。
2023-07-18 22:23:44
2626
原创 llmaindex 多文档管理，索引构建
金十数据6月15日讯，格力电器董秘邓晓博在6月15日举办的2022年度业绩说明会上表示，公司在绿色能源领域持续发力，致力于新能源电器及近用户侧能源互联网系统关键技术研究和产品开发，协同构建能源信息化与直流化新生态，推动绿色经济转型，目前主要聚焦于光伏空调板块、新能源汽车板块和锂电池板块的布局。要将Redis与GPT结合，我们可以将GPT模型应用于某些特定的应用场景，例如智能对话系统、推荐系统等，而Redis则作为缓存系统，提高整体性能。在查询时，从查询中提取关键词，只查询映射的节点。
2023-07-18 20:52:46
1048
原创 LangChain for LLM Application Development 课程要点
课程链接: https://learn.deeplearning.ai/langchain/简介了一下 LangChain 等。LangChain 提供的一个关键能力就是 output parsing，如果需要返回结构化（JSON）的结果，可以考虑使用 ResponseSchema、StructuredOutputParser。提到了几种memory，重点讲上下文 Conversation Memory，由于大模型有token长度限制，上下文是有限的。主要讲解了三类 Chain 的用法这是调用大模型的一个基
2023-07-16 22:55:25
2430
原创 GPT 最佳实践
由于GPT具有固定的上下文长度，在用户和助手之间的对话中，如果整个对话都包含在上下文窗口中，则无法无限期地进行对话。对此问题有各种解决方法，其中之一是对先前的对话进行总结。一旦输入的大小达到预定的阈值长度，这可能会触发一个查询，对对话的一部分进行总结，并将之前对话的总结作为系统消息的一部分包括进来。另一种选择是在整个对话期间异步地在后台对先前的对话进行总结。另一种解决方案是动态选择与当前查询最相关的先前对话部分。请参考策略“使用基于嵌入式搜索来实现高效的知识检索”。
2023-07-16 21:54:26
834
原创 FinGPT 研究
尽管BloombergGPT在金融方面的能力非常出色,但它的计算量非常大。它花了大约130万GPU小时进行培训,按AWScloud2.3美元的费率计算,相当于每次培训花费约300万美元。与BloombergGPT之类模型的高计算成本形成对比的是,FinGPT通过关注顶级开源LLMs的轻量级适配,提供了一个更易于访问的解决方案。适应费用大幅下降,估计每次培训不到300美元。这种方法确保了及时更新和适应性,特别是在动态金融领域。
2023-07-16 21:51:00
967
原创 数字人技术调研
（3）Mac和Windows客户端，有一个数字人中本聪（就像以前的瑞星小狮子一样）目前选择Live2D方案，后期支持中本聪变身二次元萌妹，各种中本姬。（1）PC网页端有一个数字人中本聪，可以说话，与用户进行生动的交互。**一定不是基于头像的聊天窗口，一定要有数字人 **最基础的需求就是：弄一个插画人，然后实现语音口型同步。然后鼠标垫下他，就能有些反馈，鼠标移动，他的头跟着动。7月中旬之前搭建中本聪GPT的PC网页版本。（2）手机APP有一个数字人中本聪。大把素材在网上也能便宜买到。
2023-07-16 21:49:54
662
原创 使用 ChatGPT API 构建系统 课程要点总结
介绍了两种 LLM 的情况：Base LLM 使用监督学习进行训练，其开发周期相当漫长，而使用 Instruction tuned LLM 开发 prompt-based AI 则可以将开发过程极大程度缩短。
2023-07-16 21:48:34
1511
原创 要研究的方向和准备
大语言模型（Large Language Model）崛起后，开发人员只要借助大语言模型，完全可以做到现在大部分NLP工程师在做的事，比如文本分类、实体抽取、推理等。可以预见的是，随着LLM能力的不断提升，可能做的比NLP工程是都要好。而Meta发布的SAM（Segment Anything Model）也让让CV走到尽头，SAM将Engineering的开箱即用做到了极致。
2023-07-16 21:46:46
318
原创 GPT 探索
gpt-3.5-turbo 支持），带上提示请求 gpt，但是 提示的长度是有限的（4097 tokens，汉字=2 token，英文=0.5 token），而且每次提问都携带长提示，成本较高；） ChatGPT API 增加了 messages 参数，支持显示定义角色，可以取代之前的 prompt，更清晰的标记每一个内容的来源，方便 API 生成更有价值的内容输出；根据自有数据源，把 GPT 训练成我们自用的模型，需要走微调（前期训练成本比较高，后面模型稳定后成本会下降；）把原始文档转换为矢量索引。
2023-06-01 11:50:52
591
原创 chroma本地化的向量数据库的技术调研
安装你的本地电脑需要有完整的c++的环境不然在编译hnswlib库的时候会报错安装vs 勾选c++的桌面开发使用教程。
2023-05-30 17:34:04
4630
2
原创 GPT4_Retrieval_Augmentation
接着，使用OpenAI的Embedding API来创建一个embedding向量，将两个文本作为输入，并指定使用的engine为上述的embedding模型。这个文本是一个Python脚本，它使用了名为"tiktoken"的Python模块来进行文本编码。接下来，脚本定义了一个名为"tiktoken_len"的函数，它接受一个文本参数，并返回该文本的编码长度。在函数内部，它使用了之前获取的tokenizer对象来对文本进行编码，并计算编码后的token数量作为文本长度。
2023-05-25 17:33:06
1127
原创 向量数据库
向量数据库是一种专门用于存储和处理向量数据的数据库。与传统的关系型数据库不同，向量数据库可以有效地处理高维向量数据，如图像、音频、自然语言等数据类型。向量数据库通常具有以下特点：支持向量索引：向量数据库使用向量索引来快速搜索和检索向量数据。这些索引可以利用距离度量来计算向量之间的相似度，并快速找到最相似的向量。支持向量运算：向量数据库通常支持向量之间的运算，如向量加法、减法、点积、叉积等。高效存储和查询：向量数据库使用专门的存储引擎来存储向量数据，并使用高效的查询算法来快速检索数据。
2023-05-25 09:22:38
3486
原创 算法工程师面试题
LoG算法的优点是可以检测出不同尺度的边缘，但缺点是计算量较大，需要对图像进行多次滤波和卷积运算，容易受到噪声和尺度参数的影响。Sobel算法的优点是计算速度较快，对噪声和图像分辨率较低的图像效果较好，但缺点是容易受到边缘方向的影响，可能会漏检和误检边缘。当遇到大于等于2的元素时，就认为当前区间结束，计算区间的长度，并与当前的最大连续区间进行比较，更新最大连续区间。需要注意的是，在使用OpenCV库时，需要将Mat类型的图像转换为QImage类型的图像，才能在Qt界面中显示。
2023-05-12 13:21:44
867
原创 用C++实现矩阵的运算和手写数字识别
Matrix.hpp#ifndef MATRIX_HPP#define MATRIX_HPP#include <vector>#include <initializer_list>#include<iostream>#include <ostream>#include <functional>/*原则1.成员变量尾部有“_”2.头文件内不允许写using namespace 这种语法3.传值的时候，非基础类型，一般会传递引用
2023-05-12 05:58:57
598
原创 gazebo仿真
可以使用 Gazebo 提供的传感器模型和 ROS 提供的消息类型，例如。需要注意的是，ROS 和 Gazebo 之间的交互是异步的，即 ROS 发布的消息和 Gazebo 接收的消息之间可能存在延迟。在 Gazebo 中接收控制指令：通过在 Gazebo 中加载 ROS 插件，接收 ROS 中发布的控制指令，并将其转换为 Gazebo 中的模型控制指令。在 ROS 中加载 Gazebo 插件：使用 ROS 提供的插件系统，加载 Gazebo 插件，将 ROS 和 Gazebo 进行连接。
2023-05-11 13:20:59
601
原创 农业机器人技术栈
在 ROS（Robot Operating System）中，发布者（Publisher）和订阅者（Subscriber）是两个重要的概念，用于实现 ROS 中节点之间的通信。发布者（Publisher）是一个 ROS 节点，用于发布消息（Message）到 ROS 网络中，其他节点可以通过订阅者（Subscriber）来接收这些消息。发布者通常使用 ROS 提供的类来实现，该类提供了向 ROS 网络中发布消息的函数和方法。
2023-05-10 13:25:21
1147
原创 onnxruntim的使用方法
ONNX Runtime 是一个用于高效推理 ONNX 模型的开源引擎。ONNX 是一种开放的深度学习模型交换格式，可以用于将深度学习模型从一个框架转换到另一个框架，从而实现跨平台和跨框架的模型部署和推理。ONNX Runtime 提供了一个高度优化的推理引擎，可在多种硬件平台上以低延迟和高吞吐量运行 ONNX 模型。
2023-05-09 13:43:52
5807
原创 使用OpenCV部署全景驾驶感知网络YOLOP
此外，在本套程序里，还有一个export_onnx.py文件，它是生成onnx文件的程序。不过，export_onnx.py文件不能本套程序目录内运行的， 假如您想了解如何生成.onnx文件，需要把export_onnx.py文件拷贝到https://github.com/hustvl/YOLOP 的主目录里之后，并且修改lib/models/common.py里的代码， 这时运行export_onnx.py就可以生成onnx文件了。在导出模型时，你需要指定模型、示例输入以及要保存的ONNX文件的名称。
2023-05-09 12:29:18
1112
1
原创 用vscode-tunnel配置远程开发环境
VSCode Tunnel 是一款用于远程开发的 Visual Studio Code 扩展程序。它可以通过 SSH 隧道将本地的 VSCode 编辑器连接到远程服务器，并在本地编辑器中直接进行远程代码开发、调试和部署。使用 VSCode Tunnel 可以帮助开发人员避免在本地安装和配置开发环境的繁琐过程，同时也可以提高代码开发和调试的效率。远程编辑器连接VSCode Tunnel 可以通过 SSH 隧道将本地的 VSCode 编辑器连接到远程服务器，实现在本地编辑器中进行远程代码开发、调试和部署。
2023-05-08 15:29:25
1711
1
原创 【Segment Anything 模型深度解构】GPT时代，干翻计算机视觉第一步
https://www.bilibili.com/video/BV1aV4y1d7gC/?spm_id_from=333.1007.tianma.1-2-2.click&vd_source=569ef4f891360f2119ace98abae09f3fDEMO :https://segment-anything.com/GitHub: https://github.com/facebookresearch/segment-anything
2023-05-07 16:02:23
133
原创 手写卡尔曼滤波
卡尔曼滤波（Kalman Filter）是一种用于估计状态空间模型中状态变量的算法，它可以通过系统的动态方程和观测方程，递归地计算和更新状态的估计值和误差协方差矩阵。卡尔曼滤波算法最初是由R.E. Kalman在1960年提出来的，后来被广泛应用于控制、信号处理、航空航天、无线通信、机器人等领域。卡尔曼滤波的基本思想是：通过对系统状态及其误差的估计，结合观测数据对系统状态进行更新，从而提高对系统状态的估计精度。
2023-05-07 14:41:26
745
原创 在线编程网站
https://github.dev/github/devhttps://zhuanlan.zhihu.com/p/350330364https://codepen.io/pen/tour/welcome/starthttps://leetcode-cn.comhttps://wandbox.org/https://gcc.godbolt.org/
2023-05-07 11:43:48
159
原创 AiGC在婚纱摄影中的实际应用
总之，AiGC在婚纱摄影中的实际应用可以帮助婚纱摄影公司快速处理和优化大量的图像数据，提高图像的质量和艺术性，减少后期处理的时间和工作量，从而提高摄影师的工作效率和客户满意度。总的来说，AiGC在婚纱摄影中的应用可以帮助摄影师快速处理和优化大量的图像数据，提高图像的质量和艺术性，减少后期处理的时间和工作量，从而提高摄影师的工作效率和客户满意度。人像美化：使用AiGC可以自动检测图像中的人像，并对人像进行美容、磨皮、瘦脸、美白等处理，提高人像的美观度和质量。
2023-05-04 22:38:15
1085
原创 EfficientPS：目前排名第一的高效高精度全景分割算法
EfficientPS是一种高效高精度全景分割算法，由中国科学技术大学、华为诺亚方舟实验室、香港中文大学等机构联合提出。该算法在2019年的全景分割比赛Cityscapes和Mapillary Vistas上分别获得第一名和第二名的好成绩。EfficientPS的核心思想是将全景分割任务转化为像素级二分类任务，并通过多尺度融合和注意力机制来提高分割的精度。
2023-05-04 09:45:52
485
原创 transformer在计算机视觉中的应用
论文地址：An Image is Worth 16x16 Words: Transformers for Image代码地址：论文原文：Hierarchical Vision Transformer using Shifted Windows代码地址：论文原文：Simple and Eficient Design for Semantic Segmentation with Transformers代码地址：
2023-05-04 05:16:35
604
原创 入门AI没有显卡怎么办？云计算平台解决你的痛苦
https://colab.research.google.com/https://www.kaggle.com/https://featurize.cn/vm/availablehttps://aws.amazon.com/cn/campaigns/freecenter/?sc_channel=PShttps://azure.microsoft.com/zh-cn/?OCID=AIDcmmyhidqdn5_SEM__EFID__https://www.autodl.com/homehttps://ai.q
2023-05-03 16:20:25
281
原创 GPT4 低纬展开实现对高维复杂流形空间的编程能力
具体而言，可以使用Python中的机器学习库，如scikit-learn、TensorFlow等，来实现低维展开和流形学习。总之，低维展开是一种将高维数据映射到低维空间的技术，可以用于处理高维复杂流形空间中的数据。在编程中，可以使用Python中的机器学习库，如scikit-learn、TensorFlow等，来实现低维展开和流形学习，从而提高对高维复杂流形空间的数据处理能力。低维展开是一种将高维数据映射到低维空间的技术，可以用于处理高维复杂流形空间中的数据。
2023-05-03 15:52:38
268
原创 如何使用 PyTorch 进行半精度、混(合)精度训练
NVIDIA深度学习加速库Apex是一个用于PyTorch的开源混合精度训练工具包，旨在加速训练并减少内存使用。Apex提供了许多用于混合精度训练的工具，包括半精度浮点数（float16）支持、动态精度缩放、分布式训练等功能。Apex中最为常用的功能是半精度浮点数支持。半精度浮点数通常用于加速深度学习训练，并且可以显著减少GPU内存的使用。Apex提供了一种简单的方法来实现半精度训练，只需要在模型定义和训练循环中添加几行代码即可。
2023-05-03 13:59:01
8851
2
原创 TIMM使用指南
timm提供了多种图像模型的实现，包括经典的AlexNet、VGG、ResNet、Inception、DenseNet、EfficientNet等，同时也包含一些最新的模型，如RegNet、RepVGG、Swin Transformer等。除了提供预训练模型之外，timm还提供了一些训练脚本，可以帮助用户快速构建自己的训练流程。timm（pytorch-image-models）是一种基于PyTorch实现的图像模型库，提供了大量的预训练模型和训练脚本，涵盖了广泛的图像分类、目标检测、图像分割等任务。
2023-05-02 16:47:35
2001
原创 如何固定权重，对某些层得学习率改为0？
在训练深度神经网络时，有时需要固定某些层或参数不进行更新。可以使用PyTorch提供的nn.Module中的parameters()方法来获得所有需要学习的参数，并使用torch.optim.SGD()等优化器的param_groups参数来控制不同层的学习率。通过将学习率设为0，就可以固定某些层或参数的权重。在上面的代码中，我们将第1个全连接层的权重设为0.01的学习率，第1个全连接层的偏置设为0.02的学习率。我们还将第1个卷积层和第2个卷积层的权重都设置为0的学习率。
2023-05-02 15:53:23
1118
原创 迁移学习
此外，迁移学习和模型微调都是将已有的知识和经验应用到新的任务或数据集中进行训练，而模型蒸馏则是将大模型中的知识和经验传递到小模型中。而模型蒸馏则是在已有的知识和经验的基础上，将大模型中的一些信息压缩到小模型中，来提高小模型的性能。迁移学习是一种从一个领域迁移到另一个领域的技术，通过将一个任务中学习到的知识和经验迁移到另一个相关领域中，来加速和改进新领域的学习和解决问题的能力。模型蒸馏是一种将一个大模型蒸馏成一个小模型的技术，通过将大模型的知识和经验转移到小模型中，来提高小模型的性能和效率。
2023-05-02 14:15:14
11815
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人