- 博客(127)
- 资源 (11)
- 收藏
- 关注
RSS订阅
原创 深度学习框架比较分析及各种版本mnist识别
现在市场上流行的深度学习框架很多，常用的有tensorflow, keras,MXNet, Torch, Caffe, Theano等几种，通过对比分析可以得到：框架 开发语言 优劣及难易程度 tensorflow c++/cuda/python 资料全，灵活性好，适应性广，但前期上手难 keras c++/cuda/python ...
2019-09-06 09:37:31
677
原创 深度学习中常见的打标签工具和数据集集合
集大家之所长汇集于此，希望对有需要的你能有所帮助。一、打标签工具（1）labelimg/labelme这两款工具简便易行，前者主要用于对目标进行大致的标定，用于常见的框选标定，后者主要用于较为细致的轮廓标定，多用于mask rcnn等。安装也是很方便的，直接在终端下用pip install labelimg即可(至于labelme，需要先安装pyqt,所以先pip insta...
2018-11-05 11:12:34
47114
12
转载 从CNN到SSD目标检测机器学习方法总结
目标检测方法比较：object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。其中检测算法的发展如下，本文主要关注后半部分的，首先可以看一下CNN，它主要用来提取图像特征做分类。（一）图像分类：CNNhttps://blog.csdn.net/l...
2018-09-03 11:36:56
5545
1
原创 Windows下用c++来调用tensorflow训练好的模型
在尝试用c++来调用tensorflow训练好的模型时确实花了一些时间，现在总结一下，以供后续的学习： 首先我想说明的一下是常见的tensorflow训练好的模型保存方式有两种：ckpt格式和pb格式，其中前者主要用于暂存我们训练的临时数据，避免发生意外导致训练终止，前面的努力全部白费掉了。而后者常用于将模型固化，提供离线预测，用户只要提供一个输入，通过模型就可以得到一个预测结...
2018-07-14 11:13:51
37551
123
原创 graphrag+ollama+neo4j本地化部署可视化使用
最近微软团队开源了一款数据工作流与转换工具 GraphRAG，利用LLM，帮助用户从非结构化文本数据中提取结构化数据，并完成数据索引。与传统的在文本片段中，基于语义查询的RAG不同，GraphRAG从原始文本中，提取数据，构建知识图谱，并利用这些结构化数据完成RAG任务。这取决于输入数据的大小、使用的模型以及使用的文本块大小（这些可以在文件中配置。要找到适当的部分，只需搜索配置。，您应该会看到两个部分，一个用于聊天端点，一个用于嵌入端点。pipeline完成后，您应该会看到一个名为的新文件夹，而在。
2024-07-12 18:39:15
34
原创 基于selenium+python实现自动化测试
Selenium 是一个用于自动化Web应用程序测试的工具包，它提供了一套API，允许开发者编写脚本来模拟用户与浏览器的交互。使用Selenium结合Python进行自动化测试是一个常见的选择，因为Selenium是一个强大的工具，可以模拟用户与网页的交互。例如，如果你使用的是Chrome浏览器，你需要下载ChromeDriver。其中，Selenium不仅可以用于打开网页和获取页面信息，它还可以模拟许多其他的浏览器操作。Selenium非常灵活，可以模拟几乎所有的浏览器操作，满足各种自动化测试的需求。
2024-07-01 17:00:14
1099
原创 基于llm+rag构建自己的知识图谱
点击进去会有一个注册框，填写完成自己的信息之后会进入下载页面。同时需要注意保留页面左下角的激活码。按照下载页面的安装说明进行安装。这些数据库在存储和查询知识图谱数据时具有不同的特点和优势，选择适合自己需求的数据库取决于具体的应用场景和性能需求。至于llm和rag技术这里不做过多赘述，可以查看前面的学习笔记，下面主要介绍一下知识图谱，，密码在首次登录时设置。接下来就像mysql数据那样，可以直接通过Neo4j浏览器进行操作。在浏览器中打开Neo4j Web界面，并登录。而三元组是图中的基本数据单元。
2024-06-29 15:52:44
140
原创 cuda编码入门学习笔记
首先，确保你对CUDA编程的基本概念有所了解：- CUDA是NVIDIA提供的用于并行计算的平台和编程模型。- CUDA允许你利用NVIDIA GPU的并行处理能力来加速计算任务。
2024-06-27 23:03:00
776
原创 自动驾驶开源数据集下载
下载速度就看你自己的网速带宽了，配合科学上网挂在后台应该还是没多大问题的。然后找到下载页面下载，这里推荐第二种方式，基于wget直接下载。
2024-06-25 14:12:31
410
原创 自动驾驶相关的传感器和坐标系
投影坐标系统主要是指以米为单位表示距离和大小的平面直角坐标系，需要进行一种坐标变换或映射关系，将用于定位的地理坐标系统中的经纬度信息转换为以米为单位的平面直角坐标，常见的标准有UTM坐标系。在立体视觉中，深度 𝑑 通常指的是物体到相机成像平面（即焦平面）的距离，而不是物体到相机光心（即相机的投影中心）的距离。下图中左图为世界坐标系和相机坐标系的关系示意图，在相机坐标系中原点为成像平面的中心，与z轴垂直的平面对应焦距平面，右图为像素图像坐标系和物理图像坐标系的关系示意图，像素图像坐标系的原点在图像的左上角。
2024-06-22 16:24:36
59
原创 python与c++混合编码
此外，一些项目利用 pybind11 进行跨平台开发，例如 OpenKE，它使用 C++ 重写底层数据处理，并通过 pybind11 实现 Python 和 C++ 的交互，实现跨平台功能（包括 Windows 和 Linux）57。，第二个其实是一个pybind11::module类型，m.doc后面填对于这个模块的解释，m.def后面第一个参数是你想在python里写的函数名，第二个参数是绑定的函数地址，后面是对函数的解释可写可不写，有几个函数实现就添加几个m.def功能。文件通常是平台特定的，
2024-06-21 14:51:03
886
原创 基于cuda实现自定义torch算子
在这个例子中，`my_cuda_module.cpp`定义了一个C++函数`my_add_function`，它准备数据并调用`my_cuda_add_kernel` CUDA核函数。- 在`setup.py`中使用`torch.utils.cpp_extension`或`distutils`来定义你的C++和CUDA扩展模块。- `.cu`文件包含了CUDA特有的语法和函数，例如 `__global__` 声明，用于定义在GPU上并行执行的函数。- 在`.cu`文件中，你定义CUDA核函数。
2024-06-19 17:30:29
744
原创 llama-factory学习使用笔记
想要对开源的llama大模型，针对自己的数据进行微调，这里推荐llama-factory项目，LLama Factory，这个工具能够高效且低成本地支持对 100 多个模型进行微调。LLama Factory 简化了模型微调的过程，并且易于访问，使用体验友好。当模型和数据都已经配置完成，接下来就是开始训练了，这里我采用的是基于llama2-7b的模型，加上自己的中文数据利用lora方法进行sft，其他的参数设定如下。这样刷新后在加载数据时就可以看到自己添加的数据了，还可以对内容进行可视化。
2024-06-17 15:37:58
833
原创 基于Tensorrt-llm完成对llm部署
随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型的推理成本急剧增加。因此，市面上也出现了很多的推理框架，用于降低模型推理延迟以及提升模型。TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大语言模型 (LLM) 并构建 TensorRT 引擎，以便在 NVIDIA GPU 上高效地执行推理。TensorRT-LLM 还包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时组件。
2024-06-16 16:15:41
697
原创 对于LLM与AIGC的一些简单认知
而对于AIGC模型而言，简单的以文生图stable diffusion（开源），mdjourney（收费）为主，还有sora（文生视频等），以及文生声音（chattts），数字人等等。
2024-06-07 16:29:08
30
原创 如何快速有效的从huggingface上下载模型及加载
您可以点击模型卡片中的“快速使用”按钮查看如何使用Library进行模型的下载。您还可以从 repos 下载文件或将它们集成到您的库中，并且可指定下载模型的地址。默认模型会下载到~/.cache/modelscope/hub中，如果需要修改下载目录，可以手动指定环境变量：MODELSCOPE_CACHE，modelscope会将模型和数据集下载到该环境变量指定的目录中。对应的，如果需要在ModelScope平台上有感兴趣的模型并希望能下载至本地，则ModelScope提供了多种下载模型的方式。
2024-06-03 10:10:55
2886
原创 AI Agent学习笔记
AI Agent是一种超越简单文本生成的人工智能系统。它使用大型语言模型（LLM）作为其核心计算引擎，使其能够进行对话、执行任务、推理并展现一定程度的自主性。简而言之，
2024-06-01 17:02:27
1066
原创 LLM模型finetune_量化_部署
- LoRA方法应该是目前针对大语言模型中微调效果最好的一种方法，该方法的示意图如下，具体来说就是固定原始模型权重，然后定义两个低秩矩阵作为新增weight参与运算，并将两条链路的结果求和后作为本层的输出，而在微调时，只梯度下降新增的两个低秩矩阵。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。通过对LLM的Embedding层进行改造，在微调时固定其他层的weight，，它在官方LoRA源码的基础上做了详细的代码注释。
2024-05-30 22:33:17
873
原创 docker安装使用系列八之docker通信
创建自定义网络将容器连接到自定义网络将宿主机加入到Docker网络中使用Docker网络桥接模式或者配置宿主机网络，使其与Docker网络通信。以上几种方法可以帮助你实现容器与宿主机之间通过URL进行通信，根据你的具体需求选择合适的方案。自定义桥接网络可以为容器之间的通信提供更好的隔离和控制。通过使用Docker的桥接网络、自定义网络或者Docker Compose，可以轻松实现同一台机器上不同容器之间的URL通信。这些方法提供了灵活的选择，适应不同的场景和需求。
2024-05-27 15:35:58
874
原创 ollama+anything-llm构建自己的可视化操作llm
可见，AnythingLLM是一个功能丰富，集成度很高的RAG框架，其在github上的开源项目（anything-llm），已经有1万2千多Star。它不仅仅是一个聊天机器人，是一个全栈应用程序，旨在通过一个精心设计的用户界面，为客户提供与文档、资源等进行智能对话的最简单方式。该工具的一个独特之处在于，它可以在后台简单地运行，而不需要使用大量的内存或资源。在这种情况下，不同的工作区可以共享相同的记录，但不能相互交互，从而允许用户为不同的用例维护不同的工作区。4）两种聊天模式：会话模式和查询模式。
2024-05-26 23:12:03
66
原创 基于ollama实现大模型llm快速部署
项目，llama.cpp 项目用 C/C++ 重写了推理代码，既避免了 PyTorch 引入的复杂依赖，又提供了更为广泛的硬件支持，包括纯 CPU 推理、Apple Silicon 在内的各类底层计算架构都得以充分发挥对应的推理加速。而作为价值约 8 美元/月的 Raycast AI 的平替，Raycast Ollama 实现了 Raycast AI 的绝大多数功能，且随着 Ollama 及开源模型的迭代，还将支持多模态等 Raycast AI 不支持的功能，可谓潜力无限。此外，还可以换用其他模型。
2024-05-24 15:09:25
8
原创 基于docker配置pycharm开发环境
此刻通过file进行setting，然后选择project interpreter, 再点击右上角的小齿轮，进入到特定环境的添加选择，具体界面如下， 第一次设置需要先选择server那一行后面的new按钮来创建一个服务名，界面上直接默认即可，下面会出现connection successful字样，开发环境docker和工具pycharm的安装使用，这里不做过多赘述，可以参考前面的博客，当完成所有环境准备后，打开pycharm加载项目路径，同时后台将环境适配的docker镜像挂起。
2024-03-22 15:48:15
896
原创 基于python的大模型可视化开发
Gradio的应用界面模块提供了不同的选择，根据开发者的需求和技术水平，可以选择使用gr.Interface进行简易场景的应用界面开发，或使用gr.Blocks进行更定制化的界面设计。安装： pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple。
2024-03-06 09:48:13
984
转载 高效搜索自己需要的资源
1. 搜索技术是普通人变强的唯一外挂,可以帮助人们学习的比别人快,做的比别人好。2. 掌握搜索技术是互联网时代获取信息的关键,可以极大程度地缩小信息差距。1. ChatGPT等AI工具可直接回答问题,无需搜索。(3) 创作内容(Create Something)3. 结合传统搜索技术和AI工具,形成超级搜索技术。(2) 学习技能(Learn Something)1. 主要平台:谷歌、得到APP、优质视频网站等。(1) 了解信息(Know Something)2. 可进行追问、对比、推理等,功能强大。
2024-02-17 17:37:24
214
原创 tensorrt安装使用教程
https://blog.csdn.net/zong596568821xp/article/details/86077553https://blog.csdn.net/Tosonw/article/details/92643231
2023-10-19 16:47:37
854
原创 基于python的点云处理库总结
该软件包提供了Pythonic的，文档齐全的界面，该界面公开了VTK强大的可视化后端，以促进对空间参考数据集的快速原型制作，分析和可视化集成。Open3D的依赖项较少，可在不同的平台上编译与布置。/* ************************************** 以下的已经不维护或者很久没更新了 ********************************************** */pclpy是python-pcl的姊妹库吧，安装很方便，算法接口啥的也挺全的，而且，支持las。
2023-05-06 09:48:05
2621
4
原创 以clion为例记录一次基于docker环境配置开发
clion作为jetbrains家族一款强劲的ide，多见于c++开发，而docker又是一个环境管理的利器，两者结合起来使用，在实际开发过程中往往可以做到事半功倍的效果，尤其是在一些多环境多版本控制开发中。1、打开CLion -> 选择文件 -> 设置 -> 构建、执行、部署 -> 部署 -> 点击加号(添加一个远程配置) -> 设置为SFTP协议(默认)在配置基于docker的ros环境时，按照上面的步骤配置完成后，如果还报找不到“catkin”错误，这还需要在clion的cmake里配置一下环境。
2022-09-08 14:05:20
3518
5
原创 刷题小技巧
刷题是最常见提高coding能力的一种途径，常见的刷题网站有leetcode和牛客等，但是这两者之间有略微的差异，下面对其进行简单的总结：（1）牛客等ACM模式什么是ACM输入模式呢？ 就是自己构造输入数据格式，把要需要处理的容器填充好，OJ不会给你任何代码，包括include哪些函数都要自己写，最后也要自己控制返回数据的格式。例如，#include<iostream>#include<string>int main(int argc,char **...
2022-03-29 19:51:43
1884
原创 Docker安装使用系列六之远程桌面可视化
以前一直在想docker与虚拟机差别是不是就在差在内部可视化（即配置图像化界面）这块，直到今天在学习ros时才发现这个问题完全可以通过虚拟桌面来解决！看来自己有些时候想的还是不够细致啊！下面就自己的摸索操作进行如下总结：（1）在构建镜像时就直接选择带vnc或者xfce这种在构建ros系统时，基于consol/ubuntu-xfce-vnc来构建ros的DockerFileFROM consol/ubuntu-xfce-vnc# 切换到root，root才有权限进行安装软件等操作USER
2021-10-13 09:52:32
234
原创 记录一次完整的docker踏坑之旅
大家都知道opencv的安装方式有两种，一种是直接pip安装，一种是源码安装，据网上资料所查，两者没多大区别。我以前都习惯用第一种，但是我有时候在想linux环境下如果我想构建c++项目，那么我怎么调用pip安装的opencv包呢？或者如果我源码编译的，c++项目和python项目是否都可以直接调用呢？还是说我把它们分开，源码编译的c++调用，pip安装的给python？直觉告诉我第三种可行性最高，带着这个疑问，我苦苦搜寻了一圈，发现没啥收获？于是我决定自己动手实践一下。下面就是基于docker...
2021-08-14 09:56:13
550
原创 安装pycocotools库
pycocotools这个库对于cver而言，相信大家都不陌生，COCO是一个大型的图像数据集，用于目标检测、分割、人的关键点检测、素材分割和标题生成。这个包提供了Matlab、Python和luaapi，这些api有助于在COCO中加载、解析和可视化注释。请访问http://cocodataset.org/，可以了解关于COCO的更多信息，包括数据、论文和教程。COCO网站上也描述了注释的确切格式。Matlab和PythonAPI是完整的，LuaAPI只提供基本功能。 除了这个...
2021-08-12 17:34:10
16445
5
原创 深度学习之网络爬虫总结
深度学习的前提就是海量的数据，在现实生产过程中采集大量的数据是很累时费钱的，这时候就到了爬虫大显身手的时候了。常见的网上爬虫资源方法都很单一，今天我就尝试一下就自己接触的几种方法进行一个简单的总结：（1）利用资源库import requestfrom lxml import xtreeimport beautiful-soup（2）利用爬虫框架pyspi...
2021-07-18 21:09:22
1433
1
原创 防火墙配置
防火墙（Firewall），也称防护墙。它是一种位于内部网络与外部网络之间的网络安全系统。一项信息安全的防护系统，依照特定的规则，允许或是限制传输的数据通过。防火墙对于我们的网络安全的重要性不言而喻 但是在实际的开发过程中 我们有可能会需要开启、关闭防火墙 那么 Ubuntu中怎么管理防火墙呢。1、Windows2、Linux以Ubuntu为例，在终端下进行如下操作，安装方法sudo apt-get install ufw这是有图形界面的(比较简陋)，在新立得...
2021-06-28 16:11:48
4710
原创 linux下如何让脚本在后台运行
在服务器中我们经常需要将一些脚本挂在后台继续运行，而不是随着我们切断一段会话就结束了运行，常见的作法有如下几种，下面就进行简单的总结：1.nohup安装：which nohup ###查看/usr/bin目录下有没有nohup命令yum install coreutils ###安装###环境配置vi ~/.bash_profile 在PATH=$PATH:$HOME/bin后面添加:/usr/binsource ~/.bashrcnohup --vers...
2021-06-28 15:49:47
4699
原创 视屏处理优化工具
一直想做视屏目标跟踪之类的，在这里记录下自己点滴摸索过程：1、视屏抽帧 一段视屏其实就是就是一段连续的图片，由于人的肉眼识别频率有限（一般24张/秒），当超过这个极限就给人眼造成的感觉就是画面是运动的，这就是所谓的视频，而一秒内播放的图片数就是帧率（fps/s）。将每张图片从视屏中剥离出来就是抽帧。一般常见的抽帧方法如下：（1）利用FFmpeg工具 ...
2021-06-07 11:04:18
386
yolo系列预训练权重.txt
2021-03-03
matrixcookbook.pdf
2020-08-23
rufus_files.7z
2020-05-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人