高颜值的杀生丸-CSDN博客

原创 PID算法通俗理解，平衡车，倒立摆，适合不理解PID算法的人来看！

先插句广告，本人QQ522414928，不熟悉PID算法的可以一起交流学习，随时在线(PID资料再我的另一篇博客里)倒立摆资料连接↓https://www.cnblogs.com/LiuXinyu12378/p/11222614.htmlPID视频资料连接↓https://www.cnblogs.com/LiuXinyu12378/p/11214174.html我的其他博客里...

2018-04-18 23:46:00 875 1

原创 deepspeed 训练多机多卡报错 ncclSystemError Last error

最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了我们使用 2台 8*H100遇到过错误110.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed or device error. 10.255.19.85: Last error:10.255....

2024-04-18 21:35:00 295

原创如何实现图像搜索，文搜图，图搜图，CLIP+faiss向量数据库实现图像高效搜索

如何实现图像搜索，文搜图，图搜图，CLIP+faiss向量数据库实现图像高效搜索这是AIGC的时代，各种GPT大模型生成文本，还有多模态图文并茂大模型，以及stable diffusion和stable video diffusion 图像生成视频生成等新模型，层出不穷，如何生成一个图文并貌的文章，怎么在合适的段落加入图像，图像用什么方式获取，图像可以使用搜索的形式获取，也可以使用sta...

2023-12-04 11:28:00 881 1

原创使用单卡qlora混合精度训练大模型chatGLM2-6b，解决qlora loss变成nan的问题！

最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题本教程并没有写lora的原理，需要的话自行查阅1.chatGLM2-6b 模型我已经从huggingface 下载到服务器，因为我的服务器不能直接连接hug...

2023-11-02 11:31:00 595

原创我用numpy实现了VIT，手写vision transformer, 可在树莓派上运行，在hugging face上训练模型保存参数成numpy格式，纯numpy实现...

先复制一点知乎上的内容按照上面的流程图，一个ViT block可以分为以下几个步骤(1) patch embedding：例如输入图片大小为224x224，将图片分为固定大小的patch，patch大小为16x16，则每张图像会生成224x224/16x16=196个patch，即输入序列长度为196，每个patch维度16x16x3=768，线性投射层的维度为768xN (N=768)，...

2023-07-11 15:42:00 457

原创我用numpy实现了GPT-2，GPT-2源码，GPT-2模型加速推理，并且可以在树莓派上运行，读了不少hungging face源码，手动实现了numpy的GPT2模型...

之前分别用numpy实现了mlp，cnn，lstm和bert模型，这周顺带搞一下GPT-2，纯numpy实现，最重要的是可在树莓派上或其他不能安装pytorch的板子上运行，生成数据gpt-2的mask-multi-headed-self-attention我现在才彻底的明白它是真的牛逼，比bert的multi-headed-self-attention牛的不是一点半点，提出mask的人智商也...

2023-07-07 19:21:00 543

原创我在树莓派上跑通了bert模型，使用numpy实现bert模型，使用hugging face 或pytorch训练模型，保存参数为numpy格式，然后使用numpy加载模型推理...

之前分别用numpy实现了mlp，cnn，lstm，这次搞一个大一点的模型bert，纯numpy实现，最重要的是可在树莓派上或其他不能安装pytorch的板子上运行，推理数据本次模型是随便在hugging face上找的一个新闻评论的模型，7分类看这些模型参数，这并不重要，模型占硬盘空间都要400+Mbert.embeddings.word_embeddings.weight torch...

2023-06-30 19:01:00 362

原创树莓派和esp8266之间使用tcp协议通信

树莓派代码：from flask import Flask, render_templateimport socketimport threadingapp = Flask(__name__)adc_value = 0# 接收tcp数据def receive_tcp_data(): global adc_value # 从ESP8266接收ADC数据 ...

2023-06-09 23:42:00 416

原创树莓派和esp8266在局域网下使用UDP通信，esp8266采集adc数据传递给树莓派，树莓派在web上显示结果...

树莓派和esp8266需要在同一局域网下esp8266使用arduino开发：接入一个电容土壤湿度传感器，采集湿度需要使用adc#include <ESP8266WiFi.h>#include <WiFiUdp.h>const char* ssid = "litianmenzhenbu";const char* password = "LT12345678...

2023-06-02 23:19:00 391

原创在树莓派上实现numpy的LSTM长短期记忆神经网络做图像分类，加载pytorch的模型参数，推理mnist手写数字识别...

这几天又在玩树莓派，先是搞了个物联网，又在尝试在树莓派上搞一些简单的神经网络，这次搞得是LSTM识别mnist手写数字识别训练代码在电脑上，cpu就能训练，很快的：import torchimport torch.nn as nnimport torchvisionimport numpy as npimport osfrom PIL import Image# 定义LSTM...

2023-05-31 13:13:00 688 2

原创在树莓派上实现numpy的conv2d卷积神经网络做图像分类，加载pytorch的模型参数，推理mnist手写数字识别，并使用多进程加速...

这几天又在玩树莓派，先是搞了个物联网，又在尝试在树莓派上搞一些简单的神经网络，这次搞得是卷积识别mnist手写数字识别训练代码在电脑上，cpu就能训练，很快的：import torchimport torch.nn as nnimport torch.optim as optimfrom torchvision import datasets, transformsimport n...

2023-05-30 19:13:00 578

原创在树莓派上使用numpy实现简单的MLP神经网络推理，pytorch在服务器或PC上训练好模型保存成numpy格式的数据，推理在树莓派上加载模型...

这几天又在玩树莓派，先是搞了个物联网，又在尝试在树莓派上搞一些简单的神经网络，这次搞得是mlp识别mnist手写数字识别训练代码在电脑上，cpu就能训练，很快的： 1 import torch 2 import torch.nn as nn 3 import torch.optim as optim 4 from torchvision import datasets, transf...

2023-05-30 16:25:00 411

原创使用树莓派远程控制灯继电器开关，dht11温湿度网页显示，树莓派物联网

前段时间使用esp8266搞了个智能家居，通过网页控制，但是没有办法实现远程控制，只能局域网控制，因为我没有平台，使用机制云等平台还需要开发app使用chatgpt生成的main.py程序from flask import Flask, render_template, requestimport Adafruit_DHTimport RPi.GPIO as GPIOapp = F...

2023-05-26 23:40:00 324

原创 huggingface vit训练代码，可以改dataset训练自己的数据

见代码：from transformers import ViTImageProcessor, ViTForImageClassificationfrom PIL import Imageimport torchimport torch.nn as nnimport torch.optim as optimfrom torch.utils.data import DataLoade...

2023-05-26 00:10:00 910 1

原创 macbook苹果m1芯片训练机器学习、深度学习模型,resnet101在mnist手写数字识别上做加速，torch.device("mps")...

apple的m1芯片比以往cpu芯片在机器学习加速上听说有15倍的提升，也就是可以使用apple mac训练深度学习pytorch模型！！！惊呆了安装apple m1芯片版本的pytorch然后使用chatGPT生成一个resnet101的训练代码，这里注意，如果网络特别轻的话是没有加速效果的，还没有cpu的计算来的快这里要选择好设备不是"cuda"了，cuda是nvidia深度学习加速...

2023-05-24 17:37:00 1742 5

原创 esp8266，arduino，网页显示dht11温湿度，控制继电器开关，局域网智能家居

不说了，上代码，用arduino实现esp8266代码#include <ESP8266WiFi.h>#include <WiFiClient.h>#include <ESP8266WebServer.h>#include <SimpleDHT.h>// 定义DHT11引脚// VCC: 5V or 3V// ...

2023-05-19 22:02:00 434

原创 pandas 数据处理一些常用操作

读取csv文件，打印列名称：import pandas as pd# data = pd.read_csv("guba_fc_result_20230413.csv")data = pd.read_csv("guba_all_newtext_20230413.csv")data.columns保存文件：data.to_csv("guba_all_cutwords_2023...

2023-05-15 18:00:00 77

原创 python异步字符串查找，asyncio和marisa_trie

自然语言处理当中经常需要字符串的查找操作，比如通过查找返回字串在文本当中的位置，比如通过匹配实现的nerimport pandas as pdimport asyncio# data = pd.read_csv("guba_fc_result_20230413.csv")data = pd.read_csv("guba_all_post_20230413.csv")filenam...

2023-05-11 18:35:00 113

原创 python异步正则字符串替换，asyncio异步正则字符串替换re

自然语言处理经常使用re正则模块进行字符串替换，但是文本数量特别大的时候，需要跑很久，这就需要使用asyncio异步加速处理import pandas as pdimport reimport asynciodata = pd.read_csv("guba_all_post_20230413.csv")data.dropna(inplace=True)# def repl...

2023-05-11 18:31:00 87

原创 python 多进程jieba分词，高效分词，multiprocessing

自然语言任务经常使用jieba分词，数据量大时怎么加速，jieba分词不支持使用asyncio异步加速，使用multiprocessing还是可以的import jiebaimport jieba.analyseimport multiprocessing# 加载自定义词典jieba.load_userdict("user_dic.txt")jieba.load_userdict...

2023-05-11 18:25:00 290

原创 (一)pyahocorasick和marisa_trie，字符串快速查找的python包，自然语言处理，命名实体识别可用的高效包...

PyahocorasickPyahocorasick是一个基于AC自动机算法的字符串匹配工具。它可以用于快速查找多个短字符串在一个长字符串中的所有出现位置。Pyahocorasick可以在构建状态机时使用多线程，从而大大加快构建速度。安装PyahocorasickPyahocorasick可以使用pip命令进行安装：pip install pyahocorasick使用Pyaho...

2023-04-26 16:02:00 692

原创 (二)asyncio的简单使用，python异步高效处理数据，asyncio.get_event_loop()，loop.run_until_complete(main())，loop.close()...

Asyncio 是一个基于事件循环的异步I/O框架，它提供了高效的协程实现，能够轻松地编写高并发的Python程序。Asyncio 在 Python 3.4 中首次引入，它的核心是事件循环(Event Loop)，通过协程实现异步编程，避免了传统线程模型中的锁和线程切换开销，提高了程序的并发性能。Asyncio的工作原理如下：创建一个事件循环(Event Loop)对象编写协程函数，使用...

2023-04-26 15:12:00 820

原创 (一)asyncio的基本使用框架，python高效处理数据，asyncio.gather(),asyncio. create_task(),asyncio.run(main())...

asyncio 是 Python 3.4 引入的标准库，是一个基于事件循环的异步 I/O 并发库。它提供了一种协作式的多任务处理方式，使得我们能够在一个线程中并发处理多个 I/O 操作。它通过将 I/O 操作转化为异步的非阻塞调用，从而实现了高效的并发处理。其原理如下：定义协程(coroutine)：使用关键字 async def 定义一个协程函数，它是一种特殊的函数，可以暂停执行并在稍后...

2023-04-26 15:04:00 365

原创 pid循迹小车的实现，arduino

帮我写一个Arduino循迹小车的程序，小车前面有并列8个红外发射接收传感器，每个红外发射接收传感器为1cm宽，地面循迹的线是大约2cm宽黑色的线，地面其他位置是白色的，要求循迹小车运行的速度快，使用pid算法控制速度实现精准的转向首先，我们需要定义红外线传感器的引脚和变量：const int numSensors = 8; // 传感器的数量const int sensors[num...

2023-04-26 11:01:00 1062 1

原创 pid算法函数实现，c语言版

#include <stdio.h>float pid(float setpoint, float process_variable, float kp, float ki, float kd, float dt, float* integral, float* last_error) { // Calculate error float error = set...

2023-04-26 10:54:00 374

原创使用pycuda替换字符串，使用cuda替换字符串

写一个python的cuda程序，实现字符串列表的字符串替换，把所有的123替换成xinyuuliu以下是一个简单的 Python CUDA 代码示例，用于实现字符串列表的字符串替换。它使用了 NVIDIA CUDA 编程模型的一些基本概念和语法。# 导入必要的模块import pycuda.autoinitimport pycuda.driver as drvimport nump...

2023-04-26 10:50:00 93

原创 python 快速替换csv数据集字符串列表中的表情符号为空，asyncio，re，pandas

传统的字符串列表替换字符串使用遍历非常慢比如下面这段代码，如果处理几十万或上百万的数据集时，会非常的慢，几小时几天都可能import rep = re.compile(u'['u'\U0001F300-\U0001F64F' u'\U0001F680-\U0001F6FF' u'\u2600-\u2B55 \U00010000-\U0010ffff]+')# text = "超详细修高鼻...

2023-04-26 10:47:00 368

原创 python flashtext字符串快速替换，自然语言处理加速

在自然语言处理当中，经常对数据集进行一些数据字符的替换，表情的替换，以便在tokenizer的时候不被识别成[unk],造成信息的缺失常规方法使用python自带的replace方法实现，但数据量很大时，效率显得低了比如下面的代码，处理60000条数据需要3+小时from tqdm.notebook import tqdmemoji_dict = {}with open('/User...

2023-04-12 16:56:00 166

原创 K210,yolo，face_mask口罩检测模型训练及其在K210，kd233上部署

前段时间考研，再加上工作，时间很紧，一直没有更新博客，这几天在搞k210的目标检测模型，做个记录，遇到问题可以添加qq522414928或添加微信13473465975，共同学习首先附上github地址，本人自己改的，绝对好用，只要有数据，就能跑通https://github.com/LiuXinyu12378/yolo-k210-face-mask也是想在考研复试的时候可以拿出来给导师看看...

2022-01-06 22:54:00 1759 1

原创 few-shot-learning for object detection

githubhttps://github.com/LiuXinyu12378/few-shot-learning-for-object-detectiontrain.pyfrom __future__ import print_functionimport sysimport timeimport torchimport torch.nn as nnimport torch...

2021-05-28 13:29:00 479

原创 wordcloud 词云Python

from wordcloud import WordCloudimport matplotlib.pyplot as pltdef get_word_cloud(words_list): #首先实例化词云类对象，里面三个参数 #font_path:字体路径，为了能够更好的显示中文 #max_words:指定词云图像最多可以显示的词汇数量 #backgrou...

2021-04-16 14:17:00 218

原创 asyncio async和await列表推导式实现异步高并发执行

import asyncioimport randomimport time# 需求:有一个crontab调度器，每隔1秒，拉起1个job，要求这些job可以并发爬取网页async def cron_scheduler(): page0 = 1 start = time.time() for i in range(10000): url0 = ...

2021-04-13 11:05:00 188

原创 numpy函数向量化，np.vectorize

import numpy as npimport timedef myfunc(a, b): if a>b: return a-b else: return a+bvfunc = np.vectorize(myfunc)t0=time.time()vfunc(np.random.randint(5,size=10000000...

2021-03-12 17:29:00 1176

原创 requests模块发送post请求，flask开启服务接收请求，python

request模块部分import requestsimport jsonif __name__ == '__main__': url = 'http://127.0.0.1:5000' data = {"imageId": "xxxx", "base64Data": "xxxx", "format": "jpg", "url": "xxxxx"} d...

2020-10-21 17:30:00 2819

原创嘉楠k210 多线程点亮流水灯

from Maix import GPIOfrom fpioa_manager import fmimport _threadimport timefm.register(24, fm.fpioa.GPIOHS24, force=True)fm.register(25, fm.fpioa.GPIOHS25, force=True)fm.register(26, fm.fpi...

2020-10-01 15:39:00 802

原创嘉楠k210 kd233官方demo板gpio点灯实验

使用maixpy micropython开发import utimefrom Maix import GPIOfrom board import board_infofrom fpioa_manager import fm# register pin to gpiohs0, # arg force means force register no matter we ha...

2020-09-30 23:03:00 550 1

原创离线语音识别，vosk，离线流式实时静音噪声监测，支持多语言开发python c++ c# java等...

#!/usr/bin/env python3from vosk import Model, KaldiRecognizer, SetLogLevelimport sysimport osimport waveSetLogLevel(0)if not os.path.exists("model"): print ("Please download the mod...

2020-09-30 17:05:00 1951

原创麦克风静音检测，只保存非静音部分

#-*- coding: utf-8 -*-import osimport wavefrom time import sleepimport numpy as npimport pyaudioimport matplotlib.pyplot as pltSUCCESS = 0FAIL = 1audio = pyaudio.PyAudio()audio2 = ""...

2020-09-27 18:51:00 475

原创 flask通过线程池实现异步

from flask import Flaskfrom time import sleepfrom concurrent.futures import ThreadPoolExecutor# DOCS https://docs.python.org/3/library/concurrent.futures.html#concurrent.futures.ThreadPoolExe...

2020-09-24 16:38:00 1169

原创 asyncio和aiohttp携程并发

import asynciofrom aiohttp import webimport timeasync def process(): for i in range(10): print("process data !!") # time.sleep(1) await asyncio.sleep(1)async ...

2020-09-24 16:29:00 262

空空如也

空空如也