![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AIGC
文章平均质量分 71
人工智能相关的项目应用
我是小z呀
健康自由幸福的人类
展开
-
Gemma
配置lora的训练参数,包括损失计算compute_metrics,并对输入的input_ids构造输入样本列表批次处理。使用nlp-getting-started数据集训练模型做二分类任务。,下载gemma需要HF的Token,按照步骤就可以下载。在源model基础上配置LoRA的参数,形成lora_model。处理csv数据,将输入文字经过tokenizer编码处理。首先是去HF下载模型,但一直下载不了,所以去了。这里我有时是2b有时是7b,换着用。配置lora_model的训练参数。原创 2024-02-27 16:19:17 · 707 阅读 · 0 评论 -
开源模型部署及使用
具体用什么模型实现什么任务可以在flagai\auto_model\auto_loader.py里面看到可用的模型和方法,如果你用的不对也会有输出,可以根据提示选择。修在configs/model_config.py里面模型文件的地址,这里确保你的两个模型文件都放在MODEL_ROOT_PATH ,并名字都和代码里的一样。据说要开源33b大模型,而且还是中英双语,有些期待,可以先试试他们的7b,这里面竟然还有生成code和sql的模型,感觉可以跟一波。不适用缓存数据重新下载,最后就可以了。原创 2024-01-25 18:08:22 · 1468 阅读 · 0 评论 -
chatglm4使用
登录,这里注册就送10万token,去API keys拿到自己的key。给自己的环境安装一下他们的库。使用流式输出时,在messages里面添加stream参数,打印时使用循环。glm4开始闭源了,所以就使用api来试试。原创 2024-01-22 14:20:15 · 3337 阅读 · 5 评论 -
win本地部署文字转语音tts
Mozilla TTS 已经停止更新,所以这里用 Coqui TTS ,。原创 2024-01-04 16:45:00 · 1314 阅读 · 0 评论 -
win部署stable-diffusion
去找自己喜欢的风格,然后下载里面的模型,放到自己的model文件里面的Stable-diffusion文件夹去使用。下载一个ckpt模型到这里面的model文件夹里的Stable-diffusion文件夹。首先下载stable-diffusion-webui,这个包了一层ui,特别好用。2.删除掉venv和repositories文件夹。里面找到自己喜欢的风格,然后去。这里的pytorch,自己去。这里遇到git不下来的可以去。然后搭建conda环境。找自己电脑合适的版本。原创 2023-12-27 10:41:22 · 1009 阅读 · 1 评论 -
本地部署语音转文字(whisper,SpeechRecognition)
以管理员身份运行PowerShell。原创 2023-12-09 17:32:20 · 1731 阅读 · 0 评论 -
chatglm3部署使用
然后还有一个问题是requests异步访问有问题,所以用了httpx,修改front_end.py里面的@app.get(“/api/chat”)项目,模型地址换成本地的glm3,运行app文件即可,这里主要是环境的问题配了好久,之后会把环境文件导出附上。这里我踩的一个坑是没有自定义jupyter内核用glm3环境设置的,所以一直是有代码没图像。项目,这里面有连接互联网,查询天气和思维导图等很多功能,这里面遇到的问题是把前端vue里的。api用的8000端口,所以在front_end.py最后一行改为。原创 2023-11-23 14:05:05 · 1212 阅读 · 0 评论 -
Transformer知识点
结构如下图,包括四部分:输⼊部分,输出部分,编码器部分,解码器部分。原创 2023-10-20 15:34:40 · 190 阅读 · 0 评论 -
12306验证码识别
1.安装tesseract:https://digi.bib.uni-mannheim.de/tesseract/,并配置环境,pip install pytesseract2.安装tesserocr:https://github.com/simonflueckiger/tesserocr-windows_build/releases,pip install tesserocr pillow原创 2021-05-08 10:45:32 · 231 阅读 · 0 评论 -
1.basic_something
1.基础必须(4个):op,session,graph,run矩阵乘法:tf.matmul()import tensorflow as tfm1=tf.constant([[3,3]])#定义1行2列的矩阵常量op(1.op)m2=tf.constant([[2],[3]])#2行1列的opproduct=tf.matmul(m1,m2)#矩阵相乘的opsess=tf.Session()#定义一个会话,并启动默认图(2.session,3.graph)result=sess.run(produ原创 2020-08-12 17:29:26 · 139 阅读 · 0 评论 -
2.simple_models
1.线性回归import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltx_data=np.linspace(-0.5,0.5,200)[:,np.newaxis]#生成200行1列的二维数据noise=np.random.normal(0,0.02,x_data.shape)#200行1列的噪声数据y_data=np.square(x_data)+noise#1.定义placeholder数据x,yx=tf原创 2020-08-12 18:40:00 · 279 阅读 · 0 评论 -
PARL与强化学习笔记
paddle与强化学习笔记1.预习1.1MNIST手写识别2.初识3.基于表格型求解RL4.基于神经网络求解RL5.基于策略梯度求解RL6.连续动作空间上求解RL最近打算学习强化学习,看到了百度的公开课(https://aistudio.baidu.com/aistudio/education/group/info/1335),所以跟着学习记录一些笔记。1.预习1.人的视觉系统处理信息是分级的。2.边缘特征 —–> 基本形状和目标的局部特征——>整个目标 这个过程其实和我们的常识是相吻合原创 2022-02-28 18:20:25 · 1196 阅读 · 0 评论 -
win10下使用mmdet训练自己的数据模型
win10下使用mmdet训练自己的数据模型1.环境配置2.制作自己的coco数据集3.进行训练1.环境配置1.查看自己cuda版本:2.查看自己python版本3.安装pytorch官方地址,按自己的选择复制粘贴到自己的python虚拟环境中。安装完之后在自己的虚拟环境中打开python,输入import torch,如果没有报错,说明自己的pytorch安装成功。4.安装mmcv和mmdet在自己虚拟环境中输入pip install mmcv(或者pip install mmcv-fu原创 2021-08-24 16:05:53 · 2110 阅读 · 0 评论 -
python实现风格迁移
python实现风格迁移1.使用tensorflow hub2.使用Gan网络训练3.参考1.使用tensorflow hubgoogle的迁移学习已经出了api,就几行代码,感觉很好用。https://hub.tensorflow.google.cn/ ,里面有很多优秀的模型。import osimport tensorflow as tfos.environ['TFHUB_MODEL_LOAD_FORMAT'] = 'COMPRESSED'import matplotlib.pyplot a原创 2021-10-11 18:02:35 · 498 阅读 · 0 评论 -
python实现渐变图像
python实现渐变图像1.python环境2.程序与注释3.图片和结果4.参考1.python环境最近渐变图又火了,今天收假摸鱼,自己也玩一玩。环境搭建很简单,搞个虚拟环境conda create -n play python=3.7activate playpip install pillow2.程序与注释from PIL import Image# 1.读取背景图片#如果你是jpg的话需要先转换成png格式# bj = Image.open("b.jpg")# bj.sav原创 2021-10-09 09:57:47 · 1718 阅读 · 0 评论 -
强化学习笔记
强化学习笔记1.环境配置2.CartPole游戏工作需要,可能要自己了解一些DQN方面的知识,所以记录一下自己的学习笔记吧。1.环境配置首先创建虚拟环境并使用清华镜像安装Gym(开源游戏环境Gym是一个国外的开源测试平台)。conda create -n game python=3.7activate gamepip install -i https://pypi.tuna.tsinghua.edu.cn/simple gym pip install gym[all]最后一句安装所有gym原创 2021-10-12 17:07:19 · 1202 阅读 · 0 评论 -
YOLOv5行人检测
YOLOv5行人检测1.数据准备1.下载数据集2.整理出jpg和xml2.进行YOLOV5的部署训练1.划分数据集2.生成yolo的txt文件3.配置自己数据集的文件4.聚类找anchors5.配置模型文件6.训练模型1.数据准备1.下载数据集(工程1WiderPerson)首先下载行人数据集:这里我使用了WiderPerson数据集,下载数据集。2.整理出jpg和xml把数据集整理出图片和xml文件:把下面的py文件运行3遍,第一遍运行train.txt文件,第二遍运行val.txt文件,并且注原创 2021-09-28 23:59:36 · 19465 阅读 · 31 评论 -
win下使用TensorFlow object detection训练自己模型
win下使用TensorFlow object detection训练自己模型1. 环境2.xml生成csv文件,再生成record文件2.1 对训练文件和测试文件都使用以下两个文件分别生成自己的csv文件2.1 对生成的两个csv文件分别生成自己的record文件3. 修改配置文件1. 环境1.1 创建虚拟环境python3.7,安装tensorflow-gpu==1.13.1,安装PIL(pip install pillow)。1.2 下载labelimg,使用labelimg对自己的图片进行原创 2021-08-16 18:39:19 · 960 阅读 · 0 评论 -
python实现自己的动漫图像
python实现自己的动漫图像用到了原创 2021-10-09 10:57:54 · 2286 阅读 · 0 评论 -
slowfast实现行为识别
xavier+实现行为识别1.准备数据集2.slowfast部署3.参考1.准备数据集2.slowfast部署 conda create -n slowfast python=3.7conda activate slowfastgit clone https://gitee.com/qiang_sun/SlowFast.gitcd SlowFastpython setup.py build developpip install portalockerpip install torchvi原创 2021-11-12 14:59:01 · 2582 阅读 · 0 评论 -
JAX学习笔记
windows下学习jax,记录笔记,一起成长原创 2022-06-16 20:14:05 · 1144 阅读 · 2 评论 -
人脸识别项目
这篇没有神经网络的搭建,完全是用opencv自带的库实现人脸识别功能。python_opencv实现人脸识别1.训练模型2.usb摄像头识别3.全部代码4.参考1.训练模型1.准备数据集,将不同人的照片放在不同的文件夹下,如下我在detect工程的目录下建了data文件夹,里面分别放了三个人的照片作为模型训练数据库。2.利用opencv的人脸检测模型检测人脸,等下要把训练数据库里的人脸检出来,这里的xml文件要科学上网。def detect_face(img): #将检测图片转化为灰度图,原创 2021-12-13 12:35:09 · 4371 阅读 · 1 评论 -
玩转NVIDIA Jetson AGX Xavier
最近项目应用需要部署到边缘模块,所以就玩起了Xavier。感觉网上的资料不多,所以从头记录一下笔记,方便大家一起学习应用。玩转NVIDIA Jetson AGX Xavier1.刷机(安装sdkmanager)1.刷机(安装sdkmanager)拿到这个首先是刷机,安装sdkmanager。这里需要用到一台装有ubuntu18.04版本的电脑,这里我是装的双系统,没有用虚拟机。需要的材料:一台装有ubuntu18.04的主机xavier,这里我叫他工控机usb线两个网线1.首先在主机上下载原创 2021-10-23 11:28:01 · 2030 阅读 · 1 评论 -
python环境问题
python环境问题1.搭建虚拟环境1.搭建虚拟环境conda create -n tf13 python=3.7activate tf13conda install tensorflow-gpu==1.13.1原创 2021-10-09 12:36:42 · 1487 阅读 · 0 评论 -
pygame学习笔记
pygame学习笔记1.基础知识参考1.基础知识1.设置死循环,持续显示窗口。import pygameimport syspygame.init() # 初始化pygamesize = (320, 240) # 设置窗口大小(w.h)screen = pygame.display.set_mode(size) # 显示窗口while True: # 设置死循环,保证和窗口一直显示 for event in pygame.event.get(): # 遍历事件原创 2021-11-15 19:19:36 · 3939 阅读 · 0 评论 -
2.mtcnn人脸检测
1.网络结构from tensorflow.keras.layers import Conv2D,Input,MaxPool2D,Reshape,Activation,Flatten,Dense,Permute,PReLUfrom tensorflow.keras.models import Model,Sequentialimport numpy as npimport cv2def create_Pnet(weight_path): inputs=Input(shape=[None,N原创 2020-07-24 13:05:53 · 169 阅读 · 0 评论 -
mobilenet_psp_u
#1.encoder_mobilenetfrom keras.models import *from keras.layers import *import keras.backend as Kimport kerasIMAGE_ORDERING='channels_last'channel_axis=1 if IMAGE_ORDERING=='channels_first' else -1def relu6(x): return K.relu(x,max_value=6)def原创 2020-07-21 15:04:43 · 72 阅读 · 0 评论 -
keras+seq2seq实现翻译
这周主要学习seq2seq模型,先敲代码感受一下,之后会总结学习过程中学习到的理论知识。1.获取数据from keras.models import Modelfrom keras.layers import Input,LSTM,Dense,TimeDistributedimport numpy as npimport keras.backend as Kimport redef clean_text(text):#可以根据下面的characters再回来调整要替换的特殊字符,保证字母纯洁原创 2020-07-14 14:47:52 · 272 阅读 · 0 评论 -
8.bidirectional_recurrent_neural_network
import torchimport torch.nn as nnimport torchvisionimport torchvision.transforms as transformsdevice=torch.device('cuda' if torch.cuda.is_available() else 'cpu')sequence_length=28input_size=28hidden_size=128num_layers=2num_classes=10batch_size=10原创 2020-07-26 17:27:40 · 92 阅读 · 0 评论 -
1.GAN生成mnist
1.GAN:Generative Adversarial Network2.生成器:随机生成一个一维的100个随机数(latent_dim)作为输入生成mnist图片 def build_generator(self): model=Sequential() model.add(Dense(256,input_dim=self.latent_dim)) model.add(LeakyReLU(alpha=0.2)) model.add(Ba原创 2020-07-20 17:15:31 · 314 阅读 · 0 评论 -
简单的LSTM生成钢琴纯音乐
1.拿出所有的音符import globimport picklefrom music21 import converter,instrument,note,chord,streamfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense,Dropout,LSTM,Activation,BatchNormalization#from tensorflow.keras.utils原创 2020-07-15 14:57:07 · 754 阅读 · 0 评论 -
keras实现验证码识别
1.captcha 可以生成语音和图片验证码,我们采用生成图片验证码功能,验证码是由数字、大写字母组成。pip install captchafrom captcha.image import ImageCaptchaimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport randomimport string%config InlineBackend.figure_format='retina'原创 2020-07-12 16:21:34 · 497 阅读 · 0 评论 -
6.deep_residual_network
import torchimport torch.nn as nnimport torchvisionimport torchvision.transforms as transformsdevice=torch.device('cuda' if torch.cuda.is_available() else 'cpu')num_epochs=3batch_size=20learning_rate=0.001transform=transforms.Compose([transforms.Pa原创 2020-07-25 17:28:05 · 72 阅读 · 0 评论 -
7.recurrent_neural_network
device=torch.device('cuda' if torch.cuda.is_available() else 'cpu')sequence_length=28input_size=28hidden_size=128num_layers=2num_classes=10batch_size=100num_epochs=2learning_rate=0.01train_dataset=torchvision.datasets.MNIST(root='../../data/',trai原创 2020-07-25 18:11:25 · 88 阅读 · 0 评论 -
keras+resnet34实现车牌识别
1.使用PIL和opencv生成车牌图像数据from PIL import ImageFont,Image,ImageDrawimport cv2import numpy as npimport osfrom math import *#创建 生成车牌图像数据 的类index = {"京": 0, "沪": 1, "津": 2, "渝": 3, "冀": 4, "晋": 5, "蒙": 6, "辽": 7, "吉": 8, "黑": 9, "苏": 10, "浙": 11, "皖": 12,原创 2020-07-12 15:09:41 · 1729 阅读 · 0 评论 -
0.目标检测基础知识
1.IOU交并比#1。交并比import cv2import numpy as npimg=np.zeros((512,512,3),np.uint8)#此大小的黑色画布img.fill(255)#画布填255,变成白色画布RecA=[50,50,300,300]#矩形的左上与右下点坐标RecB=[60,60,320,320]cv2.rectangle(img,(RecA[0],RecA[1]),(RecA[2],RecA[3]),(0, 255, 0),5)#在纯白画布上画上框,线条粗5个原创 2020-07-19 17:40:10 · 81 阅读 · 0 评论 -
4.人脸检测mtcnn+mobilenet戴口罩分类
#from keras.models import Model,Sequentialimport tensorflow as tfimport numpy as npimport cv2import osfrom functools import partial#from keras.layers import ZeroPadding2D,Depthwise,Conv2D,Activation,BatchNormalization,Concatenate,MaxPool2D,Conv2D,Den原创 2020-07-26 11:25:32 · 875 阅读 · 1 评论 -
2.Deblur_GAN
1.生成器def generator_model(): inputs=Input(shape=image_shape)#(256,256,3) x=ReflectionPadding2D((3,3))(inputs) x=Conv2D(filters=ngf,kernel_size=(7,7),padding='valid')(x) x=BatchNormalization()(x) x=Activation('relu')(x) n_downsamplin原创 2020-07-21 17:15:50 · 275 阅读 · 0 评论 -
2.目标检测SSD
SSD(Single Shot MultiBox Detector),是一种非常优秀的one-stage方法。one-stage算法就是目标检测和分类是同时完成的,其主要思路是均匀地在图片的不同位置进行密集抽样,抽样时可以采用不同尺度和长宽比,然后利用CNN提取特征后直接进行分类与回归,整个过程只需要一步,所以其优势是速度快。但是均匀的密集采样的一个重要缺点是训练比较困难,这主要是因为正样本与负样本(背景)极其不均衡(参见Focal Loss),导致模型准确度稍低。参考:https://blog.csd原创 2020-07-22 13:17:17 · 131 阅读 · 0 评论 -
9.language_model
#1.创建字典和语料库import torch import osclass Dictionary(object):#字典 def __init__(self): self.word2idx={} self.idx2word={} self.idx=0 def add_word(self,word): if not word in self.word2idx: self.word2idx[word]原创 2020-08-04 18:25:41 · 75 阅读 · 0 评论