RSS订阅原创 人工智能与人工计算的发展——孙凝晖院士
计算技术的发展历史大致可分为四个阶段，算盘的出现标志着人类进入第一代——机械计算时代，第二代——电子计算的标志是出现电子器件与电子计算机，互联网的出现使我们进入第三代——网络计算，当前人类社会正在进入第四阶段——智能计算。早期的计算装置是手动辅助计算装置和半自动计算装置，人类计算工具的历史是从公元1200年的中国算盘开始，随后出现了纳皮尔筹(1612年)和滚轮式加法器(1642年)，到1672年第一台自动完成四则运算的计算装置——步进计算器诞生了。机械计算时期已经出现了现代计算机的一些基本概念。
2024-05-27 11:27:26
1024
原创 中文Mistral模型介绍（Chinese-Mistral）——中文大语言模型
我们基于Mistral-7B进行了中文词表扩充和增量预训练，增强了Mistral-7B在中文任务上的表现，并提高了其对中文文本的编解码效率。
2024-04-06 17:11:00
3647
原创 开源中文大语言模型汇总
Mistral是超越llama的最强开源模型，由于发布时间晚于llama，因此其中文版本较少。llama作为开源社区的宠儿，有许多基于它的中文模型，下面列举比较流行的一些模型。
2024-04-02 17:30:21
1370
1
原创 普林斯顿DeepMind用数学证明：LLM不是随机鹦鹉！「规模越大能力越强」有理论根据
一开始，LLM可能选不准词，算法就会给出一个损失值，即在某个高维的数学空间中，LLM给出的初始答案和原句正确答案之间的「距离」（distance），然后用这个值来对参数进行微调。他们注意到，随着模型的增大，无论是在大小还是在训练数据量上，它在测试数据上的损失（在训练后对新文本的预测与正确答案之间的差异）以一种非常特定的方式减少。接下来，两位研究人员又找到了一种解释更大模型所获得的能力的方法——随着LLM的大小增加和测试损失减小，技能节点的随机组合开始连接到个别文本节点。研究这些图揭示了节点之间的某些关系。
2024-04-02 16:52:59
270
原创 采用大语言模型进行查询重写——Query Rewriting via Large Language Models
查询重写是在将查询传递给查询优化器之前处理编写不良的查询的最有效技术之一。手动重写不可扩展，因为它容易出错并且需要深厚的专业知识。类似地，传统的查询重写算法只能处理一小部分查询：基于规则的技术不能推广到新的查询模式，并且基于综合的技术无法处理复杂的查询。幸运的是，大型语言模型（大语言模型）的兴起，配备了广泛的常识和先进的推理能力，为解决一些以前未解决的问题带来了希望。在本文中，我们提出了GenRewrite，这是第一个利用大语言模型进行查询重写的整体系统。
2024-04-02 15:46:26
1466
1
原创 哈工大中文mistral介绍（Chinese-Mixtral-8x7B）
Chinese-Mixtral-8x7B基于Mistral发布的模型Mixtral-8x7B进行了中文扩词表增量预训练。扩充后的词表显著提高了模型对中文的编解码效率，并通过大规模开源语料对扩词表模型进行增量预训练，使模型具备了强大的中文生成和理解能力。开源地址见https://github.com/HIT-SCIR/Chinese-Mixtral-8x7B。参考https://github.com/HIT-SCIR/Chinese-Mixtral-8x7B。该项目开源了模型权重和扩词表增量预训练代码。
2024-02-29 22:07:57
1272
原创 继续预训练对大语言模型的影响
本文研究了大型语言模型（LLMs）中不断学习（CL）的不断发展领域，重点是制定有效和可持续的训练策略。我们主要关注持续领域自适应预训练，这是一个旨在使LLMs能够整合来自各个领域的新信息，同时保留先前学到的知识并增强跨领域知识转移的能力，而无需依赖于特定领域的识别过程。与以往主要集中于有限的任务或领域并主要旨在解决遗忘问题的研究不同，我们的研究评估了LLMs在实际场景中适应不断变化的数据环境的能力和特点。为此，我们引入了一个旨在衡量LLMs对这些不断演变的数据环境的适应能力的新基准，提供了全面的评估框架。
2024-02-29 21:59:01
1464
原创 huggingface上传或发布自己的模型（大语言模型LLM）
在注册huggingface账号，登录账号后，在https://huggingface.co/settings/tokens创建token，注意需要将token的类型设置为WRITE。
2024-02-28 21:36:34
1547
原创 使用ChatGLMTokenizer处理json格式数据
我下载了一些中文wikipedia数据，准备采用ChatGLMTokenizer对齐进行清洗，整理为预训练语料。
2023-09-07 14:04:49
1120
原创 python jsonl格式文件转为json格式文件
转化为格式1的代码：（需要注意的是，读取文件和写入文件的encoding需要指定为一致，不然会导致gbk和utf混用，导致评测和微调的时候出现字符错误）转化为格式2的代码：（注意需要将jsonl的’转化为”）
2023-06-25 16:59:43
2681
原创 Linux系统安装Anaconda
在这个网站https://pytorch.org/get-started/previous-versions/找到自己想要的版本。2、我安装的是Anaconda3-2020.11-Linux-x86_64.sh，所以下载安装包的命令是。4、重新打开终端，输入如下内容检验是否成功安装。若成功显示conda版本，即表示安装成功。6、下面我们安装pytorch。查找自己想要安装的版本。
2023-05-26 14:24:58
288
原创 linux（ubuntu）安装Docker教程-超详细超简单
经过上述配置，我们已经成功安装Docker。但是，现在只有管理员能够使用Docker，其他用户没有使用Docker的权限，下面我们再进行配置，使得其他用户也能使用Docker。5、添加Docker源，这里我们选择的是stable稳定版。8、这里我们安装安装Docker的社区版。7、查看有哪些Docker版本可以安装。现在，其他用户也能使用Docker了。12、设置Docker开机自动启动。4、为系统添加Docker的密钥。11、查看Docker是否开启。10、启动Docker服务。1、首先进入管理员权限。
2023-05-22 11:39:39
2461
原创 基于GPT-2实现图像文本生成
使用google的vit-base-patch16-224模型处理图像，做encoder。最后通过VisionEncoderDecoderModel将这两个模型粘起来。使用GPT-2模型处理文本，做decoder。
2023-03-31 19:52:03
1025
原创 下载huggingface-transformers模型至本地，并使用from_pretrained方法加载
我们经常会使用到hugging face开源的transformers包，调用from_pretrained方法直接下载模型时，经常会下载很久甚至失败.而且由于它自动将下载的模型保存至文件夹下，这不方便我们对模型进行备份。为了解决这个问题，下面我们将实现“下载huggingface-transformers模型至本地，并使用from_pretrained方法加载”。
2023-03-31 17:31:12
20582
5
原创 pytorch实战（五）——时间序列多步预测的五种方法介绍
当需要根据已有的时间序列数据，预测未来多个时刻的状态时，被称之为时间序列多步预测。时间序列多步预测有五种策略，分别为：1、直接多步预测（Direct Multi-step Forecast）2、递归多步预测（Recursive Multi-step Forecast）3、直接递归混合预测（Direct-Recursive Hybrid Forecast）4、多输出预测（Multiple Output Forecast）5、seq2seq预测（seq2seq Forecast）
2022-12-25 15:57:17
3713
原创 pytorch实战（四）——模型的保存与读取
有时候，我们想要保存训练好的模型，等需要用来进行图像分类等任务的时候，不经训练，直接加载使用。然后新建predict.py，采用。
2022-11-28 17:16:52
1709
原创 pytorch实战（三）——搭建CNN，训练集和测试集的accuracy、loss可视化
，进行accuracy和loss的可视化。本文基于前面搭建的卷积神经网络（
2022-11-28 17:05:53
655
1
原创 ArcMap（ArcGIS）批量裁剪图片【超详细】
4、增加列表的行数，使其与需要进行批量处理的图像数量保持一致。选择“添加数据”，可将裁剪好的图片添加至图层。7、等待一会儿后，即可完成图片的裁剪。2、打开工具（ArcToolbox）1、将shp文件拖入ArcMap。5、新建excel，填写相关信息。将excel数据复制至这17行中。8、右键图片，选择数据-导出数据。3、右键按掩膜提取，选择批处理。10、设置路径，导出tif。
2022-11-11 22:49:57
9574
1
原创 RuntimeError: Error compiling objects for extension手把手带你解决（超详细）
我在网上找了一些帖子，有让换pytorch版本的，也有其他方法的。我都试过，换pytorch版本确实能起效果，但是这个方法太笨了，我还是推荐使用另外一种方法。1、进入cuda的安装目录。2、找到对应自己pytorch版本的cuda，比如我的有cuda、cuda-11.3、cuda-11.6，但是我的pytorch对应的是cuda（我把cuda11.3命名为cuda了）。.........
2022-08-16 10:05:07
43224
32
原创 配置在关闭本地电脑的情况下远程服务器仍然训练、工作
自己的电脑连上服务器后，训练模型，若这时关闭电脑，则服务器也会随之关闭模型的训练。那么，如何使得自己的电脑关闭的情况下，服务器仍然继续执行训练任务呢？五、需要关闭电脑的时候，使用ctrl+a+d退出screen，再关闭电脑。这个时候不用担心，因为服务器是会继续执行任务的。六、需要查看终端的输出时，重新打开screen即可，执行如下命令。一、用vscode或者cmd的ssh连接到服务器。七、需要删除某个screen时，执行如下命令。二、执行命令，创建screen。三、查看创建的screen。...
2022-08-11 10:26:15
6426
原创 UDP客户端与服务器同时收发信息python
soc1.sendto(info.encode(‘utf-8’),(“192.168.200.18”,8080))的含义为向IP为192.168.200.18、端口为8080发送信息。soc1.sendto(info.encode(‘utf-8’),(“192.168.200.18”,2323))的含义为向IP为192.168.200.18、端口为2323发送信息。说明soc1.bind((‘’,2323))的含义为将2323作为接收信息的端口。同时实现信息的收与发。同时实现信息的收与发。......
2022-07-15 19:21:42
863
原创 Yolov5设置不同类别元素之间使用NMS非极大值抑制
Yolov5默认设置类间元素分别使用NMS，这样一来，会使得图像中的相近区域检测出多个类别目标。如果想要所有的元素一起使用NMS，可以这样设置：进入utils的general.py，在791行添加进行类间NMS时改为True后：...
2022-07-11 16:18:13
1960
原创 yolo格式标签在原始图像中可视化显示
有时候，我们想要查看下载的数据集中，别人把锚框标在了图像中的哪个位置。我们可以用此代码，批量查看。效果：
2022-07-11 11:27:07
3306
8
原创 NMS非极大值抑制原理——目标检测
目标检测在使用了基于深度学习的端到端模型后效果斐然。目前，常用的目标检测算法，无论是One-stage的SSD系列算法、YOLO系列算法还是Two-stage的基于RCNN系列的算法，非极大值抑制都是其中必不可少的一个组件。在现有的基于anchor的目标检测算法中，都会产生数量巨大的候选矩形框，这些矩形框有很多是指向同一目标，因此就存在大量冗余的候选矩形框。非极大值抑制算法的目的正在于此，它可以消除多余的框，找到最佳的物体检测位置。非极大值抑制（Non-Maximum Suppression，以下简称NM
2022-07-08 17:54:37
1374
1
原创 Yolov5训练自己的数据集（超详细）
一、从官网下载最新的yolov5代码二、新建VOCData文件夹三、VOCData文件夹结构1、新建Annotations文件夹，存放标签简单的xml文件，应该长这样复杂的xml文件，应该长这个样子2、新建images文件夹，存放图片数据注意：需要观察自己的图片文件的后缀名，后面需要用到，不然可能出现程序找不到图片的情况3、新建split_train_val.py，用来划分训练集与验证集运行之后，会发现VOCData文件夹里面多了ImageSets文件夹里面包括四个txt文
2022-07-08 11:06:27
10874
11
原创 yolov5手动锚定框计算程序
在yolov5目录下新建程序kmean_anchors() 函数中的参数含义：如果在train时，不想程序自动计算锚定框，可以在train.py这样设置：
2022-07-07 10:17:57
1847
1
原创 pytorch实战（一）——环境配置教程（基于Anaconda）
1、下载Anaconda2、创建虚拟环境conda create -n yolov5 python=3.73、conda activate yolov54、换源conda config --add channels https://mirrors.bfsu.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.bfsu.edu.cn/anaconda/pkgs/main/conda config --add c
2022-06-30 15:55:25
1210
原创 mysql的安装与配置教程
mysql的安装与配置教程首先，进入官网，下载最新版本的mysql社区版官网网址https://www.mysql.com/downloads/将下载好的压缩包解压缩设置环境变量，在系统变量的path部分增加D:\ProgramFiles\MySQL\mysql-8.0.28-winx64\bin在mysql主目录下面新建my.ini在my.ini中输入如下代码# For advice on how to change settings please see# http://dev.mysq
2022-02-20 12:57:22
157
原创 mexFunction之创建矩阵（matlab调用C++程序）
// 部分参考https://blog.csdn.net/yshshhgxq/article/details/91351535#include "mex.h" void mexFunction(int nlhs, mxArray *plhs[], int nrhs, const mxArray *prhs[]){ double *inData; //matlab输进来的矩阵 double *outData; //C++输入matlab的矩阵 int M, N; int i, j; inD
2022-01-29 16:08:19
1165
原创 mex函数编写
在VS中输入#include "mex.h" // 使用MEX文件必须包含的头文件// 执行具体工作的C函数double add(double x, double y){ return x + y;}// MEX文件接口函数void mexFunction(int nlhs, mxArray *plhs[], int nrhs, const mxArray *prhs[]){ double *a; double *b; double c, d; plhs[
2022-01-29 15:20:38
745
原创 matlab2019b运行C++程序（VS 2017）-其他版本的matlab和VS也适用哦
matlab2019b运行C++程序（VS 2017）-其他版本的matlab和VS也适用哦首先，我们配置VS2017。打开VS，新建空项目，新建cpp文件。右键单击项目，打开项目的属性页。配置属性–>C/C+±->常规–>包含目录，添加D:\ProgramFiles\matlab2019b\extern\include、D:\ProgramFiles\matlab2019b\extern\include\win64。配置属性–>链接器–>输入–>附加依赖项，添
2022-01-29 13:13:23
1298
原创 python安装opencv，踩坑终于找到解决方案
python安装opencv，踩坑终于找到解决方案在尝试各种方案后，终于找到了解决方案首先，打开这个网站http://www.lfd.uci.edu/~gohlke/pythonlibs/由于我的python版本是3.7，所以找到opencv_python-4.5.5+mkl-cp37-cp37m-win_amd64最后执行命令pip install D:\Download\opencv_python-4.5.5+mkl-cp37-cp37m-win_amd64就可以成功安装了...
2022-01-14 19:25:22
3120
4
原创 tensorflow2.1的安装教程，超详细（亲测有效）
tensorflow2.1的安装教程（亲测有效）准备工作下载Anaconda，为了加速后面的下载。我打开了VPN（不打开也行）开始安装打开Anaconda，按顺序输入如下命令conda create -n TF2.1 python=3.7conda activate TF2.1conda install cudatoolkit=10.1conda install cudnn==7.6pip install tensorflow==2.1 -i http://pypi.douban.com/
2022-01-14 17:07:06
4537
原创 2021数学建模E题
E 题 中药材的鉴别不同中药材表现的光谱特征差异较大，即使来自不同产地的同一药材，因其无机元素的化学成分、有机物等存在的差异性，在近红外、中红外光谱的照射下也会表现出不同的光谱特征，因此可以利用这些特征来鉴别中药材的种类及产地。中药材的种类鉴别相对比较容易，不同种类的中药材呈现的光谱的区别比较明显。图 1 为两种不同药材的近红外光谱数据曲线图，容易看出两者的差异比较大。中药材的道地性以产地为主要指标，产地的鉴别对于药材品质鉴别尤为重要。然而，不同产地的同一种药材在同一波段内的光谱比较接近，使得光
2021-09-09 18:38:48
14459
42
原创 2021数模国赛D题
D 题 连铸切割的在线优化连铸是将钢水变成钢坯的生产过程，具体流程如下（图 1）：钢水连续地从中间包浇入结晶器，并按一定的速度从结晶器向下拉出，进入二冷段。钢水经过结晶器时，与结晶器表面接触的地方形成固态的坯壳。在二冷段，坯壳逐渐增厚并最终凝固形成钢坯。然后，按照一定的尺寸要求对钢坯进行切割。 图 1 连铸工艺的示意图在连铸停浇时，会产生尾坯，尾坯的长度与中间包中剩余的钢水量及其他因素有关。因此，尾坯的切割也是连铸切割的组成部分。切割机在切割钢坯时，有一个固定的工作起点，钢坯的切割必须从工作起点开始。
2021-09-09 18:36:34
5077
8