- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 如何使用gradio完成快速代码开发
假设还是阅读理解任务，但是我们这次不适用基于 pipeline 的加载方式，而是自定义实现，要求输入包含 context、question，输出包含 answer 和 score，但是这里的 answer 要求要把问题拼接上，如前面的示例，answer 为普希金，这里的答案要变为：著名诗歌《假如生活欺骗了你》的作者是：普希金 ，针对这一需求，我们看下要如何实现。在上面的代码中，我们定义了一个名为greet的函数，该函数接受一个名为name的文本输入，并返回一个包含问候语的文本输出。
2024-08-13 20:31:09
30
原创 采用M3Se进行文本处理，观察效果
部署后使用的体验，普通的对话和ChatGLM2-6b单独使用差不多。知识库问答在上传PDF文档并向量化后，询问模型相关内容，的确是能回答出一些PDF中的内容，并且不是原搬不动的照抄，而是略微有改写并扩展的。但是在知识库问答使用过程中，会有一种无从下手的感觉，不知道该如何提问，能提问哪些问题，希望能够在知识库问答界面提供一些样例方便使用。此外，问答相关的一些模型参数设置在UI界面无法设置，不够灵活。
2023-09-19 17:59:00
460
原创 在langchain上增加ChatGLM2-6B模型
这个部分是我已经安装了langchain-ChatGLM-6B,运行正常，我发现langchain自带了支持ChatGLM2-6B的一个配置，因此我这个实验的思路就是安装ChatGLM2这个模型、程序等，然后看看是否可以在这个原来安装的langchain进行实际操作；退出原来的虚拟环境，一、下载GLM2的原始代码二、下载GLM2的模型(增加了text2vec)采用git-lfs方式，用git方式肯定会报错，再运行下面文件可以运行启动git-lfs，我是早安装了。
2023-09-18 15:22:08
709
原创 Unbuntu中文语言错乱问题
language-pack-zh-hans 简体中文。language-pack-zh-hant 繁体中文。不修改原有内容，直接在原内容下面新开一行加入下列内容。不修改原有内容，直接在原内容下面新开一行加入下列内容。将原始内容注释掉或删掉，替换为如下内容。修改环境文件（环境变量（当前用户））修改环境文件（环境变量（当前用户））粉丝 - 0 关注 - 0。
2023-09-13 11:26:45
155
1
原创 增加conda下载的镜像路径
版权声明：本文为CSDN博主「ImperfectGirl」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/qq_32650831/article/details/127952502。1、打开 Anaconda Navigator ——> 点击 environments ——> 点击 channels。三、可视化界面的方式配置镜像源。二、命令行方式配置镜像源。2、点击 add 添加。# 添加阿里云镜像源。
2023-07-29 14:02:07
1020
原创 安装tensorflow-gpu-2.6
而经过在https://www.lfd.uci.edu/~gohlke/pythonlibs/#matplotlib的一番寻找，我找到了唯一一个符合python3.9环境兼容且与numpy1.19.5也兼容的matplotlib版本：matplotlib3.3.4。为了高效下载，建议先把默认源换了，很简单，这里不再赘述地址:https://www.yii666.com/blog/444368.html。文章地址https://www.yii666.com/blog/444368.html。
2023-07-29 13:51:40
794
原创 langchain下的安装步骤GLM
我的GLM存在langchain-GLM 的同级目录,因此在config.py 就在config目录下，需要修改路径为：../chatglm-6b 注意是2个点。修改完就可以load model正常了。3、安装完成后，关闭当前终端并打开新终端，这将激活 Conda，二、进行conda的安装（可以用简版）更新conda，下面是增加软件包渠道。四、部署langchain+GLM。开始加载模型，估计要几分钟吧。安装完一定要看显卡安装情况。三、进行虚拟环境安装配置。
2023-07-17 10:55:16
915
1
原创 逐步进行glm安装,没有langchain
一、选择阿里云进行薅羊毛选择3个月的A10的计算卡，注意要增加NAS，选择镜像：stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu22.04二、安装基础环境，激活我个人的limingGLM的虚拟环境1、先看看显卡安装情况 nvidia-smi说明显卡已经安装正常2、各种资源的更新，虽然阿里云很多但是我还是在环境下更新一个版本吧sudo apt-get update3、安装gcc编译器(可选，系统中通常已有)：sudo apt insta
2023-07-17 00:00:34
459
原创 评分卡模型
小刘总学数据挖掘——金融风控模型之如何制作评分卡_Zain Lau的博客-CSDN博客一、探索数据1.1导库/获取数据%matplotlib inline import numpy as np import pandas as pd data = pd.read_csv(r"Acard.csv",index_col=0)#观察数据类型 data.head() #观察数据结构 data.shapedata.info() 1.2 去重复值data.drop_duplicates(inplace=True) da
2022-05-07 16:31:50
92
原创 Bert几个数据集的概念Cola、MRPC、XNLI、MNLI等
一直在几个数据集之间犯晕，【关于 Bert 源码解析III 之 微调 篇 】 那些的你不知道的事-技术圈GLUE部分基准数据集介绍：RTE、MRPC、SST-2、QNLI、MNLI、QQP_skysys的研究小屋 -CSDN博客GLUE共有九个任务，分别是CoLA、SST-2、MRPC、STS-B、QQP、MNLI、QNLI、RTE、WNLI。如下图图2所示，可以分为三类，分别是单句任务，相似性和释义任务其中做了详细说明，我提取一下概念：一、 句子对分类任务1、Xnli :2个句
2021-12-22 10:37:31
7237
原创 原始语料处理Bert
#!/usr/bin/env pythonimport osimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.utils import shuffledef train_valid_test_split(x_data, y_data, validation_size=0.1, test_size=0.1, shuffle...
2021-12-22 09:32:49
533
1
原创 用清华镜像方式处理日常Pip
这个方式可以以后做pip的时候不再关心国外的网络了pip install pip -Upip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
2021-12-21 20:31:14
338
原创 折腾半天,Bert的训练模型参数windows一定要这样
1、后面需要反斜杠2、windows的路径也是反斜杠否则出现各种奇葩的错误，看着快放弃了。给小白的做bert训练的第一个小坑--task_name=MRPC \ --do_train=true \ --do_eval=true \ --data_dir=..\GLUE\glue_data\MRPC \ --vocab_file=..\GLUE\BERT_BASE_DIR\uncased_L-12_H-768_A-12\vocab.txt \ --bert_config_...
2021-12-20 22:04:00
551
2
原创 重新安装bert 采用tensor1.x
先安装需要的包：pip install "tensorflow>=1.15,<2.0"pip install --upgrade tensorflow-hubpip install bert-tensorflow==1.0.1安装后的 tensorflow 版本为 1.15.4再用程序测试是否可成功调用bertimport tensorflow as tf # pip install "tensorflow>=1.15,<2.0"import ten...
2021-12-20 15:37:54
220
原创 企业风险识别的KMV的靠谱结果模型-经过多次验证
KMV模型很多做金融风控的都在用，但是网络上看了很多代码感觉每个都结果都不一样，我仔细验证了我几个版本，最后这个版本应该是最靠谱的。
2021-12-09 23:07:34
1157
2
原创 线性规划求解的python函数 : optimize.linprog
"""需要特别注意，原来方式是求最小值，因此在A 和Alist中 所有小于等于方程式的各个因变量值不变，而当方程式为大于等于方程式，那么所有因变量和对应值均需要反转乘以负数1 * -1，我也不清楚为何两边都是要负数，当然不改变方程式本身结构。A top-level linear programming interface. Currently this interface solveslinear programming problems via the Simplex and Interior-P.
2021-12-05 16:59:52
1544
原创 进行回调函数保留最优的模型方式
checkpoint_path = “training_1/cp.ckpt”checkpoint_dir = os.path.dirname(checkpoint_path)创建一个保存模型权重的回调cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_path,save_weights_only=True,verbose=1)使用新的回调训练模型model.fit(train_images,train_la
2021-06-01 21:58:07
659
原创 用个Plt来判断自己预测的图像
import matplotlib.pyplot as plt应该在训练模型的时候总结一个history的日志history= model.fit(cached_train, epochs=3)history_dict = history.historyprint(history_dict.keys())acc1 = history_dict[‘factorized_top_k/top_1_categorical_accuracy’]acc5 = history_dict[‘factorized
2021-06-01 19:47:53
202
原创 简单写个keras的独热函数
import tensorflow as tfprint(_.tf._version)train_data = ([1,2,3],[1,2,3])train_onehot = tf.keras.utils.to_categorical(train_data)train_data = tf.keras.preprocessing.sequence.pad_sequences(train_onehot,# value=10,padding=‘post’,maxlen=4)print(train_
2021-06-01 19:22:52
124
转载 paddlepadle的模型分类训练方式
其中，Fluid通过提供顺序、分支和循环三种执行结构的支持，让用户可以通过组合描述任意复杂的模型。顺序执行用户可以使用顺序执行的方式搭建网络：x=fluid.layers.data(name='x',shape=[13],dtype='float32'y_predict=fluid.layers.fc(input=x,size=1,act=None)y=fluid.layers.data(name='y',shape=[1],dtype='float32')cost=fluid.layers.
2021-05-29 16:01:51
1219
1
原创 paddel的组网
模型中可学习参数的设置方法在模型设置中，诸如像网络权重、偏置等可学习参数在网络设置的整个周期中存在，会接受优化算法的更新，在Fluid中以Variable中的子类Parameter表示，在Fluid中以fluid.layers.create_parameter来创建可学习参数：w=fluid.layers.create_parameter(name="w",shape=[1]，dtype="int32")1在神经网络的搭建过程中，由于Fluid对大部分常见的神经网络提供了封装，所以一般不需要使用者再
2021-05-29 15:52:55
430
原创 paddlerec的处理思路
对paddlerec 电影推荐的思路从paddle数据集中是 用户ID-项目ID-反馈内容 （反馈内容分为正向反馈和负向反馈，positive 和 nagtive)然后针对每个用户ID与项目ID之间进行连接，提供正负反馈的标签，在一个表里面。 用户ID - 项目ID ，用户ID - 项目中的内容节点数字化（HASH），然后和项目相关标记为1，和内容相关标记为0，我思考以上原因是虽然是负面用户对应，但是还是有一个负面的连接，但是对里面的值的反馈是不支持的。...
2021-05-28 16:23:42
447
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人