- 博客(48)
- 收藏
- 关注
RSS订阅原创 分类评估指标：准确率、精确度、召回率、F1分数、Roc详解
准确率：数据集正负样本平衡时可用。精确率：当误判正类样本代价较高时使用（正常邮件被误分类为垃圾邮件）。召回率：当漏判正类样本代价较高时使用（疾病检测中，不希望漏筛病例）。F1 分数：当需要在精确率和召回率之间取得平衡时使用，尤其适合样本类别不均衡的情况。
2024-09-18 16:23:05
1065
原创 极大似然估计和最大参数后验估计
x表示某一个具体的数据；θ表示模型的参数。，这个函数叫做(probability function)，它描述对于不同的样本点x，其出现概率是多少。，这个函数叫做(likelihood function), 它描述对于不同的模型参数，出现x这个样本点的概率是多少。
2024-03-19 15:14:57
483
原创 用交叉熵(cross entropy)计算点互信息PMI
最近读了论文Surface Form Competition: Why the Highest Probability Answer Isn't Always Right，在读代码时，发现论文对于点互信息的计算，是通过交叉熵进行的。通过函数cross_entropy_list()，得到H(y|x)，H(y|domain)，H(y)。注意，我之前一直以为x和(x,domain)是两回事，通过代码发现其实x就是(x,domian)。这里H(y)的计算，是以常数序列25为输入计算的。对于LM，我们想要计算。
2024-03-19 10:26:43
573
原创 MEMGPT
1、因为安装环境时是使用的pip install pymemgpt，所以当使用memgpt run运行时，实际上运行的是。2、输入命令which memgpt，可以查到memgpt命令对应运行的脚本文件的路径。如果想要修改代码，也要在上述目录的文件中修改代码，才会对memgpt run起作用。总的来看，这段代码也只是调用了main.py中的app函数。
2024-03-05 17:28:54
361
原创 预处理代码
如果数据不满足这个假设，其他异常值检测方法可能更合适。正负3∂的概率是99.7%，那么距离平均值3∂之外的值出现的概率为P(|x-u| > 3∂)
2023-09-21 11:19:16
1062
原创 ARIMA模型
ARIMA模型(Autoregressive Integrated Moving Average model)，差分整合移动平均自回归模型，又称整合移动平均自回归模型，时间序列预测分析方法之一。ARIMA(p,d,q)中，AR是"自回归"，p为自回归项数;MA为"滑动平均"，q为滑动平均项数，d为使之成为平稳序列所做的差分次数(阶数)。"差分"一词虽未出现在ARIMA的英文名称中，却是关键步骤。
2023-09-14 19:21:56
15708
原创 Mann-Kendall 检验
具体来说，Mann-Kendall测试将时间序列中的每个数据点与所有之前的数据点进行比较，计算出每个数据点之前比它小的数据点数目和比它大的数据点数目，然后比较这两个数量的大小关系，以确定是否存在单调趋势。其中，Var(S)是S的方差，S是Mann-Kendall检验的检验统计量。如果我们设显著性水平为α，则在双侧检验中，如果∣Z∣大于等于标准正态分布的第(1−α/2)个百分位数，则拒绝原假设，认为存在单调趋势。当n≥8时，统计量S大致服从正态分布，因此，我们可以将S标准化为Z，以便进行显著性检验。
2023-09-13 14:57:40
5923
原创 对比学习与聚类
具体来说，对比学习会定义正负样本对，正样本是同一数据的不同变换，负样本是其他数据。然后，对比学习会定义一个损失函数，这个损失函数的含义是希望同一数据及其变换的相似度高，不同数据之间的相似度低。通过最小化这个损失函数，学习到相似数据有相似特征表示的能力。聚类是让相似的数据聚集在一起，对比学习是让相似的数据有相似的特征表示。
2023-08-30 22:06:39
369
原创 记录每次运行得到的变量值
首先尝试了logging方法，但是报错python3.8没有encoding变量无法编码非ascii码。使用GPT重写的代码，又无法写入内容到文件里。最后简单粗暴，让GPT给直接写入文件的代码。但是新旧response是否相等的判断一直有问题，最后还是靠自己去看，去debug，才搞完的。前前后后花了两个小时，在此记录。希望下次遇到类似代码，自己能直接写了。CahtGPT写代码的能力越来越差了o(╥﹏╥)o还是只有靠自己啊。
2023-07-31 21:29:09
70
原创 batch size大小的选择与显存
因为越大，虽然线程多了，但是切分到每一个线程消耗也大了，所以会增加CPU的负荷，从而降低对GPU的利用。模型的加载很难控制（但是考虑到部署的话就要考虑模型加载需要的显存问题了），一般调节batch_size来控制显存的占用（若出现out of memry，那就调batch_size就完事了）梯度累加则实现了batchsize的变相扩大，如果accumulation_steps为8，则batchsize '变相' 扩大了8倍，是解决显存受限的一个不错的trick。GPU利用率低的因素有很多，一般情况下，
2023-07-24 17:35:03
4625
原创 TCSP代码的预测值y_pred为nan的原因排查
标签有NAN了，梯度肯定也是NAN，那更新梯度的时候，模型的参数肯定也NAN了，但凡只要一个样本有一个nan，那后面肯定就全完蛋了。我们发现最开始的时候，并不是NAN，是都有数据的。但是多推理几次就完蛋了，从encoder开始就是NAN了， 此时输入和那一层的输入确实又不是NAN。总的来说，输出NAN的情况，基本都要么是输入就有NAN，要么是反向传播的时候梯度NAN了。5.打印model的每一步输出，发现mode的第一层的结果w_hs就为nan。打印发现encode的输入，是包含nan的。
2023-07-05 17:26:12
351
原创 conda env create -f environment.yml报错：collecting package metadata (repodata ProxyError):
2、一般不用重新建环境，软件是向后兼容的，window7的代码在windows11也能跑，torch1.7的代码在torch2.0也能跑。偶尔遇到几个报错，可能是api的问题，首先试试更换函数能不能解决，比如np.float->np.float64。最后实在不行才折腾环境。ProxyError多半是vpn的问题，把vpn关闭或者打开再关闭就可以了。此外torch需要手动安装，不然会报错。1、pip install不行的库，conda可能行。
2023-06-27 18:03:43
540
原创 ChatGLM 的PPL、Distinct评价代码
根据输入去预测输出的第一个token的概率向量，然后把真实标签的第一个token添加到末尾作为输入，去预测输出的第二个token的概率向量。4、计算Distinct。2、读取json文件。
2023-05-19 17:29:26
687
1
原创 PPL代码
针对文本中的词预测任务来说，离散概率分布p的困惑度由下式给出，其中H(p) 是该分布的熵，x遍历事件空间。根据PPL两种不同的计算公式，有两种不同的代码实现。实现一：使用perplexity的。：将每个位置上的概率取对数再平均。
2023-05-17 22:35:11
1139
原创 效率upupup
官方本来给定的指令和文件是python cover_alpaca2jsonl.py --data_path data/alpaca_data.json --save_path data/alpaca_data.jsonl。决定记录把自己之前不会，但当下掌握了的一些方法记录下来，免得因为忘记了，下次遇到的时候，还是不会（这样的事时常发生，也是我一直不怎么爱写代码的原因之一，因为自己debug摸不着头脑）。发现输出的数据格式正确后，说明应该是本身存在alpaca_data.jsonl，这个文件的问题。
2023-05-07 10:06:19
167
原创 TypeError: rms() takes 0 positional arguments but 1 was given
运行librosa.feature.rms(y)时报错TypeError: rms() takes 0 positional arguments but 1 was given。
2023-04-25 20:36:36
734
原创 音频数据的情感分类_pytorch实现
音频数据的情感分类_pytorch实现.使用模型Parallel 2D CNN - Trnasformer Eencoder在数据集RAVDESS上，实现了96.78%的准确率。
2023-04-24 21:15:08
966
1
原创 waveform波形图（时域图）、spectrum（频谱图）、spectrogram（语谱图）、MFCC
描述了waveform波形图（时域图）、spectrum（频谱图）、spectrogram（语谱图）、MFCC等概念，帮助读者入门音频，了解信号处理。
2023-04-23 18:43:02
17563
原创 情感分析入门 2-Updated Sentiment Analysis
2-Updated Sentiment Analysis。使用LSTM 、BiRNN、Multi-Layer RNN，进行电影评论的情感预测，二分类问题。
2022-12-01 22:46:30
292
原创 AcWing 842. 排列数字
#include<iostream>using namespace std;const int N=10;int path[N]; //全局数组存储状态int n;bool st[N];//需要知道，填到当前位置的时候，已经有哪些数被用过了。st为true表示用过了void dfs(int u){ if(u==n){ //第一层看第一个位置，第二层看第二个位置，第三层看第三个位置，u=n时说明我们已经把所有的位置全部填满了，直接输出即可 for(int i=0;i.
2022-12-01 16:58:12
123
原创 情感分析入门 1-Simple Sentiment Analysis
Simple Sentiment Analysis:使用电影评论数据集IMDb dataset，分析句子的情感是positive or negative的二分类问题
2022-11-29 22:04:21
716
原创 NLP Beginner 任务一：基于机器学习的文本分类
NLP beginner任务一：基于机器学习的文本分类。自然语言处理入门实战，易上手项目推荐。
2022-11-10 21:21:17
1417
3
原创 python sort() sorted()
写了这么久python了，一遇到sort()和sorted()还犯迷糊。在此记录一下。今天最初遇到的问题是这样的，写代码实现一个整数序列的排序，我是这样写的：listInt=list(map(int,input().split()))print(listInt.sort())输出结果是none。原因这样的，因为list.sort()方法会直接修改原列表，并且会返回none值避免混淆。所以正确的使用方式应该是这样的。1.sort()，返回none值listInt=list(ma
2022-04-08 12:00:02
699
原创 AcWing 844. 走迷宫(BFS)
C++#include<cstring>#include<iostream>#include<algorithm>using namespace std;typedef pair<int,int> PII;const int N=110;int n,m;int g[N][N]; //g数组存地图int d[N][N]; //d数组存每一个点到起点的距离PII q[N*N]; //定义一个队列，记录走过的路径int...
2022-04-02 15:55:52
834
原创 IDLE常见报错总结
由于蓝桥杯python组只能用python原生的编译器IDLE，故在这里对其常见的报错进行一个总结。TypeError: 'int' object is not subscriptable。报错截图如下：报错原因是整型变量不支持下标访问。比如用二维下标a[1][1]访问一维数组a=[1,2,3]会有此报错定位到代码：def bfs(): q=[[0,0]] hh=tt=0 dx=[0,1,0,-1] dy=[0,-1,0,1] while hh<
2022-04-02 10:09:07
1037
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人