![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
是小李呀~
这个作者很懒,什么都没留下…
展开
-
软注意力机制和硬注意力机制,以及seq2seq
软注意力机制就是虽然词语权重不同,但是在训练模型的时候雨露均沾,每个词语都用到,焦点词语的权重大。硬注意力机制是从存储的多个信息中只挑出一条信息来,可能是概率最大的那个词向量,seq2seq是word2vec(词嵌入)的Encoder-Decoder框架*********************************************************************************************************************************原创 2021-11-01 13:33:59 · 775 阅读 · 0 评论 -
python自然语言处理笔记(一)
一. NLTK的几个常用函数Concordance实例如下:>>> text1.concordance("monstrous")Displaying 11 of 11 matches:ong the former , one was of a most monstrous size . ... This came towards us ,ON OF THE PSALMS . " Touching that monstrous bulk of the whale or ork原创 2021-08-17 22:16:53 · 178 阅读 · 0 评论 -
极大似然估计详解
极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下:贝叶斯决策 首先来看贝叶斯分类,我们都知道经典的贝叶斯公式: 其中:p(w):为先验概率,表示每种类别分布的概率;:类条件概率,表示在某种类别前提下,某事发生的概率...转载 2021-08-02 13:10:52 · 888 阅读 · 0 评论 -
吴恩达深度学习笔记 最全最详细!这一篇足够了!
为了方便学习深度学习课程,转载一个吴恩达老师的一个深度学习笔记,转载的网站是下面这个 https://blog.csdn.net/red_stone1/article/details/80207815 从去年8月份开始,AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程,掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网: deeplearning.ai 关于该深度学习专项课程,本人非常推荐!它对于理解各种算法背后的原理非常有帮助,同时提供了大转载 2021-07-27 21:44:40 · 15341 阅读 · 2 评论 -
the file size exceeds configured limit code insight features are not availab
加上这个:idea.max.intellisense.filesize=9999999999相当于100M然后重启pycharm就可以了原创 2021-06-13 09:02:19 · 496 阅读 · 0 评论 -
anaconda创建虚拟环境
base是原始的大环境,左键点击箭头。或者点击这里直接进来输入命令:conda create -n 环境名字 python=版本号这里填写y这样就创建好了原创 2021-06-11 08:02:58 · 183 阅读 · 2 评论 -
阿里云镜像安装库
pip install numpy -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com把numpy换成你的库就可以了原创 2021-06-10 08:42:21 · 139 阅读 · 0 评论 -
cannot import name ‘to_categorical‘
报错如下:应该是版本留下的坑把头改成这样from keras import utils as np_utils然后下面用的时候这样np_utils.to_categorical()原创 2021-06-10 08:42:00 · 1356 阅读 · 0 评论 -
cannot import name ‘WarmupLinearSchedule‘
报错如下:看了一下transformers版本号:卸载:原创 2021-06-08 13:49:35 · 3817 阅读 · 2 评论 -
为什么有时候明明在anaconda里安装了某个库,pycharm还是说找不到这个库
要检查一下是不是安在了anaconda创建的虚拟环境里进入虚拟环境激活一下再安装就可以了原创 2021-06-08 13:45:39 · 3937 阅读 · 0 评论 -
实战怎么用python实现一个逻辑回归(三)
当梯度值小于0.05的时候停止、原创 2021-06-04 08:04:52 · 65 阅读 · 0 评论 -
过采样介绍及其操作
样本生成算法(SMOTE算法),小样本生成大样本的时候,比如原来有100个数据现在要变成500个数据(扩大了5倍),我们现计算出样本X到其他99个点的距离(d1…d99),由于要扩大到原来的5倍,只需要取d1…d5,(10倍的话,取d1…d10),在第四行的公式里面,X是原来的数据值,就是d1…d5的值。这样就实现了把1个样本变成5个样本。要注意一个问题,在进行样本生成的时候,只生成训练集的样本,测试集的样本不能生成,否则测试结果就不准确了,在20的第二行代码中传入两个参数,训练集的X和训练集的Y,.原创 2021-06-04 08:03:55 · 1350 阅读 · 0 评论 -
逻辑回归做二分类实例以及调参
第二哈根做交叉验证,把原有的数据集分成5份传进来,第三行代码是正则化惩罚项(当用两种模型对同一数据集进行预测的时候,如果两种模型的召回率相同,选择方差小的,方差小可以防止过拟合,怎么选择第二种模型,进行正则化,本例用的正则化惩罚项,惩罚sita,让其惩罚第一种模型的力度大,惩罚第二种模型的力度小,在目标函数或者损失函数上加上(W的平方)/2(或者加W的绝对值),这样第一种方法的loss就会比第二种方法大很多,设置一个系数,用系数×惩罚项((W的平方)/2(或者加W的绝对值)),代表惩罚力度,系数设为多少惩罚原创 2021-06-04 08:04:10 · 1376 阅读 · 0 评论 -
逻辑回归做二分类实例(二)
交叉验证,要把80%的数据作为训练集,训练出model,20%的数据作为测试集,在训练集中把数据平均的分成若干份(一定要平均),比如分三份,第一次用1和2做训练,3做验证;第二次拿1 和3做测试,2做验证;第三次拿2和3做测试,1做验证;把三次平均值作为模型效果。Train_test_split是切分模块,第2行代码的0.3,代表想拿30%的数据作为测试集,第二行代码的0代表对原来数据进行洗牌操作。用下采样数据集进行训练,最后用原数据集在进行一遍测试;故进行了两次切分,whole是对整体数据集进行...原创 2021-06-04 08:04:21 · 460 阅读 · 0 评论 -
逻辑回归做二分类实例(一)
第一行是找class中不同于别的数据(即能分辨出0样本和1样本的个数),第二行是画一个条形图,第三行是给图指定名字,后两行是指定x,y轴的名字。由于两种数据不平衡,有两种方法(上采样和下采样),下采样是按照少的取值,即若1有500条数据,0也取500条数据,上采样是按照多的取值,用样本生成策略,把1的数据再生成20万条把数据进行归一化,比如有的列的数值比较大,机器学习可能就会认为,机器学习会认为大的数据比较重要,把数值进行归一化,例如把amount列的数据缩小到-1-----1上(用skle...原创 2021-06-03 07:39:48 · 527 阅读 · 0 评论 -
实战怎么用python实现一个逻辑回归(二)
第一种方法是根据迭代次数停止(即设置迭代次数)第二种方法是根据损失值目标函数的变化,如果两次迭代之间损失值变化很小就停止第三种方法是根据梯度,梯度之间变化很小就停止设置阈值0.000001,即两次迭代差别在0.000001之间,即停止,学习率是0.001看(三)...原创 2021-06-03 07:39:38 · 97 阅读 · 0 评论 -
实战怎么用python实现一个逻辑回归(一)
一个学生将要出国留学,给出连个两门课的成绩,判断是否会被一个学校录取。csv相当于先把数据进行读取,path指路径,header指第一行数据(可能是数据,也可能是列名),由于本数据第一行是数据,为了自己指定列名,把header定为空,后面names指定列名。前两列表示成绩,后一列表示是否录取。共100个数据,三维三个参数,后两个参数代表两科的成绩,第一个参数代表偏置项。为了加一列数据都是1 的列。最后一行代码相当于构造了一个一行三列的seta进行占位。看(二)...原创 2021-06-03 07:39:32 · 117 阅读 · 0 评论 -
决策树预测房价实例
在2的第一行的代码中的datasets中包含一个内置的数据集,本例就用的内置的数据集,是内置数据集中的房价数据集(有一个地区的房子的价格,还有影响房价的因素)2运行的结果,房价数据集的来源网站和简介。本节课重点是讲库中有哪些参数以及这些参数是干什么的。5显示,一共有20640条数据,每条数据有8条属性。7开始讲怎么用构造决策树模型,导入tree模块,预测分类也行,预测回归也行。代表树的深度是2先看一下树模型的参数第一个代表可以用gini系数,也可以用熵值。2表示在遍历特征的时候选择.原创 2021-06-03 07:39:27 · 1953 阅读 · 4 评论 -
贝叶斯拼写检查器
输入morw让猜词器去猜想输入的词是哪个。红色框里是一个语料库原创 2021-06-03 07:39:21 · 85 阅读 · 0 评论 -
随机重启游走算法
我用#CSDN#这个app发现了有技术含量的博客,小伙伴们求同去《重启随机游走算法(RWR)》, 一起来围观吧 https://blog.csdn.net/u010041824/article/details/70225701原创 2020-09-15 14:52:46 · 812 阅读 · 0 评论 -
关于机器学习中的似然函数的理解
最近在研究一些概率论的东西,今天说一说似然函数。常说的概率是指给定参数后,预测即将发生的事件的可能性。拿硬币这个例子来说,我们已知一枚均匀硬币的正反面概率分别是0.5,要预测抛两次硬币,硬币都朝上的概率:H代表Head,表示头朝上p(HH | pH = 0.5) = 0.5*0.5 = 0.25.这种写法其实有点误导,后面的这个p其实是作为参数存在的,而不是一个随机变量,因此不能算作是条件概率,更靠谱的写法应该是 p(HH;p=0.5)。而似然概率正好与这个过程相反,我们关注的量不再是事件的发生概原创 2020-11-17 09:42:18 · 2762 阅读 · 0 评论 -
RNN-LSTM-GRU以及bi-LSTM
这篇笔记参考了陶将大佬的文章,下周的专业英语课要讲一篇论文,其中用到了LSTM,赶紧恶补一起来看看吧~LSTM(Long Short-Term Memory)长短期记忆网络,是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM是解决循环神经网络RNN结构中存在的“梯度消失”问题而提出的,是一种特殊的循环神经网络。最常见的一个例子就是:当我们要预测“the clouds are in the (…)"的时候, 这种情况下,相关的信息和预测的词位置之间的间隔很小,RNN会原创 2020-11-18 21:35:25 · 1586 阅读 · 1 评论 -
用tensorflow在mnist数据集上做逻辑回归(分类)任务
#用tensorflow在mnist数据集上做逻辑回归(分类)任务#mnist数据集里有10个手写体,对这10个手写体进行分类任务import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport input_data#这一步是直接下载数据集mnist = input_data.read_data_sets('data/', one_hot=True)trainimg = mnist.t原创 2020-11-22 19:33:50 · 267 阅读 · 0 评论 -
用tensorflow在mnist数据集上做神经网络
#用tensorflow在mnist数据集上做神经网络#用两层的神经网络做10分类任务,第二层神经网络的输出为10分类的得分值#原始数据通过(w1,b1)一组参数和第一层神经网络相连接#第一层通过(w2,b2)一组权重参数和第二层相连接#第二层通过一组out权重参数输出10分类的得分值#实现过程中,需要指定两层神经网络各自的神经元个数(256和128)#原始数据是n*784(784个像素点),第一层有256个神经元,w1前面连784,后面连256,#W1的规模=784*256,同理,W2的规模原创 2020-11-22 19:36:20 · 220 阅读 · 0 评论 -
软注意力机制和硬注意力机制,以及seq2seq
软注意力机制就是虽然词语权重不同,但是在训练模型的时候雨露均沾,每个词语都用到,焦点词语的全重大。硬注意力机制是从存储的多个信息中只挑出一条信息来,可能是概率最大的那个词向量,seq2seq是word2vec(词嵌入)的Encoder-Decoder框架*********************************************************************************************************************************原创 2020-11-19 16:11:19 · 8476 阅读 · 0 评论 -
【NLP&CV】注意力机制基本思想和原理
虽然机器学习的实现直接调用库中的函数几行代码就可以实现,但知道算法的原理是必要的,这篇笔记参考了张俊林大佬的文章。其实就是给不同的语言(分词)分配不同的权重,权重大的就是焦点,即注意力注意力模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意力模型的身影。所以,了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。从注意力模型的命名方式看,很明显其借鉴了人类的注意力机制,因此,我们首先简单介绍人类视觉的选择性注原创 2020-11-19 11:45:52 · 602 阅读 · 0 评论