![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习and深度学习
醒了的追梦人
生命不息,奋斗不止,Fighting!!!
展开
-
机器学习--多变量线性回归
还有几天就国庆了,趁着国庆好好调整一下,昨天被一些THU的大佬们的报告给深深打击了,我感jio我就好像没学过计算机一样(笑哭)。。。读博的欲望更加强烈了,希望有一天能变得像他们一样强(想想而已,啊哈哈哈),OK,开始标题的内容了。。。1.多维特征先举个例子,还是上次那个房价模型的例子,现在我们对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x 1 ,x...原创 2019-09-27 22:10:25 · 518 阅读 · 1 评论 -
文本情感分析(CNN&LSTM--Tensorflow)
嗯…,这个项目我自己调了快一个星期,最终在昨晚把代码跑通了,然后在今天早上又解决了两三个bug,总的来说,bingo思密达~突然发现调试程序还挺有趣的(ps:当然仅仅是在调出来的那一刻,看见数据在飞奔地运行,畅快=.=)OK,下面先说一下项目的流程:首先,当然是文本预处理输入文本,在将输入文本转化成向量之前,我们需要将标点符号、括号、问号等删去,只留下字母、数字和字符, 同时将大写字母转...原创 2019-06-16 11:02:02 · 13600 阅读 · 54 评论 -
文本情感分析(介绍文章)--总结
本文主要对网上能搜索到的,现有的基于文本的情感分析方法进行总结和归纳。最终应包含4个内容:1.什么是基于文本的情感分析2.常用词典和数据库3.自然语言处理流程4.深度学习情感分析工具什么是情感分析:对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。利用机器提取人们对某人或事物的态度,从而发现潜在的问题用于改进或预测。这里我们所说的情感分析主要针对态度(attitude)。注:...原创 2019-06-10 19:53:09 · 7002 阅读 · 0 评论 -
.npy文件
深度学习–迁移学习在使用训练好的模型时,其中有一种保存的模型文件格式叫.npy。打开方式·实现代码:import numpy as nptest=np.load('./bvlc_alexnet.npy',encoding = "latin1") #加载文件doc = open('1.txt', 'a') #打开一个存储文件,并依次写入print(test, file=doc) #...原创 2019-06-04 14:27:23 · 55007 阅读 · 1 评论 -
NLP--BERT(可以说是word2vec的升级版吧)
自从2018年9月份BERT发布以来,就一直大火。在将文字转化为词向量,然后训练词向量这一块很出色。打破了多项nlp记录。然后最近我刚好在学习word2vec这一块,也需要将word2vec这一块改写为doc2vec,不过现在觉得貌似用bert更好。下面是关于bert的一些介绍的文章:BERT使用详解(实战)【NLP】彻底搞懂BERTBERT的理解后面肯定会用上这个的,咚咚咚~...原创 2019-06-19 20:51:48 · 1378 阅读 · 0 评论 -
Keras建立RNN模型进行IMDb情感分析的Python代码
Keras建立RNN模型进行IMDB情感分析的Python代码转载 2019-06-03 19:43:31 · 892 阅读 · 0 评论 -
转:机器学习论文与书籍推荐
机器学习论文与书籍推荐转载 2019-06-09 20:15:45 · 119 阅读 · 0 评论 -
Tensorflow--tutorial--建造神经网络(输入层,隐藏层,输出层)
建造一个完整的神经网络,包括添加神经层,计算误差,训练步骤,判断是否在学习。***代码如下:***(我把注释写的非常详细,不用怕看不懂)from __future__ import print_function#导入所需模块import tensorflow as tfimport numpy as np#定义添加神经层的函数def add_layer(),它有四个参数:输入值、输入的...原创 2019-06-19 15:35:38 · 7083 阅读 · 0 评论 -
用Keras来搭建深度神经网络DNN--解决多分类问题
Keras介绍Keras是一个开源的高层神经网络API,由纯Python编写而成,其后端可以基于Tensorflow、Theano、MXNet以及CNTK。Keras 为支持快速实验而生,能够把你的idea迅速转换为结果。Keras适用的Python版本是:Python 2.7-3.6。Keras,在希腊语中意为“角”(horn),于2015年3月份第一次发行,它可以在Windows, Lin...原创 2019-06-03 16:10:23 · 1729 阅读 · 0 评论 -
Tensorflow--迁移学习
首先,我说一下自己看了几篇文章后的理解。我觉得迁移学习的目的就是为了减少工作量,提高效率,避免做重复累赘的工作。这就跟我们在实际项目迭代开发时一样,假如老板突然提了一个新的需求,要你重做一个系统,你不可能又重新开始设计,然后编码吧。。。 肯定得在之前做的系统上进行迭代开发,修修改改,然后提交给老板看。等测试系统上线之后,再根据不同的反馈进行代码调整。迁移学习的目的也正是如此,如果两个模型之间...原创 2019-06-20 16:21:25 · 497 阅读 · 1 评论 -
bert&kera的文本分类的小项目
前不久了解到bert是在去年十月份的时候由google发行,当时引起一阵轩然大波。因为它在NLP上取得的效率远远超过google以前发布的word2vec的。也可以说bert就是word2vec的升级版,在特征提取效率上面有很显著的效果。然后昨天我看到有位大佬说结合keras库用bert很方便,而且还提供了许多功能模块,所以就借鉴着调试了这个bert_keras的文本分类的小项目。不过据昨天某...原创 2019-06-21 14:48:09 · 844 阅读 · 2 评论 -
机器学习--单变量线性回归
嗯…,之所以写这个,是因为最近上课在学这个。。。 想了又想,还是做个记录吧。最近有点不在状态,仿佛是开学导致的(小声bb)。难受!话不多说,开始正题!1.模型表示概念:单元线性回归,试图学得一个线性模型以尽可能准确地预测实值输出标记。单变量这个词仅仅是称呼单一变量的高大上的方式。在回归中,均方误差(平方损失)是回归任务中最常用的性能度量。通过让均方误差最小化来得到最优解。如果是拟合更加...原创 2019-09-26 14:57:04 · 731 阅读 · 0 评论 -
Tutorial2--语音情感识别
感觉写这篇文章距离上一篇已经很久了(啊哈哈哈…),自己在8月的时候回去了这么久,所以做的东西也搁置了这么久。不过我还是觉得人还是需要放松的,回到家里,家里人一直给我做好吃的,到外面下馆子,然后自己又去西安玩了几天,感jio还行。现在回来了,继续开干,Fighting!!!之所以又写这篇是因为这次用的数据集和上一次不一样,所以得出来的模型也不一样,目前又重新在训练模型,继上次回去之前训练出来的模型...原创 2019-08-27 17:24:54 · 444 阅读 · 4 评论 -
解释batch&&epoch&&iteration
epoch:1个epoch等于使用训练集中的全部样本训练一次,也就是说epoch的值就是整个数据集被轮流执行几次iteration:1个iteration等于使用batchsize个样本训练一次batchsize:批大小,在深度学习中,一般采用SGD(随机梯度下降)训练,即每次训练在训练集中取batchsize个样本训练如果训练集有500个样本,batchsize = 10 ,那么训练完整个...原创 2019-07-18 15:57:03 · 257 阅读 · 0 评论 -
语音情感识别--理论篇
这是之前看的一些论文,然后提炼一下可能经常想看到的东西吧。语音情感识别主要包括语音语料库的采集,语音信号预处理,语音情感特征提取,语音情感分类。以上为语音情感识别主要步骤。语音情感特征提取(1):选择和提取合适的语音情感特征对提高识别准确率来说非常重要。目前,对语音信号的特征分析主要包括语音信号数字化,时域和频域的相关分析以及Gabor变换等。常用于语音情感识别研究的声学特征主要有韵律特征,...原创 2019-07-14 20:53:54 · 4305 阅读 · 7 评论 -
Tutorial--怎么看自己安装的Tensorflow是GPU版本的还是CPU版本的
例子1:为了获取你的 operations 和 Tensor 被指派到哪个设备上运行, 用log_device_placement 新建一个 session, 并设置为 True来记录设备指派情况。例子(矩阵相乘):import tensorflow as tf# 新建一个 grapha = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shap...原创 2019-06-29 20:33:42 · 22039 阅读 · 3 评论 -
Tutorial--语音情感识别
OK,沉迷了快两个星期,终于有进展了啊啊啊!!!这段时间内心崩溃,感觉毫无思路,但是我没放弃!!!看了许多论文,然后代码在这个星期也终于调通了。不过还是有很多地方值得优化,后面再继续努力吧!其实我个人觉得语音识别这一块的商用还不够,情感识别就更别说了,而且识别率这一块有待提升。开始正题数据集用的是EMO-DB数据集。并以此充当训练集,测试集自己想用哪些音频就可以用哪些音频,但是命名和文件路...原创 2019-07-14 16:09:54 · 840 阅读 · 16 评论 -
XLNet与BERT以及语言模型的对比
XLNet与BERT的对比XLNet和BERT都是预测一个句子的部分词,但是背后的原因是不同的。BERT使用的是Mask语言模型,因此只能预测部分词(总不能把所有词都Mask了然后预测?)。而XLNet预测部分词是出于性能考虑,而BERT是随机的选择一些词来预测。除此之外,它们最大的区别其实就是BERT是约等号,也就是条件独立的假设–那些被MASK的词在给定非MASK的词的条件下是独立的。但是...原创 2019-07-01 21:39:37 · 1536 阅读 · 0 评论 -
自回归(AR)语言模型和自编码(autoencoding)模型--术语解读
在阅读论文时,我们经常会看到一些术语,这些术语可能比较难以理解。比如自回归(Autoregressive,AR)语言模型和自编码(autoencoding)模型等,这可能让不少人感到困惑。***自回归***是时间序列分析或者信号处理领域喜欢用的一个术语,我们这里理解成语言模型就好了。一个句子的生成过程如下:首先根据概率分布生成第一个词,然后根据第一个词生成第二个词,然后根据前两个词生成第三个词...原创 2019-07-01 21:31:13 · 7205 阅读 · 0 评论 -
深度学习--word2vec和doc2vec词向量模型
今天在这两个模型的理解上出现了疑问,现在先贴上这些资料解释,后面把代码跑通了再来贴代码(biu~)。word2vec&doc2vec词向量模型Word2vec和Doc2vec原理理解并结合代码分析word2vec和doc2vecWord2Vec&Doc2Vec总结【译】word2vec&doc2vec做文本情感分析...原创 2019-06-11 20:50:54 · 633 阅读 · 0 评论 -
如何学习机器学习的一点心得(转载+自己的一条补充)
结合自己的学习经历,总结一下如何学习机器学习。我自己的学习过程其实是非常混乱和痛苦的,一个人瞎搞现在也不知道入没入门。希望能对其他想自学机器学习而找不到方向的人有一点点帮助。一、可以读读一些科普性的,综述性的东西。南京大学周志华教授写的科普文章《机器学习和数据挖掘》还不错,对机器学习和数据挖掘的区别说的挺好。另外对机器学习的历史和前景做了说明。文章最后也给出了领域内比较重要的会议和期刊。吴军...转载 2019-06-09 20:10:48 · 232 阅读 · 0 评论 -
手写递归神经网络–手把手教你写一个RNN
总结: 我总是从迷你程序中学到很多。这个教程用python写了一个很简单迷你程序讲解递归神经网络。递归神经网络即RNN和一般神经网络有什么不同?出门左转我们一篇博客已经讲过了传统的神经网络不能够基于前面的已分类场景来推断接下来的场景分类,但是RNN确有一定记忆功能。废话少说,上图:layer_0就是输入层,layer_1就是隐层,layer_2就是输出层。什么叫隐层呢?顾名思义,隐层就是隐藏...转载 2019-06-03 14:30:38 · 1394 阅读 · 0 评论 -
IEMOCAP数据集
IEMOCAP数据集描述交互式情绪二元运动捕捉(iemocap)数据库是一个动作、多模式和多峰值的数据库,最近在南加州大学的Sail实验室收集。它包含大约12小时的视听数据,包括视频、语音、面部运动捕捉、文本转录。它由两个阶段组成,参与者在其中执行即兴表演或脚本场景,特别是选择以引出情感表达。IEMOcap数据库由多个注释员注释成类别标签,如愤怒、快乐、悲伤、中立,以及维度标签,如配价、激活和支...原创 2019-05-29 09:36:41 · 16517 阅读 · 7 评论 -
MFCC特征参数理解
一 MFCC简介MFCC,梅尔倒谱系数,是一种语音特征。梅尔倒谱系数(Mel-scale Frequency Cepstral Coefficients,简称MFCC)是在Mel标度频率域提取出来的倒谱参数,Mel标度描述了人耳频率的非线性特性,它与频率的关系可用下式近似表示:式中f为频率,单位为Hz。下图展示了Mel频率与线性频率的关系:二、语音特征参数MFCC提取过程可用HTK...原创 2019-05-28 21:02:28 · 2294 阅读 · 0 评论 -
维特比算法详解(隐马尔科夫模型)
嗯…,在写这个之前看了几篇文章,写的极其学术化,根本就看不懂吗。。。我个人认为写文章就是应该写的通俗易懂才好,让别人也能学会,能理解到你想表达的东西。维特比算法说白了就是动态规划实现最短路径,就是说只要知道“动态规划可以降低复杂度”这一点就能轻松理解维特比算法。维特比算法是一个特殊但应用最广的动态规划算法,利用动态规划,可以解决任何一个图中的最短路径问题。而维特比算法是针对一个特殊的图——...原创 2019-05-28 14:58:05 · 1383 阅读 · 0 评论 -
转载:CRF++使用教程
CRF++使用教程转载 2019-05-26 11:12:49 · 482 阅读 · 0 评论 -
转载:基于卷积神经网络和时域金字塔池化的语音情感分析
基于卷积神经网络和时域金字塔池化的语音情感分析转载 2019-05-26 11:05:39 · 290 阅读 · 0 评论 -
一些关于语音识别和语音情感识别的资源
这些资源要么就收费很贵,要么用不了,嗯…,但是也花了很长时间收集,先留着吧。。。基于SVM的语音情感识别(MATLAB GUI界面和文档)点这里!PythonNLP情感识别项目实战教程(源码+数据集)点这里!python 语音情感分析 搜一搜?基于SVM的情感分析系统点这里!基于SVM的语音情感识别系统设计点这里!基于SVM的语音情感识别系统点这里!语音情感识别 – 资源汇总点这里...原创 2019-05-26 11:03:44 · 8423 阅读 · 2 评论 -
空间金字塔池化Spatial pyramid pooling net,用于语义分割
空间金字塔的作用金字塔池化层有如下的三个优点,第一:他可以解决输入图片大小不一造成的缺陷。第二:由于把一个feature map从不同的角度进行特征提取,再聚合。第三:同时也在object recongtion增加了精度。其实,是因为在卷积层的后面对每一张图片都进行了多方面的特征提取,他就可以提高任务的精度。我们可以看到这里的spatital pyramid pooling layer就是把...原创 2019-05-26 10:42:54 · 1443 阅读 · 0 评论 -
举例理解监督学习、无监督学习、半监督学习和强化学习的区别
Machine learning机器学习是Artificial inteligence的核心,分为四类:1、Supervised learning监督学习是有特征(feature)和标签(label)的,即便是没有标签的,机器也是可以通过特征和标签之间的关系,判断出标签。举例子理解:高考试题是在考试前就有标准答案的,在学习和做题的过程中,可以对照答案,分析问题找出方法。在高考题没有给出答案的时...原创 2019-05-25 21:59:28 · 13583 阅读 · 0 评论 -
Tensorflow的CPU警告
使用Tensorflow编译时,CPU发生警告如图:运行结果可以出来,但是CPU发生警告!意思是你的 CPU 支持AVX AVX2 (可以加速CPU计算),但是你安装的 TensorFlow 版本不支持解决方法:1.当然是忽略它!2.如果有点强迫症的话,那就把这个问题给解决咯,也不是没有办法。首先,卸载原来版本的tensorflow,使用命令如下:pip uninstall tens...原创 2019-05-25 21:17:15 · 377 阅读 · 0 评论 -
基于音频和文本的多模态语音情感识别(一篇极好的论文,值得一看哦!)
基于音频和文本的多模态语音情感识别语音情感识别是一项具有挑战性的任务,在构建性能良好的分类器时,广泛依赖于使用音频功能的模型。本文提出了一种新的深度双循环编码器模型,该模型同时利用文本数据和音频信号来更好地理解语音数据。由于情感对话是由声音和口语内容组成的,因此我们的模型使用双循环神经网络(RNN)对音频和文本序列中的信息进行编码,然后结合这些信息源中的信息来预测情感类。该体系结构从信号级到语言...原创 2019-05-29 10:47:20 · 15970 阅读 · 17 评论 -
CBHG模块--提取序列特征
CBHG模块如下图所示。首次提出在Goggle的一篇文章:TACOTRON: TOWARDS END-TO-END SPEECH SYNTHESIS回到CBHG模块,该模块善于提取序列特征。下面为模块步骤:1.输入序列,先经过K个1-D卷积,第K个卷积核(filter)通道为k,这些卷积核可以对当前以及上下文信息有效建模;2.卷积输出被堆叠(stack)一起,沿着时间轴最大池化(maxp...原创 2019-06-06 15:26:19 · 4006 阅读 · 0 评论 -
搭建CNN,RNN等神经网络
使用Keras进行深度学习:RNN和双向RNN讲解及实践对比学习用 Keras 搭建 CNN RNN 等常用神经网络如何构建RNN神经网络的输入在Tensorflow上搭建RNN用 TensorFlow 实现基于 LSTM 的文本分类...原创 2019-06-03 14:18:16 · 1091 阅读 · 0 评论 -
机器学习--提高神经网络的泛化能力
***泛化能力***是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。在实际情况中,我们通常通过测试误差来评价学习方法的泛化能力。泛化能力的性质通常期望经训练样本训练的网络具有较强的泛化能力,也就是对新输入给出合理响应的能力。应当指出并非训练的次数越多越能得到正确的输入输出映射关...原创 2019-06-09 15:31:36 · 5239 阅读 · 1 评论 -
神经网络DNN--详解
深度神经网络(Deep Neural Networks, 以下简称DNN)是深度学习的基础,而要理解DNN,首先我们要理解DNN模型,下面我们就对DNN的模型与前向传播算法做一个总结。1.从感知机到神经网络感知机的模型是一个有若干输入和一个输出的模型,如下图:输出和输入之间学习到一个线性关系,得到中间输出结果:z=∑i=1mwixi+bz=∑i=1mwixi+b接着是一个神经元激活函数...原创 2019-06-09 11:00:41 · 57791 阅读 · 5 评论 -
Tensorflow--优化器optimizer--加速神经网络训练
Tensorflow中常见的优化器有以下几种:目前个人比较常用的是第二种优化器。加速神经网络的训练有以下几种方法:1.SGD(Stochastic Gradient Descent)随机梯度下降法它的思想是,将样本数据挨个送入网络,每次使用一个样本就更新一次参数,这样可以极快地收敛到最优值,但会产生较大的波动。还有一种是小批量梯度下降法,它的思想是,将数据拆分成一小批一小批的,分批送入神...原创 2019-06-18 21:48:59 · 731 阅读 · 0 评论 -
语音识别项目(数据集用的是thchs-30)
首选,我必须吐槽一下,这个数据集我下了快两个星期(ps:没错,你没有看错,我真的下了快两个星期,中途要么是网络断了,然后下载失败,要么是不知道是啥莫名其妙的原因导致下载失败,对了,中途那个网站好像还关闭过,当时我正在下载!!!)。在这里感谢一下师姐,她帮我请另一个师兄用迅雷最后下载好了,对,就是昨晚,我终于见到了完整的thchs-30数据集(哈哈哈)。OK,正式开始,首先我把这个项目总结一下:...原创 2019-06-13 16:05:48 · 6471 阅读 · 21 评论 -
使用pip命令在python中安装tensorflow
此为最后结果检测图。步骤:一:首先查看一下系统中是否安装了pip工具,利用pip --version命令,如下图所示:二:然后使用pip工具查看TensorFlow是否已安装,可以使用pip list命令,如下图所示:我这个是安装好了的,正常情况下是没有的。三:接着使用pip安装包的命令,安装TensorFlow数学系统命令:pip install tensorflow这里需要...原创 2019-06-13 15:13:17 · 12255 阅读 · 0 评论 -
python3.7的版本号安装tensorflow
步骤:(1) 下载tensorflow的whl包:由于tensorflow还没有官方支持python3.7,所以pip直接是搜索不到合适的tensorflow的,所以需要下载whl文件包手动安装。有人说google的网址上不去没法下载,解决办法是去清华镜像找,那上面最新的tensorflow是1.8cpu版本(截至2018-12google官方最新的是1.12),不过没关系,依然可以用下面的方...原创 2019-06-13 13:40:52 · 58335 阅读 · 0 评论