![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
hlllllllll
这个作者很懒,什么都没留下…
展开
-
神经网络部署--网络压缩技术Network Compression
1 network pruningnetwork pruning技术的思路是:训练一个大的神经网络→评价网络中参数和神经元的重要度→根据重要度排序,移除不重要的weight和神经元(置0)为什么要训练一个大的网络再压缩,而不是直接训练一个小的网络呢?因为研究表明,大的网络比较容易训练,效果也更好。2 knowledge distillation训练一个大的,效果好的神经网络→训练一个小...原创 2020-04-07 11:29:23 · 735 阅读 · 0 评论 -
word embedding
一般NLP任务中,都需要将词汇向量化,以往一般采用的是1-of-N encoding,但是这种方式,对于机器学习来说,词汇之间没有相互关联性,相同的词在不同的语境也会含有不同的含义,词汇没有分类(比如动词、名词没有分开)等等。后面延伸了一种方式叫word class,即把词汇进行分类,但是分类也有弊端,例如代表动物的一类中还有细化的分类,运动物体的类别可以和运动相关的动词相联系,但是静止的类别就...原创 2020-03-23 14:26:25 · 355 阅读 · 0 评论 -
异常检测算法
异常检测异常检测的特点,异常检测的训练样本没有或者少量的正样本(异常样本),正负样本比例非常不均衡的情况。异常检测可以采用三种处理方式:当做分类问题处理当做聚类问题处理采用概率分布问题处理分类算法由于异常检测的特殊性,在将异常检测当做分类算法处理时,由于样本分布不均的情况,很难得到一个行之有效的算法,因此在使用时应该尽量扩充样本的数量,尤其正向样本的数量,同时,获取尽可能多的特征...原创 2020-02-28 14:50:09 · 576 阅读 · 0 评论 -
算法选择
分类算法n为特征数,m为训练样本数。如果相较于m,n要大很多,即训练集数据量不够支持我们训练一个复杂的非线性模型,我们选用逻辑回归模型或者不带核函数的支持向量机。如果n较小,且m大小中等,例如n在1~1000,m在10 ~ 10000 之间,使用高斯核函数的支持向量机。如果n较小,而m较大,例如n在1~1000, 而m大于50000,则使用支持向量机会非常慢,解决方案是创造、增加更多的特...原创 2020-02-27 17:03:55 · 271 阅读 · 0 评论 -
机器学习:模型评价和优化方法
评价参数高偏差和高方差机器学习中的高偏差指的是模型的损失函数校验中,训练集和测试集error大,模型欠拟合;高方差是指训练集的error小,测试集的error大,模型过拟合。通俗来说,高偏差问题就是采用训练集训练效果都不太好的模型,而高偏差问题就是训练效果好,但是测试效果不好的模型,绘制学习曲线有助于了解算法是高偏差问题还是高方差问题,针对高偏差的优化方向:尝试增加特征尝试添加多项式特...原创 2020-01-14 14:31:35 · 1583 阅读 · 0 评论 -
sklearn 套索回归模型和参数选择
本算例主要验证套索回归中,分别采用AIC,BIC和交叉验证动态调整alpha的值,对结果的影响。采用AIC、BIC信息标准的模型选择通常十分迅速,但是依赖于对合适的自由度的评价,并且在大数据量的分析中,往往假定模型是正确的,然而基于数据产生的模型去描述事物通常不准确,存在实际特征大于样本的情况。对于交叉验证,分别采用20层的LassoCV算法和最小角回归算法路径进行计算,又称为并行下降算法,这...转载 2019-07-09 17:48:35 · 1467 阅读 · 0 评论 -
基于tensorflow的LSTM 时间序列预测模型
时间序列预测(曲线回归或曲线拟合),结构为训练数据生成-》隐藏输入层-》LSTM神经层-》隐藏输入层-》结果,也可以采用LSTM神经层-》全连接层(多层的普通神经网络)构成,训练效果未对比,与参数调优相关。 参数说明:TIME_STEPS:RNN训练的步数,一次训练输入的序列长度;INPUT_SIZE:输入序列中,单个输入的维度,用于曲线拟合或者回归的话,维度即为1;BATCH_SIZE:训练的批...原创 2019-07-09 17:22:44 · 7277 阅读 · 4 评论 -
tensorflow-利用batch_normalization进行标准化
batch_normalization:批标准化,即对整个神经训练的批次进行标准化处理,使其取值位于激励函数的非饱和范围,批标准化不仅只对于输入层,对于所有的隐藏层(需要激励函数)均进行处理,有点是加速训练效率,防止细胞死亡。import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plttf.set_ran...转载 2019-07-09 17:15:16 · 350 阅读 · 0 评论 -
tensorflow中dropout的使用
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist = input_data.read_data_sets("MNIST_data",one_hot=True)#每个批次的大小batch_size = 100#计算一共有多少个批次n_batch =...转载 2019-07-09 17:13:10 · 15550 阅读 · 0 评论 -
tensorflow-交叉熵
tensorflow实现交叉熵import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist = input_data.read_data_sets("MNIST_data",one_hot=True)#每个批次的大小batch_size = 100#计算一共...转载 2019-07-09 17:10:35 · 146 阅读 · 0 评论 -
tensorflow实现非线性回归
tensorflow实现非线性回归import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt#使用numpy生成200个随机点x_data = np.linspace(-0.5,0.5,200)[:,np.newaxis]noise = np.random.normal(0,0.02,x_data....原创 2019-07-09 17:08:46 · 610 阅读 · 0 评论