神经网络
文章平均质量分 78
sa726663676
这个作者很懒,什么都没留下…
展开
-
mac安装crf++
CRF++-0.58.tar.gz安装包下载(linux系统包),window需要下载zip版本包下载地址(需要翻墙)为:https://drive.google.com/folderview?id=0B4y35FiV1wh7fngteFhHQUN2Y1B5eUJBNHZUemJYQV9VWlBUb3JlX0xBdWVZTWtSbVBneU0&usp=drive_web#list安装有点曲折不知道哪一步把crf++安装成功了?简述一下安装过程,开始:首先我下载crf++包,然原创 2021-08-19 00:14:43 · 564 阅读 · 0 评论 -
安装自然语言处理包nltk
nltk官方文档地址:http://www.nltk.org/按照python依赖包:pip安装方法: pip install nltk 离线安装方法:在这里下载依赖的whl离线包版本: https://pypi.org/project/nltk/#history进入离线包文件所在的终端输入命令安装:pip install nltk-3.6-py3-none-any.whl下载nltk也有两种方式:(强烈不建议,没安装成功过,服务器在国外,网速慢...原创 2021-08-19 00:14:17 · 452 阅读 · 2 评论 -
Transformer
【1】https://blog.csdn.net/weixin_45875127/article/details/108572928【2】https://zhuanlan.zhihu.com/p/253395821【3】https://www.zhihu.com/question/347366108/answer/835047041此篇文章是基于以上文章的理论理解也无实践经验,仅供自己学习参考和笔记一、根据【1】的总结:语言翻译模型主要分为3类:(1)基于RNN的模型,(2)基于RN..原创 2021-01-30 15:50:24 · 551 阅读 · 0 评论 -
词嵌入word2vec中的Hierarchical Softmax输出层优化
可参考下面的三篇博客,写的浅显易懂:哈弗曼树的建立以及Hierarchical Softmax算法的思想:【1】https://zhuanlan.zhihu.com/p/56139075【2】http://www.hankcs.com/nlp/word2vec.html#respond【3】https://www.cnblogs.com/pinard/p/7243513.html...原创 2021-01-29 13:55:33 · 160 阅读 · 0 评论 -
CNN卷积神经网络的反向传播
CNN的前向结构为 一层卷积-》激活函数-》一层池化当L-1层表示的是池化层的时候的时候当L-1层表示的是池化层的时候L层输出: ata_{t}at #池化层at=σ(zt)a_{t}=\sigma (z_{t})at=σ(zt) ↑\uparrow↑zt=at−1∗wz_{t}=a_{t-1}*wzt=at−1∗w ↑\uparrow↑L-1层输出: at−1a_{t-1}at−1 #卷积层原创 2021-01-26 21:51:36 · 771 阅读 · 0 评论 -
特征工程
导读:术语:特征选择,特征提取,特征工程,降维特征工程有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。特征工程包括:特征预处理/特征处理,特征选择,特征提取/特征压缩这三部分内容。特征工程也就是将原始数据转化为特征向量的过程。特征预处理:清理和表示数据特征选择:筛选有用特征特征提取:降维或者提取特征之间的相互作用。(如PCA降维或者嵌入模原创 2021-01-10 12:59:49 · 547 阅读 · 0 评论 -
为什么要做特征归一化/标准化?
为什么要做特征归一化/标准化?特征归一化/标准化又叫做Feature scaling。常见的提法有“特征归一化”、“标准化”,是数据预处理中的重要技术,有时甚至决定了算法能不能work以及work得好不好。是否归一化要根据模型和特征共同决定的。归一化的优点:1.特征归一化能够**平衡不同特征尺度的影响**,比如两个特征1-100和1-0,防止大的数据送入到神经网络或其他模型导致模型偏向于考虑数据大的问题。特征间的单位(尺度)可能不同,比如身高和体重,比如摄氏度和华氏度,比如房屋面积和房间数原创 2021-01-06 19:54:04 · 1095 阅读 · 0 评论 -
tensorflow简单的查看程序运行时变量的值
下面程序演示tensorflow如何在程序的信息中打印变量的值,可用于调试:为了简单,我们用y=wx作为演示实例,其中w表示变量参数(初始值设为1),x表示输入损失函数我们选择(真实值-预测值)loss=y-logit,这里损失函数没有什么意义,只是作为演示实例我们想求每次w的变化就需要用梯度下降法loss=y-logit,logit=wx (logit为预测值)(1)...原创 2019-09-04 14:43:49 · 1820 阅读 · 0 评论 -
tensorboard进行简单可视化
用tensorboard的scalar函数划一条递增直线import tensorflow as tfx=tf.Variable(0)y=tf.assign(x,tf.add(x,tf.constant(1)))x_scalar=tf.summary.scalar("x",x)mer=tf.summary.merge_all()#mer=tf.summary.merge([x_...原创 2019-09-03 22:31:19 · 272 阅读 · 0 评论 -
tensorflow使用批量归一化对CNN网络手写数字识别优化
批量归一化: 由于在深层网络中,不同层的分布都不一样,会导致训练时出现饱和的问题。而批量归一化就是为了缓解这个问题提出的。而且在实际应用中,批量归一化的收敛非常快,并且具有很强的泛化能力,某种情况下完全可以替代正则化和弃权。下面介绍如何在手写数字识别中使用批量归一化函数import tensorflow as tffrom tensorflow.examples.tu...原创 2019-08-13 20:22:34 · 667 阅读 · 0 评论 -
tensorflow卷积核优化手写数字识别代码
卷积核的优化1:多通道卷积:提升捕捉特征的能力。我们利用不同大小的卷积核对图片提取不同感受野的特征,然后将这些卷积后的结果进行拼接。import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datax_input=tf.placeholder(dtype=tf.float32,sha...原创 2019-08-13 17:40:39 · 215 阅读 · 0 评论 -
Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX
Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX警告说你的tensorflow不能使用SSE4.1 SSE4.2 AVX AVX2 FMA这些CPU矢量运算的指令码进行编译。为了提升CPU计算速度的。若你有支持cuda的GPU,则可以忽略这个问题,因为安装SSE4...原创 2019-06-29 14:53:17 · 349 阅读 · 0 评论 -
tensorflow中dropout实现手写数字识别
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datax=tf.placeholder(tf.float32,[None,784],name="x-input")y=tf.placeholder(tf.float32,[None,10],name="y-input")drop_...原创 2019-08-02 16:21:27 · 255 阅读 · 0 评论 -
tensorflow用CNN实现手写数字识别代码
下载mnist数据集保存在和MNIST_data文件夹下,和下面程序放在同一目录下import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datax=tf.placeholder(shape=[None,784],dtype=tf.float32)y=tf.placehol...原创 2019-08-03 19:18:42 · 413 阅读 · 0 评论 -
tensorflow用RNN实现手写数字识别
#保存模型参数import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport warningswarnings.filterwarnings("ignore")input_length=28max_time=28x=tf.placeholder(tf.float32,[N...原创 2019-08-03 20:15:06 · 715 阅读 · 0 评论 -
DLRM:Deep Learning Recommendation Model for Personalization and Recommendation Systems论文阅读笔记
介绍:对于一个神经网络来说,有效地处理稀疏数据是很有挑战性的。由于缺乏代表性模型和数据集的公开可用细节,导致对推荐系统的研究进展缓慢。DLRM(Deep Learning Recommendation Model)是深度学习推荐模型的实现,用于个性化推荐。DLRM通过结合协同过滤和基于预测分析的方法的原理,在其他模型的基础上取得了进展,这使得它能够有效地处理生产规模的数据,并提供最先...原创 2019-08-13 17:53:40 · 3918 阅读 · 1 评论 -
tensorboard提示:AttributeError: module 'tensorboard.util' has no attribute 'Retrier'以及无法连接问题
我出现的这种问题的原因是,安装的tensorflow和tensorboard版本不匹配:我的tensorflow版本是1.14的,而tensorboard版本是1.13。tensorflow1.14需要安装tensorboard>=1.14版本的tensorboard才能正常运行解决办法: 卸载tensorflow,tensorboard pip uni...原创 2019-08-02 10:24:41 · 2486 阅读 · 1 评论 -
tensorflow手写数字识别添加来l2正则化
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datax_input=tf.placeholder(dtype=tf.float32,shape=[None,784])y_input=tf.placeholder(dtype=tf.float32,shape=[None,10])...原创 2019-08-13 15:39:43 · 497 阅读 · 0 评论 -
神经网络最后一层输出层用什么激活函数
神经网络可以用在分类问题上,不过需要根据情况改变输出层的激活函数。一般而言,回归问题用恒等函数,分类问题用softmax函数。机器学习大致可以分为分类问题和回归问题。分类问题是数据属于哪一个类别的问题。比如,区分图像中的人是男性还是女性的问题就是分类问题。而回归问题是根据某个输入预测一个(连续的)数值问题。比如,根据一个人的图像预测这个人的体重的问题就是回归问题(类似“57.4kg”这样的预测)。...原创 2019-06-10 17:30:10 · 19435 阅读 · 0 评论