TensorFlow源码分析
文章平均质量分 80
李善宰
这个作者很懒,什么都没留下…
展开
-
利用Tensorflow的队列多线程读取数据
利用Tensorflow的队列多线程读取数据在tensorflow中,有三种方式输入数据1.利用feed_dict送入numpy数组2.利用队列从文件中直接读取数据3.预加载数据其中第一种方式很常用,在tensorflow的MNIST训练源码中可以看到,通过feed_dict={},可以将任意数据送入tensor中。第二种方式相比于第一种,速度更快,可以利用多线程的优势把数据送入队列,再以batc...原创 2018-03-08 15:22:44 · 826 阅读 · 0 评论 -
Tensorflow: Large-scale machine learning on heterogeneous distributed systems[J]
TensorFlowTensorFlow,以下简称TF,是Google去年发布的机器学习平台,发布以后由于其速度快,扩展性好,推广速度还是蛮快的。江湖上流传着Google的大战略,Android占领了移动端,TF占领神经网络提供AI服务,未来的趋势恰好是语音图像以及AI的时代,而Google IO上发布的Gbot似乎正是这一交叉领域的初步尝试。TF的特点之一就是可以支持很多种设备,大到GPU、CP...原创 2018-03-05 17:30:41 · 3122 阅读 · 0 评论 -
自然语言处理、RNN、LSTM
"""自然语言处理 (NLP)问题都是序列化的。前馈神经网络,在单次前馈中对到来数据处理,假定所有输入独立,模式丢失。循环神经网络(recurrent neural network,RNN)对时间显式建模神经网络。RNN神经元可接收其他神经元加权输入。RNN神经元可与更高层建立连接,也可与更低层建立连接。隐含活性值在同一序列相邻输入间被记忆。2006年 LSTM。语音识别、语音合...原创 2018-03-05 16:59:43 · 626 阅读 · 0 评论 -
源码级分析TensorFlow之AlexNet,图像分类
"""AlexNet(Alex Krizhevsky,ILSVRC2012冠军)适合做图像分类层自左向右、自上向下读取,关联层分为一组,高度、宽度减小,深度增加深度增加减少网络计算量训练模型数据集 Stanford计算机视觉站点Stanford Dogs http://vision.stanford.edu/aditya86/ImageNetDogs/ 数据下载解压到模型代码同一路径...原创 2018-03-05 16:35:29 · 2387 阅读 · 0 评论 -
TensorFlow中的类似opencv的、对图片预处理的函数
"""TensorFlow支持JPG、PNG图像格式,RGB、RGBA颜色空间图像用与图像尺寸相同(heightwidthchnanel)张量表示通道表示为包含每个通道颜色数量标量秩1张量图像所有像素存在磁盘文件,需要被加载到内存图像加载与二进制文件相同图像需要解码输入生成器(tf.train.string_input_producer)找到所需文件,加载到队列tf.Whole...原创 2018-03-05 14:50:48 · 556 阅读 · 0 评论 -
卷积运算
"""卷积运算,两个输入张量(输入数据和卷积核)进行卷积,输出代表来自每个输入的信息张量。tf.nn.conv2d完成卷积运算。卷积核(kernel),权值、滤波器、卷积矩阵或模版,filter。权值训练习得。卷积核(filter参数)权值数量决定需要学习卷积核数量。通道,计算机器视觉,描述输出向量。RGB图像,3个代表秩1张量[red,green,blue]通道。输出与input...原创 2018-03-05 14:06:34 · 626 阅读 · 0 评论 -
不要拘泥于眼前的得失,不要局限于短期的发展,不要得意于暂时的成功,不要迷失于功利的诱惑。
"""线性回归、对数几率回归模型,本质上是单个神经元。计算输入特征加权和。偏置视为每个样本输入特征为1权重,计算特征线性组合。激活(传递)函数 计算输出。线性回归,恒等式(值不变)。对数几率回归,sigmoid。输入->权重->求和->传递->输出。softmax分类含C个神经元,每个神经元对应一个输出类别。XOR异或运算,无法通过线性模型解决。...原创 2018-03-04 14:17:25 · 1669 阅读 · 0 评论 -
花谢花飞花满天,红消香断有谁怜?
"""回答多选项问题,使用softmax函数,对数几率回归在多个可能不同值上的推广。函数返回值是C个分量的概率向量,每个分量对应一个输出类别概率。分量为概率,C个分量和始终为1。每个样本必须属于某个输出类别,所有可能样本均被覆盖。分量和小于1,存在隐藏类别;分量和大于1,每个样本可能同时属于多个类别。类别数量为2,输出概率与对数几率回归模型输出相同。变量初始化,需要C个不同权值组...原创 2018-03-04 14:04:13 · 478 阅读 · 0 评论 -
"生存还是灭亡,这是一个问题。"--《哈姆雷特》·莎士比亚
"""logistic函数,也称sigmoid函数,概率分布函数。给定特定输入,计算输出"success"的概率,对问题回答"Yes"的概率。接受单个输入。多维数据或训练集样本特征,可以用线性回归模型表达式合并成单值。损失函数可以使用平方误差。训练集"Yes"代表100%概率或输出值1的概率。损失刻画特定样本模型分配小于1值概率。"No"概率值0。损失是模型分配样本概率值并取平.原创 2018-03-04 13:46:15 · 548 阅读 · 0 评论 -
TensorFlow CNN
"""ImageNet http://www.image-net.org ,图像标注信息数据库。每年举办大规模视觉识别挑战赛(ILSVRC)。基于ImageNet数据库构建完成目标自动检测分类任务系统。2012年,SuperVision提交卷积神经网络(CNN)。CNN可用于任意类型数据张量(各分量与相关分量有序排列在多维网格),当前主要用于计算机视觉。语音识别,输入按录音时间顺序排列声音频...原创 2018-03-04 16:08:22 · 223 阅读 · 0 评论 -
Hindsight Experience Replay
https://arxiv.org/pdf/1707.01495.pdfOpenAI在利用增强学习训练人工智能系统任务上不断地取得进步。他们发布的新平台显示,可以允许人工智能系统从错误中吸取教训,并将错误视为系统的目标而非失败。失败是成功之母:HER有自我审视能力最近几个月,OpenAI的研究人员集中精力于构建具有更强的学习能力的人工智能。得益于他们的增强学习系统OpenAI baselines,...转载 2018-03-09 19:10:23 · 2661 阅读 · 0 评论 -
TensorFlow实现手写数字识别
"""TensorFlow实现Softmax Regression(回归)识别手写数字。MNIST(Mixed National Institute of Standards and Technology database),简单机器视觉数据集,28X28像素手写数字,只有灰度值信息,空白部分为0,笔迹根据颜色深浅取[0, 1], 784维,丢弃二维空间信息,目标分0~9共10类。数据加载,dat...原创 2018-03-06 10:34:59 · 697 阅读 · 0 评论