silent56_th-CSDN博客

原创 Hinton Neural Networks课程笔记2e：感知机的局限性

感知机的局限性用一句话就是只能对线性可分的数据集收敛。基于感知机的局限性，体现出了特征提取的重要性，进而提出了使用隐层节点学习特征提取的重要性；然后稍微分析了一下学习特征提取的难度。1. 前提条件：特征提取固定首先明确感知机局限性的前提条件：特征提取固定。如果特征提取的足够多，感知机可以对任意二值输入向量分类（任意有理数域信息都可以表示为二值向量，只需要特征提取为所有二值向量的表示（共2|x|2

2017-08-21 20:12:52 1835 4

原创 [hihocoder1322] 树结构判定

这是hiho一下第161周的题目题目描述时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述给定一个包含 N 个顶点 M 条边的无向图 G ，判断 G 是不是一棵树。输入第一个是一个整数 T ，代表测试数据的组数。 (1 ≤ T ≤ 10)每组测试数据第一行包含两个整数 N 和 M 。(2 ≤ N ≤ 500, 1 ≤ M ≤ 100000)以下 M 行每行包

2017-08-16 12:59:12 343

原创 [hihocoder1324]希尔伯特曲线

这是hiho一下第163周的题目。题目描述时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述希尔伯特曲线是以下一系列分形曲线 Hn 的极限。我们可以把 Hn 看作一条覆盖 2n × 2n 方格矩阵的曲线，曲线上一共有 2n × 2n 个顶点(包括左下角起点和右下角终点)，恰好覆盖每个方格一次。Hn(n > 1)可以通过如下方法构造：将 Hn-1 顺时针旋转90

2017-08-15 13:40:10 1183 2

原创 Hinton Neural Networks课程笔记2d：为什么感知机的学习算法可以收敛

感知机的学习算法非常简单，就是每次选取一个样本，如果预测错误，则根据样本真值，权重加减一个输入向量。这和一般使用的附有学习率的优化算法不一样，没有一个超参数，使其快速而且简洁。而为什么这样一个简单的算法可以work，Hinton在这节加以说明。注意此部分是直观层次的解释，不是严谨的数学推导。上一节有提到感知机的几何解释，其中有一个结论是在权重空间内，感知机的合法解是连续的，位于一个被多个超平面限制的

2017-08-14 22:40:28 1183

原创游戏理论之Shapley Value（Shapley值）

笔者并没有深入了解过Game theory，只是因为有人咨询笔者是否可以使用Shapley Value做预测，才对其做了一些研究，记录在此。笔者的结论是Shapley Value并不适合做预测。参考资料： A Course in Game Theory UBC的Game Theory课程（UBC课程浅显易懂，《A Course in Game Theory》里面有详细的Shapley V

2017-08-14 19:51:13 22878 6

原创 Hinton Neural Networks课程笔记2c：感知机的几何解释

此部分，Hinton从几何角度解释了感知机。这里不是使用权重作为超平面，输入数据作为空间内点的解释方式；相反，这里使用权重作为空间内点，每一维对应于一维权重，输入数据被看做constrain，限制合法权重的空间。具体的，输入数据和权重维数相同（使用bias，而不是threshold），则每个输入数据可以对应于权重空间中的一个向量（起始点为原点），则对该数据的分类取决于权重向量（起始点为原点）和输

2017-08-12 11:32:13 1045

原创 [hihocoder1546]集合计数

题目描述时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述给定一个包含N个整数的集合S={A1, A2, … AN}，以及一个给定的整数K，请计算有多少个S的子集满足其中的最大值与最小值的和小于等于K。例如对于S={4, 2, 5, 8}以及K=7,满足的条件的子集有以下4个:{2}, {2, 4}, {2, 5}, {2, 4, 5}。输入第一行包含两个整数

2017-08-11 21:12:53 763

原创 [hihocoder1323]回文字符串

这是一道hiho一下第162周的笔试题。题目描述时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述给定一个字符串 S ，最少需要几次增删改操作可以把 S 变成一个回文字符串？一次操作可以在任意位置插入一个字符，或者删除任意一个字符，或者把任意一个字符修改成任意其他字符。输入字符串 S。S 的长度不超过100, 只包含’A’-‘Z’。输出最少的修改次数。样

2017-08-10 17:04:04 833

原创 Hinton Neural Networks课程笔记2b：第一代神经网络之感知机

感知机可以说是最简单最经典的神经网络模型了，简单而言就是对输入加权求和之后，得到一个评价值和一个threshold比较，从而进行分类。只能求取线性分类面，极大依赖于特征提取，但速度极快，适用于特征维度很大的情况。传统模式识别框架传统统计模式识别的标准流程分为三步，首先进行特征提取，然后学习一个加权求和，最后把求和得到的值与一个threshold比较，高于threshold即为正样本，低于则为负样本。

2017-08-10 16:09:52 1878

原创使用深度网络创造艺术：CAN, creative adversarial networks

1. 论文信息论文名称：CAN: Creative Adversarial Networks, Generating “Art” by Learning About Styles and Deviating from Style Norms 发表在：the eighth International Conference on Computational Creativity (ICCC), he

2017-07-24 13:37:53 2823 2

原创 Hinton Neural Networks课程笔记2a：三种主要的神经网络框架之前向网络、循环神经网络和对称网络

这一节主要是介绍了三种主要的神经网络模型：前向网络、循环神经网络和对称网络前向网络 Feed-forward Neural Networks如果把神经元看做节点，把神经元的输出到另一个神经元的输入看做有向边，那么神经网络可以看做是一个有向图，一个有向图没有圈（circle）的神经网络就是前向网络。前向网络应用广泛，也十分经典，常见的CNN就是一个典型的前向网络；全连接网络则为相邻两层节点之间都有权重

2017-07-23 14:56:26 4527

原创 Hinton Neural Networks课程笔记1e: 监督学习、强化学习、无监督学习，及其应用

这节课介绍了机器学习的几大框架，分别是监督学习（supervised learning）、强化学习（reinforcement learning）和非监督学习（unsupervised learning）。都是十分古老、传统、广泛应用的框架。监督学习监督学习是根据输入预测输出，即学习一个y=f(x;W)y=f(x;W)。这里面的W是f参数的显示表示，输入是x，输出是y。学习过程就是给很多(x,y

2017-07-22 18:39:09 2659

原创 Hinton Neural Networks课程笔记1d：一个简单的机器学习实例

这里介绍一个用于识别数字的模型实例，输入是图像（即n个pixel），输出是数字类别。这里采用的模型是每个pixel对每个数字类别进行加权投票，最后票数多的类别获胜，其实就是一个线性函数。那这里面有一个权重表示方法还是蛮有意思的，权重用和输入相同的一张图表示，位置对应于输入的pixel的位置，正负用黑白表示，权重绝对值大小用点的大小表示。这样就可以直观的查看权重了。学习算法是一种早期机器学

2017-07-22 17:10:07 1044

原创 Hinton Neural Networks课程笔记1c：几种激活函数Linear、Binary、ReLU、Stochastic binary neurons

本章简单介绍了一些神经元的激活函数，包括Linear、Binary、ReLU和一些概率统计方面的变种。笔者在刷CS231n的时候也记录了相关内容，贴在这里方便比较：CS231n课程笔记5.1：神经网络历史&激活函数比较为什么激活函数都相对简单首先说明idealize具有很多实际意义：某件事物本身是复杂的，其内可能包含许多没有应用价值的小细节，idealize可以去繁化简，从而可以更好的把握主旨；

2017-07-22 16:40:07 7581

原创 Hinton Neural Networks课程笔记1b：神经网络模拟的大脑机理

课程主要讲的是神经网络，而其初始的时候是模拟的人类大脑内部的机理。所以这部分介绍一些大脑内部的机理，主要是其被神经网络模拟的部分，以及其具有的优点。1. 为什么研究神经科学研究大脑机理。大脑庞大复杂而且脆弱，所以需要计算机模拟。理解基于神经和其适应性连接的平行计算。这种平行计算和传统的连续计算不同，应该具有和大脑相似的特性（比如适合完成认知类似的任务，但不擅长算术等）。模拟其结构来设计算法，解

2017-07-21 21:45:01 1521

原创 Hinton Neural Network课程笔记1a：为什么需要机器学习？

课程简介hinton在coursera上开的网课，名称为Neural Networks for Machine Learning (University of Toronto)课程笔记第一节课就是介绍了一下Machine Learning的优势，以及给了几个相关的例子。1. Machine Learning的优势课中把Machine Learning和hard coded program做了一下对比

2017-07-21 16:31:57 907

原创 Tensorflow中关于Tensor和Variable的理解

刷课过程中思考到Variable和Tensor之间的区别，尝试发现在如下代码中：a = tf.Variable(tf.ones(1))b = tf.add(a,tf.ones(1))a是Variable，而b是Tensor。发现自己对Variable和Tensor之间的区分了解不多，所以搜索了一下，记录自己的思考，欢迎指教。Variable是可更改的（mutable），而Tensor是不可更改的

2017-07-20 20:56:28 12533 2

原创 Tensorflow可以使用tensor的name索引tensor，用于sess.run

具体参考Tensorflow官网：https://www.tensorflow.org/api_docs/python/tf/Session 了解此信息的来源：https://stackoverflow.com/questions/37849322/how-to-understand-the-term-tensor-in-tensorflow刚刚发现这个功能，一个直接好处就是原先通过函数构建计算图

2017-07-20 20:24:03 6040

原创 Tensorflow使用技巧：通过graph.as_graph_def探索函数内部机制

Tensorflow有tf.Graph类，用于存储计算图。而计算图其实就是由节点和有向边组成，每个点包括操作Op、数值value、类型dtype、形状shape等属性。探索诸如tf.Variable()等函数的内部机制的过程中，就需要查看计算图的变化情况，包括新建了哪些节点，输入是什么等等。例如想要探讨tf.constant函数的内部机制，则运行以下代码：import tensorflow as t

2017-07-20 18:08:37 9288

原创 Tensorflow累加的实现

由于python内部的变量其实都是reference，而Tensorflow实现的时候也没有意义去判断输出是否是同一变量名，从而判定是否要新建一个Tensor用于输出。Tensorflow为了满足所有需求，定义了两个不同的函数：tf.add和tf.assign_add。从名字即可看出区别，累加应该使用tf.assign_add。具体地，笔者需要一个iteration counter类似的变量，即每次

2017-07-20 17:12:20 5442 1

转载 win10使用tensorboard遇到无法显示问题

ubuntu遇到一些问题，转到win10，但是发现tensorboard居然不可用，出来的网页啥也没有。搜索了一下，发现一个简单有效的方法，记录在此。以后有时间再去究其原因，找一个优雅的解法。解决方法：在tensorboard.exe的那个文件目录下放置log文件，然后运行tensorboard。至于找到tensorboard.exe的方法有很多，我是通过PATH里面根据名称筛选得到，为C:

2017-07-18 20:09:31 6015

原创 Matlab作图之全框坐标轴

关于坐标轴定制方面的方法请参考MATLAB作图技巧汇总。本文主要记录在同一个图中做多个坐标轴的方法，代码如下figure1 = figure;axes1 = axes('Parent',figure1,'xAxisLocation','top','yAxisLocation','right');hold(axes1,'all');axes2 = axes('Parent',figure1,

2017-07-18 19:59:38 19440 1

原创 [论文阅读笔记] Massive Exploration of Neural Machine Translation Architectures

最近想要看看Attention的机制，然后被网上博客引到这个论文，想要了解一下NMT（Neural Machine Translation）的架构。这篇paper没有发表在会议上，出自Google Brain，并公开了seq2seq的NMT框架代码。个人觉得文中的结论不太可信，但是对于NMT的介绍还是足够清晰。这里记录一些文中有意思的点，以及一些笔者自己的思考，欢迎指教。NMT框架详见文中Secti

2017-07-10 22:37:42 1379

原创 CS20si课程笔记1：Tensorflow Introduction

虽然一直使用Tensorflow+Keras，但是没有一个关于Tensorflow的整体框架理解，所以趁着暑假刷一下Stanford刚开的关于Tensorflow的课程CS20si。关于课程的slides, notes以及各种介绍请参照课程官网以及Github Repo。须注明的是课程是一门新课，而且Tensorflow也没有稳定下来的API，所以应该只是当前时刻一个较棒的分享，并不具有太多的权

2017-07-10 16:01:42 3414 2

转载 Latex网址中出现的波浪号~处理

转载自Latex 中url有波浪号怎么处理？。要加入\usepackage{url} 然后代码中直接使用\url命令。 E.g.: \footnote{\url{~}}

2017-06-22 22:06:55 6082

原创 Keras之LSTM源码阅读笔记

这里目前为止只是博主阅读Keras中LSTM源码的草稿笔记，内容不全，没有清晰的逻辑，只是堆砌个人想法。参考文献： 1. keras的官方相关文档 2. LSTM原论文 3. keras的RNN源码1. 接口研究1.1. Recurrent接口Recurrent是LSTM的父类（实际是通过SimpleRNN间接继承），定义所有RNNs的统一接口。1.1.1. implementation:im

2017-06-18 23:45:22 8377 3

原创 LaTeX无图片编号

编译LaTeX文件的时候发现\ref的地方没有编号，是”?”用作占位符。尝试之后发现是\label位置的关系，应该放在\caption后面。下面是正确的位置：\begin{figure} \centering \includegraphics[width=\textwidth]{LSTM_model.pdf} \caption{The structure of BLSTM} \label{f

2017-06-12 23:47:51 9711 1

原创 Latex编译错误：Unable to load picture or PDF file 问题解决

环境设置： win10+tex live+tex studio本身双系统，ubuntu是可以编译的，到win10这边就出现Unable to load picture or PDF file错误。猜测是因为编码原因，但是又懒得试，所以直接把图片文件名都改为英文了。

2017-06-11 22:38:35 14975

原创 Matlab画混淆矩阵

主要是使用imagesr函数。结果如图：调坐标轴参数具体参考MATLAB作图技巧汇总。imagesc(fuse_matrix)set(gca,'xtick',1:3)set(gca,'xticklabel',{'Positive','Neural','Negative'})set(gca,'ytick',1:3)set(gca,'yticklabel',{'Positive','Neur

2017-06-04 13:56:01 5245

原创 MATLAB作图技巧汇总

这里总结一些MATLAB作图的技巧，以防以后遗忘。主要记录能够干什么，具体怎么做到时候再help。scatter函数scatter(x,y,[size],color,[‘filled’])plot函数plot(y) plot(x,y) plot(x,y,[style]) plot(y,[style]) plot(x1,y1,[stype]1,x2,y2,[stype]2,…) [stype

2017-06-01 20:10:03 1750

原创 Keras以及Tensorflow强制使用CPU

Keras如果是使用Theano后端的话，应该是自动不使用ＧＰＵ只是用ＣＰＵ的，启动ＧＰＵ使用Theano内部命令即可。对于Tensorflow后端的Keras以及Tensorflow会自动使用可见的ＧＰＵ，而我需要其必须只运行在ＣＰＵ上。网上查到三种方法，最后一种方法对我有用，但也对三种都做如下记录：使用tensorflow的 with tf.device('/cpu:0'):函数。简单操作

2017-05-22 17:59:31 40710 7

原创 MIT18.06课程笔记16：最小二乘法，线性回归

课程简介18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。自己思考的部分使用斜体表示。课程笔记关于投射矩阵的内容请参考MIT18.06课程笔记15：Projection Matrix投射

2017-05-08 23:26:47 1413

原创 MIT18.06课程笔记15：Projection Matrix投射矩阵

1. 求取投射矩阵2. 讨论投射矩阵的性质

2017-05-08 20:49:19 3126

原创 R-CNN阅读笔记

写CS231n中关于Localization, detection等应用的笔记时，总感觉理解不够深刻，逻辑也不够清晰，所以刷了几篇相关论文。这篇论文应该算是RBG大神的成名之作，是当年把深度网络应用到detection领域的成功尝试，主要贡献在于证明了CNN特征的优越性以及提供了预训练+微调的模式用于对CNN等深度学习的应用领域进行拓展。博主主要阅读了原论文和tech report，论文的开源

2017-05-08 16:09:56 660

原创 tensorflow做交叉验证遇到InvalidArgumentError

原代码的逻辑是train函数构造图，并训练。val_train函数只负责切分训练集。跑代码之后遇到InvalidArgumentError: You must feed a value for placeholder tensor '*' with dtype float后来发现是因为每次train函数都是在default_graph上修改，所以两次train的调用，使得sess重复使用了其内部的变

2017-04-25 23:29:59 19490 7

原创 tensorflow重复使用共享变量

在构造CNN以及LSTM等模型的时候，需要重复使用共享权重。但是tensorflow默认是不允许重复使用变量的，会报一些InvalidArgumentError或者Attemping to use uninitialized value等错误。解决方法是使用variable_scope，并且设置该variable_scope的reuse=True。设置方法由两个：with tf.variable_s

2017-04-25 23:16:54 7710

原创在tensorflow中使用keras作为高层接口

最近从keras转战tensorflow，原先的代码又不想重写，幸好keras代码可以在tensorflow中使用。详情请参考将Keras作为tensorflow的精简接口。简单应用的话，就是把keras当作tf.layers里面的层来用，placeholder等价于Keras.Input，然后基本和keras里面使用model模块的时候构建方式相同。最后的model也可以使用的，但是我就是想要

2017-04-24 17:17:10 6776

原创 [hihocoder1490]Tree Restoration恢复树

问题描述题目2 : Tree Restoration 时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述 There is a tree of N nodes which are numbered from 1 to N. Unfortunately, its edges are missing so we don’t know how the nodes are

2017-04-18 22:14:03 633

原创 Hinton Neural Network课程笔记11b: 利用Hopfield Net进行信息存储

课程简介Geoffrey Hinton 2012年在coursera上开的网课：Neural Networks for Machine Learning。课程笔记关于Hopfield的简单定义与应用，请参考Hinton Neural Network课程笔记11a: Hopfield Net的定义与应用。关于Hopfield的详细介绍，可以参考《现代模式识别（第二版）》（里面包括对于Hopfield

2017-04-18 14:23:48 1131

转载 ubuntu开机自动挂载分区

因为我是win10+ubuntu16.04双系统，还有一个常年当磁盘用的移动硬盘，每次开机都要手动挂载，烦不胜烦。找了一版自动挂载的方法，为了防止以后忘记，转载在此：ubuntu 14.04 开机自动挂载分区。

2017-04-16 17:46:36 2652

空空如也

空空如也