2017年09月_silent56_th

原创大数据课程笔记3：Kolmogorov Complexity

这是大数据算法的课程笔记，这节讲的是Kolmogorov Complexity的定义以及三个性质。定义先有个图灵机的定义，然后有了一个Universal Turing Machine (UTM)的定义。假设存在输入yy和输出xx，使用一种Turing Machine TT，运行程序pp，可以从yy中生成xx，定义为x=T(p,y)x = T(p,y)。定义Kolmogorov Comlexity，基

2017-09-30 15:04:59 2117

翻译 ubuntu查看文件的大小

环境&目的环境：Ubuntu16.04 目的：查看指定文件的文件大小方法翻译https://ubuntuforums.org/showthread.php?t=1513757 的方法ls -sh filename其中-s表示查看文件的size -h表示以human readable的格式显示

2017-09-30 17:25:39 2873

转载统计学学习的博客转载

笔者最近需要学习一些频率学派的统计概率学，发现了一个简单易懂，也足够严谨的博客系列。转载如下：http://chuansong.me/n/726484852771

2017-09-29 19:49:29 474

翻译 Ubuntu删除repository ppa

转载https://askubuntu.com/questions/307/how-can-ppas-be-removed 的内容。例如加入ppa使用的是sudo add-apt-repository ppa:jonathonf/texlive删除的时候使用sudo add-apt-repository --remove ppa:jonathonf/texlive

2017-09-29 17:30:16 6061

原创 Ubuntu的LaTeX环境配置

笔者的硬盘空间很大，本着一劳永逸的原则，选择了TexLive的Full版本；编辑器使用的TexStudio，取其同框显示，语法错误检测，pdf位置回溯，一键注释等功能。1 . TexLive的安装国内使用repo下载TexLive就很慢，笔者测试是50kb左右，全部下下来要一天一夜。建议网上找一个相应版本的iso，一般都是支持多系统安装的。笔者windows就是使用的TexLive，所以已经解压

2017-09-29 17:28:08 605

转载 vim python环境配置

目的配置ubuntu下面vim+python环境，要求有语法缩进、highlight，自动补全等功能。解决方案笔者比较了github上大部分的vimrc方案，都缺少对python的某部分支持。最终从同学那里找到了这个博客，十分符合笔者要求和习惯，安装方便，功能强大，推荐。 http://moelove.info/2016/09/16/%E5%88%A9%E5%99%A8%E7%B3%BB%E5%8

2017-09-28 19:49:26 767

转载 tmux配置

详细内容请见http://harttle.com/2015/11/06/tmux-startup.html。这里转载.tmux.conf的配置文件unbind ^bset -g prefix 'C-a'bind r source-file ~/.tmux.conf \; display-message "Config reloaded"bind h select-pane -Lbind j

2017-09-28 16:36:11 494

翻译 jupyter使用matplotlib

环境ubuntu16.04+python3使用方法转载https://stackoverflow.com/questions/19410042/how-to-make-ipython-notebook-matplotlib-plot-inline 中的方法。%matplotlib inlineimport matplotlib.pyplot as plt

2017-09-28 16:32:08 5720

原创 Hinton Neural Networks课程笔记4c：softmax输出神经元

这节主要介绍softmax，将其与squared error作对比，体现softmax优越性。squared error的问题squared error用来做分类器，通常是使用logistic输出神经元的输出与目标值做差取平方。具体的，输入时z⃗ \vec{z}，输出是y⃗ =e−z⃗ 1+e−z⃗ \vec{y} = \frac{e^{-\vec{z}}}{1+e^{-\vec{z}}}，目标

2017-09-27 19:04:43 478

原创 MIT18.06线性代数课程笔记1：矩阵和向量相乘的三种解释

课程简介18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。课程笔记笔者是上过线性代数的，来这里主要是学习一些insight，所以对处理细节关注不多。这节为introduction，介绍了矩阵

2017-09-26 23:32:35 2433

原创选取合适的win10 markdown本地编辑器：typora

环境与需求win10+2K屏幕。想要一个具有隐私性的Markdown编辑器。编辑器比较笔者比较了几个网上搜到的编辑器，测试结果是typora最适合。首先用了同学使用的laverna，但是其文本是内部封存，不能直接打开导入编辑.md文件，不符合要求。然后使用了markdown pad2，其内部语法和普通的markdown语法有出入，虽然可以较好的支持中文，但是style使用css定义，其内通过

2017-09-25 20:16:51 3414

原创 Hinton Neural Networks课程笔记4b：神经网络是一种混合概念表示，既可以表示为特征向量，也可以表示为关系

这一节内容是神经网络在认知科学领域的探索，不是笔者擅长的领域，部分记录内容是笔者自己的思考演绎，正确性有待验证，欢迎指教。主要讨论的是神经网络作为一种信息表示，同时具有特征向量表示，和关系表示的能力。Hinton说认知科学中关于概念（concept）表示方法有一个长时间的争论：表示为特征向量（feature vector），和表示为关系（relationship）。特征向量就是把信息都是

2017-09-23 22:37:31 700

原创 ESL作业笔记2.5：最小二乘法预测输出的误差期望

使用最小二乘法可以得到一个线性回归模型，然后使用得到的模型可以得到预测输出，本文讨论这个预测输出和目标值之间的误差期望。

2017-09-20 21:08:06 6540

原创 ESL作业笔记2.1.

ESL课后题2.1解析

2017-09-19 22:43:09 975

原创 MATLAB函数legend的使用记录：同时对多个函数去线标注标签

这里只是记录一下legend的一个使用方法，并不是对legend函数的全面总结，全部信息请使用MATLAB的help函数。笔者需要在一个图内做多条曲线（plot作图），然后为每条曲线标注一个标签。有两种方法：（设函数值为y和z，for x = 1:N

2017-09-19 22:13:21 6252

原创 ESL读书笔记2b：bias-variance tradeoff之 knn在k=1情况下受目标函数影响的bias和variance

本文为Element of Statistical Learning (ESL, https://web.stanford.edu/~hastie/ElemStatLearn/)的读书笔记。文中并不全是对原书的总结整理，很多内容是基于原书，笔者自己的演绎，不具有权威性，欢迎指教。第二章框架请看：ESL读书笔记2a：监督学习框架总览（未完待续）此部分主要讨论knn（k nearest neighb

2017-09-19 22:01:39 2592

翻译 ESL作业笔记2.3：均匀分布情况下最近邻距离的中值

本文章基本是对https://stats.stackexchange.com/questions/130998/explanation-of-formula-for-median-closest-point-to-origin-of-n-samples-from-unit 的翻译。解决问题为Element of Statistical Learning (ESL, https://web.sta

2017-09-19 19:29:21 1171

原创 ESL读书笔记2a：监督学习框架总览（未完待续）

本文为Element of Statistical Learning (ESL, https://web.stanford.edu/~hastie/ElemStatLearn/)的读书笔记。文中并不全是对原书的总结整理，很多内容是基于原书，笔者自己的演绎，不具有权威性，欢迎指教。变量类型与表示方法变量包括输入XX，目标值（/真值）Y/GY/G，预测输出Y^\hat Y。（文中还提到了ordered

2017-09-16 14:38:07 907

转载向量求导规则--最小二乘法求解最优解

1. 向量求导规则此部分主要是对Matrix Differentiation的转载。2.1. 导数定义（一阶导数）设y⃗ =ϕ(x⃗ )\vec{y} = \phi (\vec{x})，其中y⃗ \vec y和x⃗ \vec x均为向量。定义特别地，如果yy是标量，则有∂y∂x⃗ \frac{\partial y}{\partial \vec x}为1×n1\times n的行向量；如果

2017-09-15 21:00:02 3693

原创 win10使用tensorboard 0.0.0.0:6006无法访问

使用win10+anaconda+tensorboard（tensorflow1.2.），使用0.0.0.0:6006进行访问，出现无法访问提示。稍微去github的issue里面看见此时（2017.9）该问题还是open的状态，解决方法是使用localhost:6006或者127.0.0.1:6006。win10使用tensorboard还遇到无法显示graph的情况，详情参看： win10使用t

2017-09-08 20:32:39 8340

原创 Hinton Neural Networks课程笔记4a：使用神经网络做逻辑推理

PPT中的标题是Learning to predict the next word（学习预测下一个单词），是从实际操作中得出的，但笔者认为这里使用神经网络做逻辑推理的例子很典型，所以拿出来做标题了。例子简单讲就是给定n个三元组（A，R，B）作为训练集，然后给定A和R，神经网络输出B。这里涉及到学习A,R,B的特征表示，不仅要有意义，而且还有三者之间进行配合。例子简介：亲戚关系推断这节主要介绍一个

2017-09-08 14:30:51 3435

silent56_th的博客