SINGULARITY

原创 从RL的专业角度解惑 instruct GPT的目标函数

这样，后人也可以更加透彻的理解这里面的核心思想，以及这篇文章所用的PPO和原始版本PPO之间的关联。

原创 理解策略梯度方法：从REINFORCE到PPO

本文将探讨对数技巧的必要性、将轨迹积分转化为样本估计的方法，以及从REINFORCE到TRPO和PPO的演变过程。

原创 注意力机制的一般框架

假设我们把宇宙中所有的知识全部列在一张表中，表的每一行都是一个键值对（K，V），其中V就是知识，而K可以认为是对这个知识的摘要，用来检索这个知识。那么这个时候，当我们有一个问题Q的时候，最直接的做法就是去一个个的看K值，看看那个是和我这个问题最相关的。这就是一个问答的最简单的模型，

原创 根式为什么是根式？（我可能疯了？）

我相信，一定存在某个宇宙，在那个宇宙里1+1=2,2*3=6，但是（1+1）+（2*3）确不是8，因为运算的类型不同，1+1=2是加类，而2*3是乘类，类型不同运算规则是未定义的，你怎么就能随便把两个数相加呢？这就像把整数和字符串相加一样的疯狂！...

原创 对换子的深层含义

对换子操作和求根符号其实就是一枚硬币的两个面. 伽罗瓦群中的一切置换都可以写成对两个根对调的序列

原创 一种直观理解Galois理论的途径

假设一个多项式存在求根公式，那么这个公式和根之间必然是1-1对应的。当我们对换任意两个根的时候，对应的求根公式必然也要变化。如果存在某个对换序列，使得求根公式不发生变化而根的顺序发生了变化，则意味着必然有两个根共享同一个求根公式，这就说明这个求根公式不成立，它无法区分那两个根。唯一使求根公式不发生变化的就是N重对换子，而如果根的顺序在N重对换子下发生了变化，则当前求根公式不成立。N重对换子与N重根式相关，一个具有N重根式的求根公式必然在N重对换子下不发生变化。因此对于N个根，要判断N重对换子是否能使求根公式

原创 关于围棋围住的最大面积问题

问题：给定N个棋子，问N个棋子能围住的最大面积是多少（假设棋盘无限大）

原创 关于协变矢量和逆变矢量的直观理解

对于某个外部观测系来说，它可以看到所有的坐标系，坐标系之间的变化，以及对应的基的变化。那么这时就有两种情况，第一种是存在一个客观的对象，相对于外部观测系来说是恒定不变的，比如一座客观存在的山的高度。那么，无论内部坐标系如何去定义，它们只是在定义测量的方法，而这个客观存在的个体的客观性不会改变。因此，所有的坐标系都会尽其可能的去正确的描述这种客观性。所有的表述都应当具有一致性，但是由于坐标系的选取不...

原创 混入Assasin的海盗分金问题

考虑这样一个情景：海盗中混入了Assasin，Assasin企图通过操控投票决议的方式干掉刺杀对象。所以Assasin并不在乎自己可以分得多少钱。在这一前提下，这个问题的解又会如何变化呢？更一般的，假设每个人都对其他人有个价值判断，也就是说，如果自己分得的钱小于那个价值，那么还不如选择自己一分钱不要让那个人去死。这样，就会得到一个二维的价值矩阵。将这个矩阵作为问题的输入，那么最后的纳什平衡最优解将

原创 关于Mobius环的一个小思想实验

最近晚上睡觉，脑子胡思乱想：一个Mobius环，如果仅仅只看它的边界，那其实是一条封闭的曲线。不考虑面的话，这条曲线可以被拉成一个8的形状。然后，看到这个8我就在想，8其实是可以通过扭转变成0的形状。然后我就开始思索，如果我把Mobius环的8状边界拉扯成0状边界，整个Mobius环会怎么变化？想了好几个晚上，最后突然想通了！这是一个有点像变异海螺一样的东西，依然是只有一个面，但是看上

原创 火车上的醉汉问题（一个非常深奥的问题）

N节车厢，起始于第一节车厢，随机游走，问跌落火车的步长期望是多少（答案是N），但是我无法证明。目前的研究发现了一个类似于帕斯卡三角的结构嵌入在原问题中，然而这个帕斯卡三角不具有一般性，非常难求解，我只能解到N＝4。要求期望，就必须知道每种步长有多少种可能的组合，那个帕斯卡三角就是计算这些信息用的。我不认为期望可以在避开步长组合信息的情况下被求解。我将等待答案的公

原创 计算的极限——关于Diophantine以及黎曼猜想

这些天一直在思考一个问题：计算机的极限在哪里？什么叫计算，并不是所有问题都是可计算的。所谓计算，其实是利用问题中已有的数学结构进行推理。所以计算的前提是存在对应的数学结构。这些数学结构就如同海上的航标一样将结果导向一个个固定的岛屿，或者岛屿附近。所以，通常可计算的问题都具有一种连续性，这就是数理因果性，使得给出输入总能导到指定的结果。那么，试想如果将这种数理因果性破坏掉会怎么样？即使不

原创 变化之理

所有事物的变化都可以分作两个部分来看待：事物当前的状态和从一个状态转变为另一个状态的过程。如果将事物当前的状态看作空间中的一个孤立的点，那么，通过将每一种变化过程赋予这个点，我们就能得到这个事物所有可能的变化状态：谓之事物之“轨”；同样，在所有的变化过程中，筛选出使得事物不发生改变的所有过程，谓之事物之“恒”。对于轨而言，两轨如有一共同事物则两轨相等：因为两轨中任意事物均可通过这一共同事物互相转化

转载 Lob定理的证明（觉得自己集合论学得好其实是一种幻觉……）

Löb's theorem states that in a theory with Peano arithmetic, for any formula P, if it is provable that "if P is provable then P is true", then P is provable.Löb定理指出，在皮亚诺算术理论中，对于任何公式P，如果这句话“如

原创 一种可能的新的人脑信息网络模型

今天，在arXiv上读到了一篇关于量子大脑机制的文章：Quantum Cognition: The possibility of processing with nuclear spins in the brain （http://arxiv.org/abs/1508.05929）。 从很早开始我就一直在关注这一领域的进展，最开始还是彭罗斯开启的探究。但是他本人被黑的很惨，因为他的引力解释太形而上

原创 关于Hadoop以及S3的几个坑

首先是关于AWS上用distributive cache files的问题，由于AWS用的是S3文件系统，而文件cache以后是HDFS文件系统，那么当我们直接去取URI的时候就会发生一件诡异的事情：原来的s3://被转换成了s3:/，而且这种转换是不可避免的，不论你手工加slash什么的都没用…… 这个问题卡了我一晚上，搜了好多资料，最后才发现最完美的解决方案：在cache的时候用别名来标记

转载 Description of graph6 and sparse6 encodings

Description of graph6 and sparse6 encodings-------------------------------------------Brendan McKay, bdm@cs.anu.edu.auUpdated Jul 2014.General principles: All numbers in this description are i

原创 最终之LMS

原创 二元论的终结

最近我突然想明白笛卡尔的mind－body问题的答案是什么了！得益于现代计算机科学的发展，我能很容易的就下载一个大脑模拟器，然后跑在自己的笔记本上。虽然大脑的运行异常复杂，难以理解，但是我注意到一个很关键的现象——切断外界信号输入以后，大脑会在运行一小段时间后逐渐熄灭！这是一个很重要的发现，因为它证明了“我”这个概念不是自在永有的！笛卡尔错了，并不是我思故我在，笛卡尔以为只要自己凭借所

原创 note:SMO算法存在致命缺陷

由于这个算法诞生于微软实验室，发明这个算法的人计算机背景必定多余数学背景，导致最后这个算法有些处理实在是过于“工程”的，缺乏数学依据。此算法的基本思想是用两个线性优化来取代二次优化，但是从数学的角度来看，这是不可能的——线性从来就不能完全取代非线性，否则那些历史上那些伟大的数学家或者前苏联数学家早就发现了。为什么Vapnic当时没有想到这个方法？不，他作为数学家一定是想过的，但是数学是

原创 一个神奇的Hessian矩阵以及其逆

给出这样一个带参数的Hessian 矩阵， 所有的对角线元素为1, 其余的元素为ki*kj/n的形式。这样，从每一行看，会发现除了对角线上的那一个元素，其它的都是某个ki因子的倍数。比如说，当它是4x4时候，看上去是这样的：然后我们来看一下它的逆是什么样子的（在过去，这基本不可能，但是时代不同了，感谢智能科学的发展）：现在，注意观察一下这个逆有什么特点？你会

转载 简析Wolfe Dual (Wolfe对偶性原则)

note：对于这个过程的一个直观的理解就是利用直线族的包络，对于每个固定的x，都有一条对应的以lambda为参数的直线，那么所有的x实际上就是一个直线族，这个直线族在每个lambda截面上必定有极大和极小值（极值可以是无穷）。这些极值最后组合成的曲线就是包络。而这个包络所对应的极值点（如果有限）应该就是原函数的鞍点（saddle）了

原创 为什么压缩感知用L1范数能够还原稀疏解？

这个问题我思考了几天了，直到方才，我才突然把所有的逻辑ying

原创 一种基于构造测量矩阵的称球问题求解方法

Conclusion: for a claim MinCounterfeitBall(n,q), we have

原创 关于高维超正体（cross-polytope）的性质及其应用

关于高维空间，有一个非常反直觉的事实，但是却很重要，特别是fu iyu

原创 卡马克魔数的研究

关于卡马克魔数，wiki上面有详细的介绍，

原创 What is Likelihood in terms of continuous probability distribution?

People usually get confused about the meaning or purpose of a Likelihood funt

原创 关于智能的另一种思考

很长一段时间，我都被yi

原创 找到唯一的那个数——对于异或运算的研究

亦或运算，具有一种很特殊的性质，这种性质使得它成为了现代加密学的he xin

原创 关于核方法的理解

每一个数据点，如果整体数据确实是存在某种内在规律的，dou

转载 Functia传说

原创作者:schuma

原创 方向盘应该转多少度？

初学车的人都希望能找到方向盘转的角度和ji c

原创 通配符匹配过程中必定会出现搜索

定义如下通配符：? : 代表任意出现

原创 Robbins-Monro 随机逼近算法和序列学习（Sequential Learning）

1951年，H.罗宾斯和S.门罗首先研究了此问题的一种形式:设因素x的值可由试验者控制,x的“响应”的指标值为Y,当取x之值x进行试验时，响应Y可表为Y=h(x)+ε，式中h(x)为一未知函数，ε为随机误差。设目标值为A,要找这样的x,使h(x)=A。分别以Y-A和h(x)-A代替Y和h(x)。不妨设A=0，问题就在于找方程h(x)=0的根x。例如若x为施药量，Y为衡量药物反应的某种生理指标,则问

原创 关于巴拿赫-塔斯基分球定理的研究

架设你有一个苹果，然后架设两只chong

原创 基于有限自动机的KMP算法构造思想

字符串模式匹配的的核心其实就是li yo

原创 关于一种投票阵营信息调查问题的研究

假设有一场投票，但是我们不知道投票者谁和谁是一个阵营的，为了防止绑票行为的出现，我们必须要事先知道参与投票的人有没有超过半数的是属于同一阵营的。为此，我们雇佣了私家侦探，私家侦探每次可以调查任意两个人的关系，并且告诉你他们是不是属于同一阵营的。但是调查的费用很贵，所以请你设计一个算法，使得用最少的调查次数确定这次投票中有没有一个团体人数是超过总人数一半的。

原创 关于高维空间的一些思考

计算一个球体的体积时会发现随着空间维度shen

原创 关于一种连续求和非负效应的研究

什么叫非负效应，假如有k个数x1,x2...xk

原创 一种对拉格朗日乘子的直观理解

假如你面前有一座山，山上有一条复杂的小路，如果你爬山的时候只能顺着小路