Representation theory之稀疏编码

Neural code

binay active/inactive units 产生或者不产生output
spikes

• individual spike（sequence of times）
• frequency coding（low number->low frequency）
• spike pattern, timing(spike inter时间段，relative timing 很小，可省略)

建立binay 神经码， 看每行或者每列有多少1

每一列的1有多少个->breath of tuning(grandam->1;narrow->2,broad->5)
每行有多少1-> sparseness(local; sparse;dense)
local representation:在一个stimulis下只有一个“1”回应，

First-order（single bit）redundancy in a unit

property of a single unit
最大熵为1（x=0.5），实际熵Ha
First order redundancy: $R_b=1-H_a$

High order redundancy in the code

不包含first oder富裕度
计算方式为source entropy（item累加）$H_s$ 减去 sum of bit entropies（unit累加）
$R_h=H_s-H_A$

稀疏编码

无监督学习的原理
尽量把high order redundancy转化为first order
时high-order regularities explicit in the code
问题是如何把word分成pieces->objects->code，内聚合 外独立于其他
First-order（single bit）redundancy 很好的性质

有用的叫泛化 没用的叫interference
sparse 的表示能力很高 但没用 （不会用到那么多）
sparse 对overlap is good，可提升, 如果你只是给随机参数 不会好
dependent units-> high fault tolerance
生物系统用energy 你的脑子在何时active