一个朋友收集的神经网络相关资料

https://youtu.be/nwk0mfpOi_s




An interesting way for analytics. Neural net may not be as good as those intuitive ways with the help of financial knowledge.




https://youtu.be/oI1eJa-UWNU




一個可以感覺到別人如何run simulation 的過程。我們做到這個部分，就有一個可以demo的東西。




FYI sklearn http://scikit-learn.org/stable/








看一下amazon 的echo。後頭有個分析的大腦，及連接的服務。
http://www.amazon.com/Amazon-SK705DI-Echo/dp/B00X4WHP5E






http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convolution










Andrew Ng 的 解說
http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial




講CNN的細節
http://www.cnblogs.com/tornadomeet/archive/2013/05/05/3061457.html






staford 的吳恩達 Andrew Ng, Toronto 大学的 Hinton, 纽约大学的 LeCanm.sohu.com/n/465415755




有名的神經網路結構 包括 CNN convolutional neural network, DBN Deep belief network.


他们都被叫做 DNN Deep Neural Network. 因为结构都很多层
DEEP 是多层的意思，不是 很深， 很难的意思


(1) 一個有意義的見解
https://youtu.be/t4kyRyKyOpo




(2) 證明人腦的學習算法的真實性
https://youtu.be/AY4ajbu_G3k




(3)另個應用是類似這樣的臉部辨識系統
http://m.youtube.com/watch?v=Nyu_T6eN0wU




http://www.economist.com/news/briefing/21650526-artificial-intelligence-scares-peopleexcessively-so-rise-machines




(4) IBM做的neural chip
http://www.theguardian.com/technology/2014/dec/09/synapse-ibm-neural-computing-chip




(5)有空時，一定要看這個video。用人工智慧學會玩任天堂
http://youtu.be/qv6UVOQ0F44




這也是一種類似神經網路的做法。非常cool，它的input 就是屏幕的數位化。output就是要如何按任天堂的幾個鍵。整個系統就是要讓分數提高。所以，訓練的過程，就是要如何優化得分。






Unsupervised learning 
1: Restricted Boltzmann machines
2: Autoencoder
3: Sparse Coding model






Bayesian network 
Markov chain Monte Carlo
Markov property , memorylessness 




https://www.youtube.com/playlist?list=PL6Xpj9I5qXYEcOhn7TqghAJ6NAPrNmUBH




https://www.youtube.com/watch?v=Fae0j1WN1zA




Bayesian learning
Nanodo de Freitas
At 36 min point, detail picture








(6) Nature paper
http://www.nature.com/news/computer-science-the-learning-machines-1.14481






http://youtu.be/PCql2DgW5sE




Brain simulation 
Galaxy like 
http://youtu.be/LS3wMC2BpxU




以下是我自己寫的觀點，自己與自己辯論。供你做參考  不一定對的。主要是哲學思考。


簡單是複雜的基礎 一個存在複雜的系統，必須建構在一個簡單的定律之下，才能穩定演進。




Back propagation 只是個算法。在人類成長學習過程。直覺上，應該不是BP的方式。BP的算法裡，有太多的精算及簡略。這是有矛盾的。神經細胞的輸入輸出是個可微分的函數，這是為了可以用個數學模式描述及演算中。後來使用其它的，像 pooling，softmax，這都是一種簡化及average的效果。




同時，pooling，softmax，dropout都是簡化的方式去加速收斂。University of Montreal 的Bengio 教授，很清楚的指出BP 只是一個對於變數算gradient的方法， 它不是learning rule。只是計算w 的一部分。他也指出，deep NN 在supervised learning 上，技巧性的在initialization 及 rectifier 在RBM上，使得多layer 的計算變得可能。 這些才使DNN進入一個新時代。




如何經由計算得到 weighting，這是一個挑戰。如何有技巧的initialize weight 也成為一個大事。所謂learning，就是如何update weight。只是，這是對的方式嗎？也只能解釋，這只是其中的一個model。




有人的看法也是接近這個觀點。提出local learning。由生物神經細胞實體觀察，Henan learning rule描述synaptic的改變，是與之前，之後的神經細胞有關，只是不了解這個觀點的細節。




以哲學觀點來看，宇宙銀河的星球及微小粒子的關係都是由幾個簡單清楚的定律描述。整個宏觀的模型描述是明白的。從牛頓的定律到愛因斯坦的相對論，都是以簡單的模式來描述一個複雜系統。古人的 天，地，人的和諧闡述，也接近這個觀點。




F=Ma
E=MC*C






人體腦的主要結構，從嬰兒開始，就是個基本架構。只是在內容上，由外部的刺激，有所增加變化。




我一直對motion equation 的模式，比較接受。它就是一個簡單的基本定律。描述每個神經細胞的共同模式。周遭的變化就是它所關心的。這是三大定律之一，慣性定律。




另一個，吸引定律。F=G M1M2/ (r*r)
奇想: M是U 還是V， F感覺像是給U的力量，所以，以V 來看的話
du/dt = d (sum( G V1Vn))/dt








另外，準度計算是否必要，也是一個哲學問題。如果所有的計算是在絕對準度下運算，這個模型一定昂貴。




提出一個假設。所有的計算是在一個dynamic range，而且是用integer 的level來做。這是為了計算的速度。也就是neuron的輸入，只可能在一個範圍內，太小，太大，都沒意義。




每個neuron的行為，是一個磁滯現象。




不管是哪一個模型，RBM，HNN, CNN，RNN，覺得都是接近。前面都是feature extraction，再來是 selection 或pooling，最後是classification。大家的難題都是如何調weight。