ML_abstract

主要是最近所看文章摘取，细节不再累赘

1    Probability    3
    1.1    probability theory    3
    1.2    common distributions    5
    1.2.1    discrete distributions    6
    1.2.2    continuous distributions    8
2    Bayesian Perspective    13
    2.1    Introduction    13
    2.2    Simple Example    13
    2.3    The beta-binomial model    15
    2.4    The Dirichlet-multinomial model    17
    2.5    Naive Bayes classifiers    20
    2.6    Hierarchical Bayes    24
3    Linear regression    28
    3.1    Introduction    28
    3.2    Robust linear regression    29
    3.3    Shrinkage Methods    30
    3.3.1    Ridge Regression    30
    3.3.2    Lasso Regression(Sparse)    31
    3.3.3    Orthogonal Matching Pursuit (OMP)( Sparse)    32
    3.3.4    Least Angle Regression( Sparse)    32
    3.4    Bayesian linear regression    32
4    Classification    36
    4.1    QDA and LDA    37
    4.2    Logistic regression    47
    4.3    Bayesian Logistic regression    51
5    Kernel Methods    55
    5.1    SVM    55
    5.2    Gaussian Processes    55
    5.3    Relevance Vector Machines    55
6    Mixture Models and EM    55
    6.1    Mixture model    55
    6.2    EM for GMMs    57
    6.3    EM for the Student distribution    59
    6.4    EM for probit regression    61
    6.5    Theoretical basis for EM    64
    6.6    Factor analysis    66
7    Latent Linear Models    66
    7.1    PCA    66
    7.2    PPCA    66
    7.3    ICA    66
8    Variational inference    67
    8.1    Introduction    67
    8.2    The mean field method    67
    8.3    Expectation propagation    67
9    Montel Carlo Sampling    67
    9.1    Introduction    67
    9.2    Rejection sampling    67
    9.3    Importance sampling    67
    9.4    Markov chain Monte Carlo    67
    9.4.1    Gibbs sampling    67
    9.4.2    Metropolis Hastings algorithm    67
10    Graphical Models    68
    10.1    Introduction    68
    10.2    Hidden Markov model    68
    10.3    Generalizations of HMMs    68
    10.4    Markov random fields    68