贝叶斯学习

朴素贝叶斯
朴素贝叶斯是一种速度很快的分类算法，适用于数据特征维度很高的情况。它假设数据的特征之间相互独立，这也是“朴素”这一名称的由来，其数学基础是贝叶斯定理。
根据每个特征的数据分布的假设不同，有高斯朴素贝叶斯，多项式朴素贝叶斯，伯努利朴素贝叶斯。
高斯朴素贝叶斯假设每个特征的数据服从高斯分布，也就是正态分布

from sklearn.naive_bayes import GaussianNB
model = GaussianNB()
model.fit(X,y)

多项式朴素贝叶斯
顾名思义，它假设特征是由简单多项式分布生成的。多项式分布可以描述各种类型样本出现的概率，因此适用于描述出现次数或次数比例的特征，例如文档。
多项式朴素贝叶斯可用于文本分类，文本特征通常都是指待分类文本中单词出现的次数。

from sklearn.naive_bayes import MultinomialNB
model = MultinomialNB()
model.fit(X,y)

朴素贝叶斯优缺点
朴素贝叶斯对数据有严格的假设，通常训练效果不会太好

优点：
1.训练预测速度快
2.容易解释
3.几乎没有可调参数
4.如果特征服从独立假设的话，朴素贝叶斯预测效果相比其他模型都会更好

缺点：
1.现实生活中，很难满足特征独立的假设，导致预测效果通常都不好
2.零概率问题。如果某个类别在训练样本中从没出现过，模型会对其富裕0概率，导致无法作出判断。不过可以采用拉普拉斯平滑进行处理。

提升朴素贝叶斯效果的一些小技巧
1.如果数字型特征不满足正太分布，可以可以通过数据变化而使其尽量满足，例如进行log变换
2.删除高相关性特征，如果有两个高度相关的特征存在于数据中，就相当于通过一个特征呗考虑两次，导致其重要性虚高

适用场景
1.假设分布函数与数据匹配，特征之间独立性高
2.数据实例间区分度很高
3.数据的维度很高
后面两点是相互联系的，因为如果数据维度很高，任何两点之间都不太可能靠近，那需要在每一个维度上都靠近才满足。
朴素贝叶斯

#!/usr/bin/python
# -*- coding:utf-8 -*-

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib as mpl
from sklearn.preprocessing import StandardScaler, MinMaxScaler, PolynomialFeatures
from sklearn.naive_bayes import GaussianNB, MultinomialNB
from sklearn.pipeline import Pipeline
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier


def iris_type(s):
    it = {'Iris-setosa': 0, 'Iris-versicolor': 1, 'Iris-virginica': 2}
    return it[s]


if __name__ == "__main__":
    data = pd.read_csv('iris.data', header=None)
    x, y = data[np.arange(4)], data[4]
    y = pd.Categorical(values=y).codes
    feature_names = u'花萼长度', u'花萼宽度', u'花瓣长度', u'花瓣宽度'
    features = [0, 1]
    x = x[features]
    x, x_test, y, y_test = train_test_split(x, y, train_size=0.7, random_state=0)

    priors = np.array((1, 2, 4), dtype=float)
    priors /= priors.sum()
    gnb = Pipeline([
        ('sc', StandardScaler()),
        ('poly', PolynomialFeatures(degree=1)),
        ('clf', GaussianNB(priors=priors))])  # 由于鸢尾花数据是样本均衡的，其实不需要设置先验值
    # gnb = KNeighborsClassifier(n_neighbors=3).fit(x, y.ravel())
    gnb.fit(x, y.ravel())
    y_hat = gnb.predict(x)
    print('训练集准确度: %.2f%%' % (100 * accuracy_score(y, y_hat)))
    y_test_hat = gnb.predict(x_test)
    print('测试集准确度：%.2f%%' % (100 * accuracy_score(y_test, y_test_hat)))

    N, M = 500, 500  # 横纵各采样多少个值
    x1_min, x2_min = x.min()
    x1_max, x2_max = x.max()
    t1 = np.linspace(x1_min, x1_max, N)
    t2 = np.linspace(x2_min, x2_max, M)
    x1, x2 = np.meshgrid(t1, t2)  # 生成网格采样点
    x_grid = np.stack((x1.flat, x2.flat), axis=1)  # 测试点

    mpl.rcParams['font.sans-serif'] = [u'simHei']
    mpl.rcParams['axes.unicode_minus'] = False
    cm_light = mpl.colors.ListedColormap(['#77E0A0', '#FF8080', '#A0A0FF'])
    cm_dark = mpl.colors.ListedColormap(['g', 'r', 'b'])
    y_grid_hat = gnb.predict(x_grid)  # 预测值
    y_grid_hat = y_grid_hat.reshape(x1.shape)
    plt.figure(facecolor='w')
    plt.pcolormesh(x1, x2, y_grid_hat, cmap=cm_light)  # 预测值的显示
    plt.scatter(x[features[0]], x[features[1]], c=y, edgecolors='k', s=50, cmap=cm_dark)
    plt.scatter(x_test[features[0]], x_test[features[1]], c=y_test, marker='^', edgecolors='k', s=120, cmap=cm_dark)

    plt.xlabel(feature_names[features[0]], fontsize=13)
    plt.ylabel(feature_names[features[1]], fontsize=13)
    plt.xlim(x1_min, x1_max)
    plt.ylim(x2_min, x2_max)
    plt.title(u'GaussianNB对鸢尾花数据的分类结果', fontsize=18)
    plt.grid(True)
    plt.show()

贝叶斯网络（Bayesian network），又称信念网络（belief network）或是有向无环图模型（directed acyclic graphical model），是一种概率图型模型。贝叶斯网络学习数据分析获得贝叶斯网模型，而贝叶斯网络包括参数学习和结构学习。通过贝叶斯网络结构学习得到各节点的依赖关系。在确定贝叶斯网络的结构后，通过参数学习获取各个结点之间依赖关系的定量描述，也就是各个结点的条件概率表（Conditional Probability Table,CPT）
其分为 同父结构 V型结构 顺序结构
学习：
1、基于评分搜索的方法
那么如何根据已有的数据集学得贝叶斯网络结构呢？一种最简单的想法就是遍历所有可能的结构，然后用某个标准去衡量各个结构，进而找出最好的结构。

是的，这就是评分搜索的基本思想。你可以把所有可能的结构看为定义域，将衡量特定结构好坏的标准看为函数，寻找最好的结构的过程相当于在定义域上求函数的最优值，即这是一个最优化问题。但这里面有两个关键点：一是定义域一般几乎无穷大，不可能遍历，即确定合适的搜索策略；二是用什么样的衡量标准，即确定所谓的评分函数。







贝叶斯网络