第12章 决策树

已于 2022-11-05 19:54:22 修改
阅读量593 收藏 1
点赞数
分类专栏： 机器学习笔记 文章标签： 决策树 python 人工智能 算法
于 2022-11-03 15:59:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52449030/article/details/127672007
版权

12-1 什么是决策树

Notbook 示例

疑问：改变max_features 的值，图像具有一定随机性

notbook 源码

[1]
import numpy as np
import matplotlib.pyplot as plt
[2]
from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:,2:]
y = iris.target
[3]
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
<matplotlib.collections.PathCollection at 0x2728e9a1ee0>

[4]
from sklearn.tree import DecisionTreeClassifier
dt_clf = DecisionTreeClassifier(max_depth=2,max_features=2, criterion='entropy')
dt_clf.fit(X,y)
DecisionTreeClassifier(criterion='entropy', max_depth=2, max_features=2)
[5]
def plot_decision_boundary(model, axis):

    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1,1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1,1)
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]
    
    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
[6]
plot_decision_boundary(dt_clf, axis=[0.5,7.5,0,3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_15136\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x2728f874df0>

[7]
dt_clf2 = DecisionTreeClassifier(max_depth=2,max_features=1, criterion='entropy')
dt_clf.fit(X,y)

plot_decision_boundary(dt_clf, axis=[0.5,7.5,0,3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_15136\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x2728f2036a0>

 12-2 信息熵

Notbook 示例

Notbook 源码

信息熵
[2]
import numpy as np
import matplotlib.pyplot as plt
[6]
def entropy(p):
    return -p * np.log(p) - (1-p) * np.log(1-p)
[7]
X = np.linspace(0.01, 0.99, 200)
[8]
plt.plot(X,entropy(X))
[<matplotlib.lines.Line2D at 0x2c50e4f70a0>]

12-3 使用信息熵寻找最优划分

Notbook 示例

Notbook 源码

使用信息熵寻找最优划分
[1]
import numpy as np
import matplotlib.pyplot as plt
[2]
from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:,2:]
y = iris.target
[3]
from sklearn.tree import DecisionTreeClassifier
dt_clf = DecisionTreeClassifier(max_depth=2,max_features=2, criterion='entropy')
dt_clf.fit(X,y)
DecisionTreeClassifier(criterion='entropy', max_depth=2, max_features=2)
[4]
def plot_decision_boundary(model, axis):

    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1,1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1,1)
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]
    
    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
[5]
plot_decision_boundary(dt_clf, axis=[0.5,7.5,0,3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_13528\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x20ab8e898e0>

模拟使用信息熵进行划分
[6]
def split(X, y, d, value):
    index_a = (X[:,d] <= value)
    index_b = (X[:,d] > value)
    return X[index_a], X[index_b], y[index_a],y[index_b]
[7]
from collections import Counter
from math import log

def entropy(y):
    counter = Counter(y)
    res = 0.0
    for num in counter.values():
        p = num / len(y)
        res += -p * log(p)
    return res

def try_split(X, y):
    
    best_entropy = float('inf')
    best_d, best_v = -1,1
    for d in range(X.shape[1]):
        sorted_index = np.argsort(X[:,d])
        for i in range(1,len(X)):
            if X[sorted_index[i-1],d] != X[sorted_index[i],d]:
                v = (X[sorted_index[i-1], d] + X[sorted_index[i], d]) / 2
                X_l, X_r, y_l, y_r = split(X, y, d, v)
                e = entropy(y_l) + entropy(y_r)
                if e< best_entropy:
                    best_entropy, best_d,best_v = e, d, v
    return best_entropy, best_d,best_v
               
                
[8]
try_split(X,y)
(0.6931471805599453, 0, 2.45)
[9]
best_entropy, best_d, best_v = try_split(X,y)
print('best_entropy = ', best_entropy)
print("best_d = ", best_d)
print("best_v = ",best_v)
best_entropy =  0.6931471805599453
best_d =  0
best_v =  2.45

[10]
X1_l, X1_r, y1_l, y1_r = split(X, y, best_d, best_v)
[11]
entropy(y1_l)
0.0
[12]
entropy(y1_r)
0.6931471805599453
[13]
best_entropy2, best_d2, best_v2 = try_split(X1_r,y1_r)
print('best_entropy2 = ', best_entropy2)
print("best_d2 =", best_d2)
print("best_v =", best_v2)
best_entropy2 =  0.4132278899361904
best_d2 = 1
best_v = 1.75

[14]
X2_l, X2_r, y2_l, y2_r = split(X1_r, y1_r, best_d2, best_v2)
[15]
entropy(y2_l)
0.30849545083110386
[16]
entropy(y2_r)
0.10473243910508653

12-4 基尼系数

 Notbook 示例

Notbook 源码

基尼系数
[1]
import numpy as np
import matplotlib.pyplot as plt
[2]
from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:,2:]
y = iris.target
[3]
from sklearn.tree import DecisionTreeClassifier
dt_clf = DecisionTreeClassifier(max_depth=2, max_features=2,criterion='gini')
dt_clf.fit(X,y)
DecisionTreeClassifier(max_depth=2, max_features=2)
[4]
def plot_decision_boundary(model, axis):

    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1,1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1,1)
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]
    
    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
[5]
plot_decision_boundary(dt_clf, axis=[0.5,7.5,0,3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_2040\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x209ca6737c0>

模拟使用基尼系数划分
[6]
from collections import Counter
from math import log

def split(X, y, d, value):
    index_a = (X[:,d] <= value)
    index_b = (X[:,d] > value)
    return X[index_a], X[index_b], y[index_a], y[index_b]

def gini(y):
    counter = Counter(y)
    res = 1.0
    for num in counter.values():
        p = num / len(y)
        res -= p **2 
    return res

def try_split(X, y):
    
    best_g = float('inf')
    best_d, best_v = -1,1
    for d in range(X.shape[1]):
        sorted_index = np.argsort(X[:,d])
        for i in range(1,len(X)):
            if X[sorted_index[i-1],d] != X[sorted_index[i],d]:
                v = (X[sorted_index[i-1], d] + X[sorted_index[i], d]) / 2
                X_l, X_r, y_l, y_r = split(X, y, d, v)
                g = gini(y_l) + gini(y_r)
                if g < best_g:
                    best_g, best_d, best_v = g, d, v
                    
    return best_g, best_d, best_v
               
                
[7]
best_entropy, best_d, best_v = try_split(X,y)
print('best_g = ', best_entropy)
print("best_d = ", best_d)
print("best_v = ",best_v)
best_g =  0.5
best_d =  0
best_v =  2.45

[8]
X1_l, X1_r, y1_l, y1_r = split(X, y, best_d, best_v)
[9]
gini(y1_l)
0.0
[10]
gini(y1_r)
0.5
[11]
best_g2, best_d2, best_v2 = try_split(X1_r,y1_r)
print('best_g2 = ', best_g2)
print("best_d2 =", best_d2)
print("best_v =", best_v2)
best_g2 =  0.2105714900645938
best_d2 = 1
best_v = 1.75

[12]
X2_l, X2_r, y2_l, y2_r = split(X1_r, y1_r, best_d2, best_v2)
[13]
gini(y2_l)
0.1680384087791495
[14]
gini(y2_r)
0.04253308128544431

12-5 CART与决策树中的超参数

Notbook 示例

Notbook 源码

CART 和 决策树中的超参数
[1]
import numpy as np
import matplotlib.pyplot as plt
[2]
from sklearn import datasets

X,y = datasets.make_moons(noise=0.25,random_state=666)
[3]
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
<matplotlib.collections.PathCollection at 0x1ac3b9a9160>

[4]
from sklearn.tree import DecisionTreeClassifier
dt_clf = DecisionTreeClassifier()
dt_clf.fit(X,y)
DecisionTreeClassifier()
[5]
def plot_decision_boundary(model, axis):

    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1,1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1,1)
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]
    
    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
[6]
plot_decision_boundary(dt_clf, axis=[-1.5, 2.5, -2.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_440\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x1ac3c30a280>

[7]
dt_clf2 = DecisionTreeClassifier(max_depth=2)
dt_clf2.fit(X,y)

plot_decision_boundary(dt_clf2, axis=[-1.5, 2.5, -2.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_440\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x1ac3be96f70>

[8]
dt_clf3 = DecisionTreeClassifier(min_samples_split=10)
dt_clf3.fit(X,y)

plot_decision_boundary(dt_clf3, axis=[-1.5, 2.5, -2.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_440\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x1ac3bed7f10>

[9]
dt_clf4 = DecisionTreeClassifier(min_samples_leaf=6)
dt_clf4.fit(X,y)

plot_decision_boundary(dt_clf4, axis=[-1.5, 2.5, -2.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_440\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x1ac3bf1ff10>

[10]
dt_clf5 = DecisionTreeClassifier(max_leaf_nodes=4)
dt_clf5.fit(X,y)

plot_decision_boundary(dt_clf5, axis=[-1.5, 2.5, -2.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_440\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x1ac3bfa26d0>

12-6 决策树解决回归问题

Notbook 示例

Notbook 源码

决策树解决回归问题
[1]
import numpy as np
import matplotlib.pyplot as plt
[2]
from sklearn import datasets

boston = datasets.load_boston()
X = boston.data
y = boston.target
F:\anaconda\lib\site-packages\sklearn\utils\deprecation.py:87: FutureWarning: Function load_boston is deprecated; `load_boston` is deprecated in 1.0 and will be removed in 1.2.

    The Boston housing prices dataset has an ethical problem. You can refer to
    the documentation of this function for further details.

    The scikit-learn maintainers therefore strongly discourage the use of this
    dataset unless the purpose of the code is to study and educate about
    ethical issues in data science and machine learning.

    In this special case, you can fetch the dataset from the original
    source::

        import pandas as pd
        import numpy as np


        data_url = "http://lib.stat.cmu.edu/datasets/boston"
        raw_df = pd.read_csv(data_url, sep="\s+", skiprows=22, header=None)
        data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
        target = raw_df.values[1::2, 2]

    Alternative datasets include the California housing dataset (i.e.
    :func:`~sklearn.datasets.fetch_california_housing`) and the Ames housing
    dataset. You can load the datasets as follows::

        from sklearn.datasets import fetch_california_housing
        housing = fetch_california_housing()

    for the California housing dataset and::

        from sklearn.datasets import fetch_openml
        housing = fetch_openml(name="house_prices", as_frame=True)

    for the Ames housing dataset.
    
  warnings.warn(msg, category=FutureWarning)

[3]
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X,y, random_state=666)
Decision Tree Regression
[5]
from sklearn.tree import DecisionTreeRegressor

dt_reg = DecisionTreeRegressor()
dt_reg.fit(X_train,y_train)
DecisionTreeRegressor()
[6]
dt_reg.score(X_test,y_test)
0.6892800402527158
[7]
dt_reg.score(X_train,y_train)
1.0

12-7 决策树的局限性

Notbook 示例

Notbook 源码

决策树的局限性
[1]
import numpy as np
import matplotlib.pyplot as plt
[2]
from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:,2:]
y = iris.target
[3]
from sklearn.tree import DecisionTreeClassifier
tree_clf = DecisionTreeClassifier(max_depth=2,max_features=1, criterion='entropy')
tree_clf.fit(X,y)
DecisionTreeClassifier(criterion='entropy', max_depth=2, max_features=1)
[4]
def plot_decision_boundary(model, axis):

    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1,1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1,1)
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]
    
    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
[5]
plot_decision_boundary(tree_clf, axis=[0.5,7.5,0,3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_17836\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x1b8f722d8e0>

[6]
X_new = np.delete(X, 138, axis=0)
y_new = np.delete(y, 138)
[7]
X_new.shape
(149, 2)
[8]
y_new.shape
(149,)
[9]
tree_clf2 = DecisionTreeClassifier(max_depth=2,criterion='entropy')
tree_clf2.fit(X_new,y_new)
DecisionTreeClassifier(criterion='entropy', max_depth=2)
[10]
plot_decision_boundary(tree_clf2, axis=[0.5,7.5,0,3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
C:\Users\Administrator\AppData\Local\Temp\ipykernel_17836\3130018029.py:15: UserWarning: The following kwargs were not used by contour: 'linewidth'
  plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

<matplotlib.collections.PathCollection at 0x1b8f6bba6a0>

CaiGbro
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习中的决策边界绘制
MachineLearner的博客
03-01 4077
本文将会直接给出代码，主要目的在于对代码进行解释，熟悉使用python的Numpy和matplotlib库绘制决策边界曲线，代码来自于https://blog.csdn.net/dengjiaxing0321/article/details/70545740。 代码如下 import numpy as np from sklearn.datasets import make_moons impor...
人工智能学习---SVM算法编程练习
易与天行的博客
05-25 373
文章目录一.什么是SVM？二.Soft Margin SVM三.多项式与核函数四.超参数γ 一.什么是SVM？ Svm（support Vector Mac）又称为支持向量机，是一种二分类的模型。当然如果进行修改之后也是可以用于多类别问题的分类。支持向量机可以分为线性核非线性两大类。其主要思想为找到空间中的一个更够将所有数据样本划开的超平面，并且使得本本集中所有数据到这个超平面的距离最短。 二.Soft Margin SVM 鸢尾花数据集散点图分布： import numpy as np import ma
matplotlib matplotlib中决策边界绘制函数plot_decision_boundary和plt.contourf函数详解
guoqingru0311的博客
06-24 2765
matplotlib matplotlib中决策边界绘制函数plot_decision_boundary和plt.contourf函数详解
【深度学习】吴恩达深度学习-Course1神经网络与深度学习-第三周浅层神经网络编程
passer__jw767的博客
12-02 2179
视频链接：【中英字幕】吴恩达深度学习课程第一课 — 神经网络与深度学习 学习链接： 【中文】【吴恩达课后编程作业】Course 1 - 神经网络和深度学习 - 第三周作业 Planar data classification with one hidden layer 文章目录〇、作业目标一、使用环境-资料包下载二、库的安装-安装sklearn-planar_utils和testCases的导入三、编程环境的创建-测试所需的包是否全部安装上四、学习流程-加载和查看数据集 〇、作业目标 我们要建立一个
第11章 支撑向量机 SVM
weixin_52449030的博客
11-01 237
第11章 支撑向量机 。SVM, Jupyter Notbook 运行示例及其源码
清华出品 机器学习技术课程 统计学习方法第二版系列课程 第5章 决策树 共98页.pptx
05-03
第5章 决策树 共98页.pptx 第6章 Logistic回归 共75页.pptx 第7章 SVM及核函数 共159页.pptx 第8章 adaboost 共75页.pptx 第9章 EM算法 共48页.pptx 第10章 隐马尔科夫模型 共64页.pptx 第11章 条件随机场 共63页....
数据挖掘 机器学习原理与SPSS Clementine应用宝典 第9章 决策树算法 共67页.ppt
07-10
数据挖掘 机器学习原理与SPSS Clementine应用宝典 第9章 决策树算法.ppt 数据挖掘 机器学习原理与SPSS Clementine应用宝典 第10章 关联规则.ppt 数据挖掘 机器学习原理与SPSS Clementine应用宝典 第11章 粗糙集理论....
全套清华大学数据分析 统计学 系列课程 05 第五章 决策树-2016-ID3CART （共85页）.pptx
09-21
【清华大学大数据 数据分析 统计学 系列课程】 全套清华大学数据分析 统计学 系列课程 01 第一章 统计学习方法概论 （共32页）.pptx ...全套清华大学数据分析 统计学 系列课程 12 第十二章 统计学习方法总结.pptx
数据挖掘(第2部分)SPSS clementine11基础培训 常用的机器学习技术介绍 神经网络 决策树等算法如何应用到业务.ppt
07-11
第七章 Clementine 的建模技术 第八章 神经网络 第九章 规则归纳 第十章 模型的比较和合并 第十一章 Kohonen 网络 第十二章 关联规则 第十三章 时序分析 第十四章 其它模块
全套清华大学数据分析 统计学 系列课程 12 第十二章 统计学习方法总结 .pptx
09-21
【清华大学大数据 数据分析 统计学 系列课程】 全套清华大学数据分析 统计学 系列课程 01 第一章 统计学习方法概论 （共32页）.pptx ...全套清华大学数据分析 统计学 系列课程 12 第十二章 统计学习方法总结.pptx
机器学习实战（6）——决策树
WHJ226的博客
08-30 1617
下面简单看一下例子：简单步骤如下：首先打开该网站，最后将dot文件内容复制粘贴左侧代码区即可。效果如下：（另外pycharm中的插件也可以实现决策树可视化，不过目前上述方法还没出现问题就未曾探索）.........
从头开始实现神经网络——入门
onlyForCloud的专栏
09-24 1513
http://python.jobbole.com/82208/ 本文由 伯乐在线 - fzr 翻译，唐尤华 校稿。未经许可，禁止转载！ 英文出处：Denny Britz。欢迎加入翻译组。 获取代码：接下来，为了匹配文章的内容，所有的代码都会在Github上以iPython笔记的形式提供。 本文中我们会从头实现一个简单的3层神经网络。我们不会推导所有的数学公式，但会给我
关于利用np.contour画出logistic模型决策边界（plot_decision_regions）的一点感想
Cowry
05-09 7592
本篇文章纯粹为了记录遇到问题以及解决问题。苦于没人指引，加上网上资料少不知从何搜起，断断续续三天才弄明白，走了一些弯路。希望可以给看到这篇文章的小伙伴一点点帮助，少踩坑。 写在前面，最近碰到个问题，需要画出正则化logistic回归的决策边界。但因为拟合出来的函数是一个高维的方程，无法直接画出图形。 例如这样的一个方程（一）： θ0+x1θ1+x2θ2+...+xn1xm2θn=0θ...
如何用matplotlib绘制决策边界
豆子
01-19 1855
如何用matplotlib绘制决策边界 import matplotlib.pyplot as plt import numpy as np import sklearn import sklearn.datasets import sklearn.linear_model def plot_decision_boundary(m...
机器学习基础-10.决策树
闲人勿
06-17 579
一、决策树1.概念决策树在现实生活中应用广泛，也非常容易理解，通过构建一颗决策树，只要根据树的的判断条件不断地进行下去，最终就会返回一个结果。例如下图所示。现在先通过sklearn中封装的决策树方法对数据进行分类，来学习决策树。import numpy as np import matplotlib.pyplot as plt from sklearn import datasets iris =...
机器学习基础-9.支持向量机SVM
闲人勿
06-17 1080
一、支持向量机svm1.概念svm即support vector machine 支持向量机，它既可解决分类问题，也可解决回归问题。在说明svm前，先看由逻辑回归得到的决策边界，如下左图所示。虽然这个决策边界将训练的样本区分开，但是这个决策边界的泛化能力并不好，靠近红色的那个蓝点明显地影响了最终决策边界的位置，而实际上这可能只是个噪声点。更合理的划分方式应该是如下右图所示。svm的思想，直观地来说...
Bobo老师机器学习笔记第九课-逻辑回归之决策边界
夜深人静后的码农
12-06 966
1、什么是决策边界？ 决策边界又称为是限定边界，引用百度的定义：在具有两个类的统计分类问题中，决策边界或决策表面是超曲面，其将基础向量空间划分为两个集合，一个集合。 分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。 我们先看逻辑回归的sigmoid函数。   我们求出 在上一篇博客中我们已经计算出来了值，那么我们把这条曲线绘制出来。  这个...
决策树算法应用及结果解读
热门推荐
数据森麟
12-23 2万+
作者：林骥 来源：林骥引言本文是我写的人工智能系列的第 8 篇文章，文末有前面 7 篇文章的链接，推荐你阅读、分享和交流。1. 决策树算法简介决策树是一种应用非常广泛的...
Implementing a Neural Network from Scratch in Python – An Introduction（通过python中的Scratch来实现神经网络--简介）
lst227405的专栏
02-27 3205
最近遇到了点小挫折，不想学习，翻译一片博客吧 原文链接 在本文中我们通过scratch实现了3个简单的神经网络，本文没有任何公式推导，只是对做法进行了直观的说明，更多的细节可以通过本文链接进行学习。 阅读本文之前，需要有一定的微积分和机器学习算法基础，知道什么叫分类和正则化。如果能熟悉一些常用的优化方法，如梯度下降就更好了。即使上面提到的你都没听说过但还是很感兴趣，那么你也可
-第四章 决策树python代码实现
最新发布
08-16
当然，下面是一个简单的决策树的 Python 代码实现示例： ```python from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier from ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值