深度学习高维空间处理和解决

---

1 维度

如果我们判断一个人是否会打篮球，仅仅通过身高角度显然是不合理的，我们还需要从其他角度分析，比如体重、身体灵活性以及是否经常见到凌晨四点钟的太阳等等因素。

同样在豆豆的世界，豆豆的毒性不仅与大小有关，还可能与颜色深浅、软硬等有关

对于三维世界的我们，很难在四维空间作图，但是数学作为一种抽象的工具，在数学看来，这不过是在输入上增加了一个维度而已，输入数据有多少元素也就是所谓的特征维度，也叫数据维度。
也就是说我们从更多的维度观察豆豆的时候，也就能更好的预测它的毒性。

---

我们选择大小和颜色深浅两个维度为例：

此时预测函数的线性部分需要从一元一次函数变成二元一次函数


如果我们在三维坐标系中把这个函数画出来，很明显这是一个平面，正如一元一次函数中是一个线性函数

这个平面被非线性激活函数激活后，就被扭曲成了一个s型的曲面，正如一元一次函数的直线被激活函数激活后扭曲为一个s型曲线一样

此时我们可以通过调节参数，在俯视下可以使用一条直线将豆豆分割为有毒无毒，而这条线也称为等高线、割线

但如果豆豆的分布是这样的情况，我们上述的方法也就无能为力了，这种问题也被称为：线性不可分问题

这个时候我们就需要增加隐藏层神经元，让这个直线“弯曲”

💡思考：需要几个隐藏神经元可以让分割线形成一个圈

2 代码实现

如遇到同包下引入.py文件爆红，右键将其加入到source root：
原因：目标文件不在pycharm编译path下

豆豆数据集模拟：dataset.py

import numpy as np

def get_beans(counts):
	xs = np.random.rand(counts,2)*2
	ys = np.zeros(counts)
	for i in range(counts):
		x = xs[i]
		if (x[0]-0.5*x[1]-0.1)>0:
			ys[i] = 1
	return xs,ys

def get_beans2(counts):
	xs = np.random.rand(counts,2)*2
	ys = np.zeros(counts)
	for i in range(counts):
		x = xs[i]
		if (np.power(x[0]-1,2)+np.power(x[1]-0.3,2))<0.5:
			ys[i] = 1


	return xs,ys

🚩豆豆毒性分布如下：

🚩梯度下降前：

绘图工具封装：plot_utils.py

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import numpy as np

def show_scatter(xs,y):
	x = xs[:,0]
	z = xs[:,1]
	fig = plt.figure()
	ax = Axes3D(fig)
	ax.scatter(x, z, y)
	plt.show()

def show_surface(x,z,forward_propgation):
	x = np.arange(np.min(x),np.max(x),0.1)
	z = np.arange(np.min(z),np.max(z),0.1)
	x,z = np.meshgrid(x,z)
	y = forward_propgation(x,z)
	fig = plt.figure()
	ax = Axes3D(fig)
	ax.plot_surface(x, z, y, cmap='rainbow')
	plt.show()



def show_scatter_surface(xs,y,forward_propgation):
	x = xs[:,0]
	z = xs[:,1]
	fig = plt.figure()
	ax = Axes3D(fig)
	ax.scatter(x, z, y)

	x = np.arange(np.min(x),np.max(x),0.01)
	z = np.arange(np.min(z),np.max(z),0.01)
	x,z = np.meshgrid(x,z)
	y = forward_propgation(x,z)
	
	ax.plot_surface(x, z, y, cmap='rainbow')
	plt.show()

梯度下降：2_inputs_model.py

import numpy as np
import dataset
import plot_utils

m = 100
xs, ys = dataset.get_beans(m)
print(xs)
print(ys)

plot_utils.show_scatter(xs, ys)

w1 = 0.1
w2 = 0.2
b = 0.1

## [[a,b][c,d]]
## x1s[a,c]
## x2s[b,d]
## 逗号，区分的是维度，冒号：区分的是索引，省略号… 用来代替全索引长度
# 在所有的行上，把第0列切割下来形成一个新的数组
x1s = xs[:, 0]
x2s = xs[:, 1]

# 前端传播
def forward_propgation(x1s, x2s):
    z = w1 * x1s + w2 * x2s + b
    a = 1 / (1 + np.exp(-z))
    return a

plot_utils.show_scatter_surface(xs, ys, forward_propgation)

for _ in range(500):
    for i in range(m):
        x = xs[i] ## 豆豆特征
        y = ys[i] ## 豆豆是否有毒
        x1 = x[0]
        x2 = x[1]

        a = forward_propgation(x1, x2)

        e = (y - a) ** 2

        deda = -2 * (y - a)
        dadz = a * (1 - a)
        dzdw1 = x1
        dzdw2 = x2
        dzdb = 1

        dedw1 = deda * dadz * dzdw1
        dedw2 = deda * dadz * dzdw2
        dedb = deda * dadz * dzdb

        alpha = 0.01
        w1 = w1 - alpha * dedw1
        w2 = w2 - alpha * dedw2
        b = b - alpha * dedb

plot_utils.show_scatter_surface(xs, ys, forward_propgation)

🚩梯度下降后：