qq_58146842的博客

原创 支持向量机SVM

支持向量机（support vector machines, SVM），一种监督式学习的方法,广泛应用于统计分类以及回归分析中。是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。 深度学习出现（2012）之前，SVM被认为是机器学习在十几年来最成功，表现最好的算法。 相比于其他线性分类...

原创 k-近邻算法（KNN）

KNN的介绍kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。中心思想：knn常用于解决二分.

原创 随机梯度下降法（stochastic gradient descent，SGD）

梯度下降法大多数机器学习或者深度学习算法都涉及某种形式的优化。 优化指的是改变特征x以最小化或最大化某个函数 f(x) 的任务。 我们通常以最小化 f(x)指代大多数最优化问题。 最大化可经由最小化算法最小化 ​​​​​​​-f(x)来实现。我们把要最小化或最大化的函数称为目标函数或准则。 当我们对其进行最小化时，我们也把它称为损失函数或误差函数。下面，我们假设一个损失函数为 ，其中 然后要使得最小化它。梯度下降：梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给...

原创 逻辑回归（LR）

逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中，逻辑回归常用于解决二分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数）回归模型与分类模型的区别回归模型的输出是连续的 分类模型的输出是离散的 回归 ...

原创 线性判别分析LDA

原创 决策树算法

决策树（decision tree）是一种基本的分类与回归方法，在二分类任务中，我们希望从给定训练数据集学得一个模型用以对新实例进行分类，这个将实例分类的任务，可看做对“当前版本属于正类吗？”这个问题的“决策"或"判定"过程.顾名思义，决策树是基于树结构来进行决策的。一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应于决策结果，其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子结点中;根结点包含样本全集.从根结点到每个叶结点的路径对应了一个

原创 演员评论家算法

Actor Model loadedCritic Model loadedIteration: 0, Score: 199Iteration: 10, Score: 199Iteration: 20, Score: 199Iteration: 30, Score: 199Iteration: 40, Score: 199Iteration: 50, Score: 199Iteration: 60, Score: 199Iteration: 70, Score: 199Iteratio..

原创 构建手写数字模型

原创 全连接神经网络面向向量编程实现

import numpy as npfrom numpy import random, dot, exp, array# 前向算法def forward(input): l1_out = 1 / (1 + exp(-(dot(w0, input.T)))) # l1_out.shape = (4,) l2_out = 1 / (1 + exp(-dot(w1, l1_out))) # l2_out.shape = (2,) return l1_out, l2_out

原创 numpy排序计数集合操作

1.numpy.argpartition()numpy.argpartition(a, kth, axis=-1, kind=‘introselect’, order=None)数组元素中从小到大的第k个值将在处于其最终排序位置knp.partition(a,2)表示数组a中第2小的元素即元素2位于排序完成数组b的第二个位置上,即索引b[1]处，然后小于该元素的位于该元素左边，大于该元素的位于右边，左右两边没有特别的排序要求,只要求左边小于该元素，右边大于该元素即可numpy.argpartit

原创 主成分分析PCA

import numpy as npData = np.array([[2.5, 2.4], [0.5, 0.7], [2.2, 2.9], [1.9, 2.2], [3.1, 3.0], [2.3, 2.7], [2, 1.6], [1, 1.1], [1.5, 1.6], [1.1, 0.9]])x1 = sum(Data[:, 0]) / 10y1 = sum(Data[:, 1]) / 10DataAdjust = Data - [x1, y1]cov

原创 隐马尔可夫

import numpy as npweather = np.ones(3)p = {'first_weather': 'sunny', 'second_weather': 'sunny', 'third_weather': 'sunny'}start_probability = {'sunny': 0.4, 'rainy': 0.6}transition_probability = {'sunnys': 0.6, 'rainyr': 0.7, .

原创 改进欧拉公式

# 改进欧拉公式import numpy as npimport matplotlib.pyplot as plty = 1 # 初值x = 0a = 1000 # 循环次数 即所求点数x1 = np.zeros(a)y1 = np.zeros(a)h = 0.01 # 步长for i in range(a): y0 = 1.1 * y - 0.2 * x / y k1 = y - 2 * x / y k2 = y0 - 2 * (x + h) / y0 .

原创 神经网络和反向传播算法

原创 贝叶斯定理

在夏季，某公园男性穿凉鞋的概率为 1/2 ，女性穿凉鞋的概率为 2/3 ，并且该公园中男女比例通常为 2:1 ，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？先验概率设事件A1为遇到的人穿凉鞋 事件A2为遇到的人不穿凉鞋事件B1为遇到的人为男性 事件B2为遇到的人为女性而一个人的性别与是否穿凉鞋这两个事件之间是相互独立的。于是我们可以看到该例子中存在四个先验概率：P(A1) 与P(A2)， P(B1)与P(B2)由于男女生的比例是2...

原创 感知器实现and函数

感知器实现and函数在人工智能领域，有一个方法叫机器学习。在机器学习这个方法里，有一类算法叫神经网络，感知器也叫作神经元，是神经网络的基本组成单元。一个感知器有如下组成部分：1.输入权值一个感知器可以接收多个输入(x1,x2…)，每个输入上有一个权值(w1,w2…)，此外还有一个偏置项b，用w0来表示。2.激活函数感知器的激活函数可以有很多选择，我们可以选择阶跃函数来作为激活函数，阶跃函数是在输入值未达到阈值后，输出一直为0，当输入达到阈值，输出值做突然的跳转，但这种冷冰冰，赤裸裸的尖锐边缘不太

原创 监督学习（机器学习）

监督学习机器学习中有一类学习方法叫做监督学习，它是说为了训练一个模型，我们要提供这样一堆训练样本：每个训练样本既包括输入特征x，也包括对应的输出y(也叫做标记，label)。比如下面这个例子数据集面积 户型 房价2104 3 4001600 3 3302400 2 3691416 2 2323000 11 540

原创 numpy中的简单操作

import numpy as npa = np.array([1,2,3])aarray([1, 2, 3])a1 = data.max()a13b = np.zeros(3)barray([0., 0., 0.])c = np.random.random(4)carray([0.53161082, 0.52909233, 0.90536492, 0.4952223 ])a2 = a + ba2array([1., 2., 3.])a3 = a * b