算法实现
刘星星儿
怕什么真理无穷,进一步有一步的欢喜。
展开
-
Tensorflow学习笔记----前向传播实战(MNIST手写数字集)
在TensorFlow中,可以通过矩阵乘法的方法,实现神经网络的前向传播过程。a = tf.nn.relu(tf.matmul(x, w1)+b1)y = tf.nn.relu(tf.matmul(a, w2)+b2)在上面的代码中并没有定义w1、w2、b1、b2,TensorFlow可以通过变量(tf.Variable),来保存和更新神经网络中的参数。比如通过下面语句可以定义w1:weights = tf.Variable(tf.random_normal([2, 3], stddev=2))这原创 2020-08-12 16:40:23 · 379 阅读 · 0 评论 -
机器学习十大算法实现代码汇总(python)----线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、K邻近算法、K-均值算法、随机森林、降低维度算法、梯度增强算法
目录引入一、线性回归 (Linear Regression)二、逻辑回归 (Logistic Regression)三、决策树 (Decision Tree)四、支持向量机算法 (Support Vector Machine,SVM)五、K邻近算法(K-Nearest Neighbors,KNN)六、K-均值算法(K-means)七、朴素贝叶斯 (Naive Bayes)八、随机森林 (Random Forest)九、降低维度算法(Dimensionality Reduction)十、梯度增强算法Gradi原创 2020-08-06 17:47:00 · 3985 阅读 · 0 评论 -
机器学习----降低维度(Dimensionality Reduction)算法原理及python实现
通常情况下,在收集数据集时会有很多的特征,这代表着数据是高冗余的表示,但是对于某个工程来说其实可能并不需要那么多的特征。所以就需要给数据进行降维(Dimensionality Reduction)。降维可以简化数据,使数据集更易使用,降低时间开销,而且能减少一部分噪音的影响,使最后的效果变好。目前,主要降维方法有:主成分分析法(Principal Component Analysis, PCA)、因子分析法(Factor Analysis)、独立成分分析(Independent Component原创 2020-08-06 17:26:13 · 2366 阅读 · 0 评论 -
机器学习----随机森林 (Random Forest)算法原理及python实现
随机森林是一个高度灵活的机器学习方法,利用多个决策树对样本进行训练、分类并预测,主要应用于回归和分类场景。在以决策树为基学习器构建Bagging集成的基础上,进一步在决策树的训练过程中引入了随机属性选择(即引入随机特征选择)。简单来说,随机森林就是对决策树的集成,但随机森林中决策树的分类特征是在所有特征中随机选择的。随机森林中有许多的分类树。我们要将一个输入样本进行分类,我们需要将输入样本输入到每棵树中进行分类,森林中的每棵树都是独立的,学习器根据每棵树的预测结果来得出最终的结果,99.9%不相关的树做原创 2020-08-06 17:16:40 · 2090 阅读 · 0 评论 -
机器学习----朴素贝叶斯 (Naive Bayes)算法原理及python实现
朴素贝叶斯算法是一种有监督的分类算法,可以进行二分类,或者多分类。基于概率论的贝叶斯定理,应用非常广泛,从文本分类、垃圾邮件过滤器、医疗诊断等等。朴素贝叶斯适用于特征之间的相互独立的场景,例如利用花瓣的长度和宽度来预测花的类型。“朴素”的内涵可以理解为特征和特征之间独立性强。算法python实现如下,共收集两个代码,代码1为使用iris数据集,仅输出预测准确率,代码2使用简单的文字词语,进行预测某些词语是否为垃圾邮件关键词。代码1 :import numpy as npimport matplot原创 2020-08-06 17:07:34 · 2302 阅读 · 0 评论 -
机器学习----K-均值(K-means)算法原理及python实现
K-均值是通过对数据集进行分类来聚类的,属于无监督学习,为聚类问题提供了一种解决方案。在数据集没有标注的情况下,便于对数据进行分群。而K-Means中的K即指将数据集分成K个子集合。算法把 n 个点(可以是样本的一次观察或一个实例)划分到 k 个集群(cluster),使得每个点都属于离他最近的均值(即聚类中心,centroid)对应的集群。重复上述过程一直持续到重心不改变。k均值类算法仅在凸形簇(类似于椭圆形)结构上效果较好。在如下图这种情况k均值效果不好:算法过程:输入为样本集D和聚类簇数k,输原创 2020-08-06 16:49:48 · 1448 阅读 · 0 评论 -
机器学习----K邻近(K-Nearest Neighbors,KNN)算法原理及python实现
k近邻(k-Nearest Neihbor , kNN)学习就是一种常用的监督学习方法。它的工作机制:给定测试样本,基于距离度量找出训练集中与测试样本最靠近的k个训练样本,然后基于这k个邻居的信息来进行预测。K近邻算法通过在整个训练集中搜索 K个最相似的实例(欧氏距离最近的k个),并为所有这些K个实例分配一个公共输出变量,来对预测对象进行分类。属于有监督学习,是一种基于实例的学习,是局部近似和将所有计算推迟到分类之后的惰性学习。用最近的邻居(k)来预测未知数据点。k 值是预测精度的一个关键因素,无论.原创 2020-08-06 16:37:38 · 1385 阅读 · 0 评论 -
机器学习----支持向量机 (Support Vector Machine,SVM)算法原理及python实现
支持向量机(Support Vector Machine,SVM) 是一种用于分类问题的监督算法。SVM模型将实例表示为空间中的点,将使用一条直线(超平面)分隔数据点,且是两类数据间隔(边距:超平面与最近的类点之间的距离)最大。只通过几个支持向量就确定了超平面,说明它不在乎细枝末节,所以不容易过拟合,但不能确保一定不会过拟合。可以处理复杂的非线性问题。如下图:H1 没有将这两个类分开。但 H2 有,不过只有很小的边距。而 H3 以最大的边距将它们分开了。python实现代码如下:from numpy原创 2020-08-06 11:49:33 · 2039 阅读 · 0 评论 -
机器学习----决策树 (Decision Tree)算法原理及python实现
决策树(Decision tree) 是一种特殊的树结构,由一个决策图和可能的结果(例如成本和风险)组成,用来辅助决策。决策树仅有单一输出,通常该算法用于解决回归和分类问题。机器学习中,决策树是一个预测模型,树中每个节点表示某个对象,而每个分叉路径则代表某个可能的属性值,而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。在每个节点上,我们根据可用的特征询问有关数据的问题。左右分支代表可能的答案。最终节点(即叶节点)对应于一个预测值。每个特征的重要性是通过自顶向下方法确定的。节点越高,其.原创 2020-08-06 11:29:14 · 1896 阅读 · 0 评论 -
机器学习----逻辑回归 (Logistic Regression)算法原理及python实现
逻辑回归(Logistic regression) 与线性回归类似,但它是用于输出为二进制的情况(即,当结果只能有两个可能的值)。一般用于需要明确输出的场景,如某些事件的发生(预测是否会发生降雨)。通常,逻辑回归使用某种函数将概率值压缩到某一特定范围。对最终输出的预测是一个非线性的 S 型函数,称为 logistic function, g()。这个逻辑函数将中间结果值映射到结果变量 Y,其值范围从 0 到 1。然后,这些值可以解释为 Y 出现的概率。S 型逻辑函数的性质使得逻辑回归更适合用于分类任.原创 2020-08-05 22:13:53 · 2513 阅读 · 0 评论 -
机器学习----线性回归 (Linear Regression)算法原理及python实现
线性回归(Linear Regression) 可能是最流行的机器学习算法。线性回归就是要找一条直线,并且让这条直线尽可能地拟合散点图中的数据点。线性模型:给定由d个属性描述的示例,线性模型试图学得一个通过属性的线性组合来进行预测的函数。f(x) = wTx+b线性回归试图学得一个线性模型以尽可能准确的预测实值输出标记,公式:f(xi) = wxi + b,使得f(xi) ≈ yi我们的任务就是求出w和b,可用均方误差最小化的方法,基于均方误差最小化来进行模型求解的方法称为最小二乘法,在线性回.原创 2020-08-05 21:51:12 · 3396 阅读 · 2 评论