机器学习
文章平均质量分 80
网络毒刘
因为同样的坑不想踩两次而写博客,
也同样为了社会更好的进步...
其实 Python 已经是一个很老的编程语言了,到现在(2019年) Python 已经高龄 28 岁,比很多程序员的年龄都大。现在之所以这么流行和社区、人工智能AI的日益发展,有很大的关系。
千里之行始于足下,还不开始学习 Python编程吗
个人公众号:网络毒刘
一名热爱分享技术的宝藏博主。
公众号回复1024,有免费教程分享。
展开
-
【好文收藏】【持续更新】今天你机器学习了吗
今天你机器学习了吗原创 2022-08-15 15:21:05 · 730 阅读 · 1 评论 -
【深度学习】Tensorflow完成线性回归对比机器学习LinearRegression()
首先构建一个线性的点状图import warningswarnings.filterwarnings('ignore')import numpy as npimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.linear_model import LinearRegressionimport tensorflow...原创 2019-12-09 22:01:43 · 929 阅读 · 0 评论 -
【机器学习】 LightGBM——优于XGBoost提升的集成算法(安装+对比XGBoost改进+参数说明+python代码实例)
中文官方文档:http://lightgbm.apachecn.org/cn/latest/Installation-Guide.html英文官方文档:https://lightgbm.readthedocs.io/en/latest/一、lightGBM安装在anaconda中输入:pip install lightGBM即可输入import lightgbm as lg...原创 2019-12-06 17:48:43 · 2209 阅读 · 0 评论 -
【机器学习】XGBoost集成算法——(理论+图解+python代码比较其他算法使用天池蒸汽数据)
一、集成算法思想二、XGBoost基本思想三、用python实现XGBoost算法在竞赛题中经常会用到XGBoost算法,用这个算法通常会使我们模型的准确率有一个较大的提升。既然它效果这么好,那么它从头到尾做了一件什么事呢?以及它是怎么样去做的呢?我们先来直观的理解一下什么是XGBoost。XGBoost算法是和决策树算法联系到一起的。XGBoost是boosting算法的其...原创 2019-12-06 17:15:34 · 2469 阅读 · 0 评论 -
【tensorflow】tensorflow -gpu安装及jupyter环境更改
tensorflow -gpu安装首先,安装Anoconda1. 官网下载点我:2.安装点击 python 3.6 version自动下载x64版,下载好之后,然后安装。如图,打上勾之后,一路next3.打开终端1)输入conda –-version 查看版本2)配置Python环境我装的是python3.5,你们可以根据情况自己选择conda create –n tens...原创 2019-12-06 15:30:16 · 999 阅读 · 0 评论 -
【机器学习】DBSCAN聚类算法—优于Kmean—(理论+图解+python代码)
一、前言二、DBSCAN聚类算法三、参数选择四、DBSCAN算法迭代可视化展示五、常用的评估方法:轮廓系数六、用Python实现DBSCAN聚类算法一、前言去年学聚类算法的R语言的时候,有层次聚类、系统聚类、K-means聚类、K中心聚类,最后呢,被DBSCAN聚类算法迷上了,为什么呢,首先它可以发现任何形状的簇,其次我认为它的理论也是比较简单易懂的。今年在python...原创 2019-12-06 16:43:39 · 2347 阅读 · 0 评论 -
【机器学习】K-Means(非监督学习)学习及实例使用其将图片压缩
非监督学习之k-meansK-means通常被称为劳埃德算法,这在数据聚类中是最经典的,也是相对容易理解的模型。算法执行的过程分为4个阶段。1、从数据中选择k个对象作为初始聚类中心;2、计算每个聚类对象到聚类中心的距离来划分;3、再次计算每个聚类中心4、2~3步for循环,直到达到最大迭代次数,则停止,否则,继续操作。5、确定最优的聚类中心欧氏距离:步骤图:K-Means主要最...原创 2019-12-04 18:04:12 · 299 阅读 · 0 评论 -
【机器学习】朴素贝叶斯介绍及实例--对短信进行二分类 使用多项式分布
贝叶斯首先什么是贝叶斯?一个例子,现分别有 A、B 两个容器,在容器 A 里分别有 7 个红球和 3 个白球,在容器 B 里有 1 个红球和 9个白球,现已知从这两个容器里任意抽出了一个球,且是红球,问这个红球是来自容器 A 的概率是多少? 假设已经抽出红球为事件 B,选中容器 A为事件 A,则有:P(B) = 8/20,P(A) = 1/2,P(B|A) = 7/10,按照公式,则有:...原创 2019-12-06 16:12:32 · 2097 阅读 · 0 评论 -
【机器学习】 关联规则Apriori和mlxtend——推荐算法
引入:啤酒与尿布的故事关联规律挖掘:从交易数据中发现:买了X 还会买Y 的规则关联规律挖掘‘购物篮分析’Market Basket Analysis(MBA)关联规律->应用于推荐系统1. 关联规则代码演示使用的是mlxtend.frequent_patterns.Apriori()import numpy as npimport pandas as pdfrom m...原创 2019-12-04 17:37:32 · 7802 阅读 · 0 评论 -
【机器学习】feature_importances_ 参数源码解析
在用sklearn的时候经常用到feature_importances_ 来做特征筛选,那这个属性到底是啥呢。分析源码发现来源于每个base_estimator的决策树的feature_importances_由此发现计算逻辑来源于cython文件,这个文件可以在其github上查看源代码而在DecisionTreeRegressor和DecisionTreeClassifier的...原创 2019-12-03 22:17:56 · 9594 阅读 · 0 评论 -
线性判别结合源码分析LDA原理
1. LDA的思想LDA线性判别分析也是一种经典的降维方法,LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括,就是“投影后类内方差最小,类间方差最大”。什么意思呢? 我们要将数据在低维度上进行投影,投影后希望每一种类别数据的投影点尽可能的接近,而不同类别的数据的类别中心之间的距离...原创 2019-12-03 21:26:43 · 215 阅读 · 0 评论 -
【机器学习】Bagging和Boosting的区别(面试准备)
Baggging 和Boosting都是模型融合的方法,可以将弱分类器融合之后形成一个强分类器,而且融合之后的效果会比最好的弱分类器更好。Bagging:先介绍Bagging方法:Bagging即套袋法,其算法过程如下: 从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本(在训练集中,有些样本可能被多次抽取到,而有些样本可能一次都没...原创 2019-11-28 22:27:39 · 568 阅读 · 0 评论 -
【数据分析】reshape(-1,1)和numpy的广播机制
在创建DataFrame的时候常常使用reshape来更改数据的列数和行数。reshape可以用于numpy库里的ndarray和array结构以及pandas库里面的DataFrame和Series结构。源数据reshape函数reshape(行,列)可以根据指定的数值将数据转换为特定的行数和列数,这个好理解,就是转换成矩阵。然而,在实际使用中,特别是在运用函...原创 2019-11-28 21:57:34 · 378 阅读 · 0 评论 -
【机器学习】六种算法在人脸补全中的应用比较(K紧邻,线性,决策树,岭回归,套索回归,ElasticNet)
需求:根据人的上半边脸预测下半边脸,用各种算法取得的结果与原图比较思考:这是一个回归问题,不是分类问题(人脸数据不固定) 数据集一共包含40个人,每一个人10张照片,分布规律每一个人取出8张照片作为训练数据,2张照片作为测试数据 样本特征和样本标签如何拆分?上半边脸作为样本特征,下半边脸作为特征标签————————————————人脸图像补全的方法用途及研究导包impor...原创 2019-11-28 19:56:49 · 1051 阅读 · 0 评论 -
【机器学习】逻辑斯蒂回归概率计算和手动计算对比
二分类,逻辑斯蒂回归概率计算import numpy as npfrom sklearn import datasetsfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitX,y = datasets.load_iris(True)...原创 2019-11-27 22:04:47 · 713 阅读 · 0 评论 -
【机器学习】总结:线性回归求解中梯度下降法与最小二乘法的比较
在线性回归算法求解中,常用的是最小二乘法与梯度下降法,其中梯度下降法是最小二乘法求解方法的优化,但这并不说明梯度下降法好于最小二乘法,实际应用过程中,二者各有特点,需结合实际案例具体分析。最后有两份最小二乘法和逻辑斯特推导方法1.最小二乘法求解线性回归线性回归的基本模型设定为:在此基础上构建代价函数:通过代价函数 求偏导并令其等于零,所得到 的即为模型参数的值:...原创 2019-11-27 21:24:19 · 1809 阅读 · 0 评论 -
【机器学习】逻辑斯蒂回归原理
逻辑斯蒂函数引入: 在线性感知器算法中,我们使用了一个f(x)=x函数,作为激励函数,而在逻辑斯蒂回归中,我们将会采用sigmoid函数作为激励函数,所以它被称为sigmoid回归也叫对数几率回归(logisticregression),需要注意的是,虽然它的名字中带有回归,但事实上它并不是一种回归算法,而是一种分类算法。它的优点是,它是直接对分类的可能性进行建模的,无需事先假设数据分布,这...原创 2019-11-27 21:07:23 · 1334 阅读 · 0 评论 -
【机器学习】岭回归
import numpy as npimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import mean_squared_error,r2_scorefrom sklearn impor...原创 2019-11-26 21:18:48 · 411 阅读 · 0 评论 -
【机器学习】回归误差:MSE、RMSE、MAE、R2、Adjusted R2 +方差、协方差、标准差(标准偏差/均方差)、均方误差、均方根误差(标准误差)、均方根解释
我们通常采用MSE、RMSE、MAE、R2来评价回归预测算法。1、均方误差:MSE(Mean Squared Error)其中,为测试集上真实值-预测值。def rms(y_test, y):return sp.mean((y_test - y) ** 2)2、均方根误差:RMSE(Root Mean Squard Error)可以看出,RMSE=sqrt(MS...原创 2019-11-26 21:10:22 · 24258 阅读 · 0 评论 -
【机器学习】自己手写实现线性回归,梯度下降 原理
导包import numpy as npimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.linear_model import LinearRegression创建数据X = np.linspace(2,10,20).reshape(-1,1)# f(x) = wx + by = np.random...原创 2019-11-26 19:28:29 · 866 阅读 · 0 评论 -
【机器学习】梯度下降原理
import numpy as npimport matplotlib.pyplot as plt%matplotlib inlinef = lambda x :(x-3)**2+2.5*x-7.5f2 = lambda x :-(x-3)**2+2.5*x-7.5求解导数 导数为0 取最小值x = np.linspace(-2,5,100)y = f(x)plt.plot(x...原创 2019-11-25 20:57:17 · 214 阅读 · 0 评论 -
欧式距离与曼哈顿距离
欧式距离,其实就是应用勾股定理计算两个点的直线距离二维空间的公式其中,为点与点之间的欧氏距离;为点到原点的欧氏距离。三维空间的公式n维空间的公式曼哈顿距离,就是表示两个点在标准坐标系上的绝对轴距之和:图中红线代表曼哈顿距离,绿色代表欧氏距离,也就是直线距离,而蓝色和黄色代表等价的曼哈顿距离。曼哈顿距离——两点在南北方向上的距离加上在...原创 2019-11-23 09:47:46 · 1371 阅读 · 0 评论 -
【机器学习】交叉验证筛选参数K值和weight
交叉验证import numpy as npfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn import datasets#model_selection :模型选择# cross_val_score: 交叉 ,validation:验证(测试)#交叉验证from sklearn.model_sele...原创 2019-11-21 22:13:15 · 1728 阅读 · 0 评论 -
【机器学习】熵、决策树、随机森林 总结
一、熵公式:−∑i=1np(xi)∗log2p(xi)-\sum_{i = 1}^{n}{p(xi)*log_2p(xi)}−i=1∑np(xi)∗log2p(xi)∑i=1np(xi)∗log21p(xi)\sum_{i=1}^{n}p(xi)*log_2\frac{1}{p(xi)}i=1∑np(xi)∗log2p(xi)1import numpy as np# 账号是...原创 2019-11-21 21:49:24 · 744 阅读 · 0 评论 -
【机器学习】sklearn实现---归类为5大类
sklearn实现---归类为5大类sklearn.preprocessing.scale()(最常用,易受异常值影响) sklearn.preprocessing.StandardScaler() sklearn.preprocessing.minmax_scale()(一般缩放到[0,1]之间,若新数据集最大最小值范围有变,需重新minmax_scale) sklearn.prepr...原创 2019-11-20 20:47:50 · 580 阅读 · 0 评论 -
Python的DataFrame切片大全(包含多重索引)
码字不易,喜欢请点赞!!!摘要这篇主要讲解如何对pandas的DataFrame进行切片,包括取某行、某列、某几行、某几列、以及多重索引的取数方法。• 选取行名、列名、值• 以标签(行、列的名字)为索引选择数据—— x.loc[行标签,列标签]• 以位置(第几行、第几列)为索引选择数据—— x.iloc[行位置,列位置]• 同时根据标签和位置选择数据——x.ix[行,列]• 选...原创 2019-11-19 11:23:38 · 5738 阅读 · 1 评论 -
【数据分析】豆瓣电影Top250爬取的数据的可视化分析
#!-*- coding:utf-8 -*-import pandas as pdimport numpy as npimport matplotlib.pylab as pltimport refrom numpy import rankfrom builtins import mapfrom datashape.coretypes import Map#http://www.j...原创 2019-11-15 10:10:59 · 20693 阅读 · 6 评论 -
【数据分析】苹果公司股票数据处理
import numpy as npimport pandas as pdfrom pandas import Series,DataFrameapp = pd.read_csv('./AAPL.csv')app.shape(9814, 7)app.head() Date Open High ...原创 2019-11-13 21:56:24 · 1581 阅读 · 0 评论 -
【数据分析】使用pandas和numpy分析美国大选献金项目
1. 数据载入与总览1.1 数据加载#绘图工具import matplotlib.pyplot as plt%matplotlib inline#数据处理工具import numpy as npimport pandas as pdfrom pandas import Series,DataFrame#数据路径自己指定,本案例数据路径就在当前文件夹下面子文件夹us...原创 2019-11-13 21:32:31 · 1011 阅读 · 0 评论 -
pandas读写各种类型数据
read_X()通常是pandas模块下的,to_X()是dataframe的方法CSV读取使用pandas.read_csv()方法,返回的是一个dataframecsv默认是以","分割的csv文件内容1、read_csv()默认以第一行数据作为标题2、调用dataframe的head()方法可以返回所有行数据,若传入一个n,则返回前n行数据。默认n...原创 2019-11-13 21:15:43 · 3355 阅读 · 0 评论 -
【numpy】20道numpy题目
1、创建一个长度为10的一维全为0的ndarray对象,然后让第5个元素等于1import numpy as npndarry =np.zeros(10)ndarryarray([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])ndarry[4]=1ndarryarray([0., 0., 0., 0., 1., 0., 0., 0., 0.,...原创 2019-11-07 20:25:25 · 16806 阅读 · 0 评论 -
【机器学习】opencv-摄像头中的人脸采集
本次在视频识别的程度上增添了摄像头实时识别,区别在于: # v = cv2.VideoCapture('./dzd2.mp4') v = cv2.VideoCapture(0) import numpy as npimport cv2face_detector = cv2.CascadeClassifier('./haarcascade_frontalface_...原创 2019-11-07 20:14:29 · 2137 阅读 · 0 评论 -
【机器学习】opencv-视频中的人脸检测
本次在图片识别的程度上增添了视频识别原理就是在图片的基础上进行操作 每毫秒进行下一帧的人脸解析识别,时间可自行设置import numpy as npimport cv2win = cv2.namedWindow('dzd',cv2.WINDOW_NORMAL)cv2.resizeWindow('dzd',640,200)rose = cv2.imread('./ros...原创 2019-11-07 20:11:55 · 535 阅读 · 0 评论 -
【机器学习】图片中的人脸识别
通过opencv三方库进行图片人脸识别face_zones中的参数可以自行调试,这三个data都可以用于人脸识别haarcascade_frontalface_default.xml haarcascade_frontalface_alt.xml haarcascade_frontalface_alt2.xmlimport numpy as npimport cv2i...原创 2019-11-07 20:07:29 · 856 阅读 · 0 评论 -
【机器学习】opencv-数据预处理
想要将收集好的数据s进行统一命名 数量整理就需要提前进行预处理import numpy as npimport osimport randomimport cv2# wuao文件名修改,1~10文件名filename = os.listdir('./faces/wuao/')for i,name in enumerate(filename): os.re...原创 2019-11-07 20:03:31 · 693 阅读 · 0 评论 -
【机器学习】opencv-人脸识别
一 . opencv是什么及其作用? OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法(百度百科)。 鉴于本人的工作环境主要是...原创 2019-11-07 19:57:59 · 515 阅读 · 1 评论 -
【spider】Tesseract机器视觉实现验证码识别
本文将重点介绍机器视觉的一个分支:文字识别,介绍如何用一些 Python库来识别和使用在线图片中的文字我们可以很轻松的阅读图片里的文字,但是机器阅读这些图片就会非常困难,利用这种人类用户可以正常读取但是大多数机器人都没法读取的图片,验证码 (CAPTCHA)就出现了将图像翻译成文字一般被称为光学文字识别(Optical Character Recognition, OCR)下载安装...原创 2019-10-31 19:20:08 · 379 阅读 · 0 评论