小猿取经

原创 prometheus报警图片

原创 02-详解url

02-详解url1 什么是url？url是统一资源定位符（Uniform Resource Locator的简写），对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。一个URL由以下几部分组成：scheme://host:port/path/?paramete...

原创 01_初识Flask

01-初识flask1 什么是flask?Flask 本是作者 Armin Ronacher在2010年4月1日的一个愚人节玩笑 ，不过后来大受欢迎，进而成为一个正式的python编写的web框架Flask是一个Python编写的Web 微框架，让我们可以使用Python语言快速实现一个网站或Web服务，在介绍Flask之前首先来聊下它和Django的联系以及区别，django个大而全的w...

原创 统计学

统计学统计学是数据分析的核心什么是数据数据是指不同的信息片段，不单单是指电子表格上的简单数字，从文本到视频再到电子表格，从数据库到图片再到音频利用数据是现如今世界走向成功的一种新途径，数据几乎可以用来理解还有改善生活的每个方面，从我们早期疾病监测到现在的社交网络，无论身处于哪个领域都可以利用数据做出更合理的决策并实现目标...

原创 实战练习

分析1880到2017年出生的美国婴儿姓名获取数据数据规整分析数据1、获取数据链接：https://pan.baidu.com/s/1wIyRZfgR7EjQ_KFP5-cnaA 提取码：g0zy 2、数据规整因为获取到的数据是根据出生年份分为了多个文件，其中文件内部的数据也是简单的通过逗号分隔而成的，所以需要规整一下：years = range(1880,2018...

原创 数据操作

六、数据操作本章学习内容：数据导入、存储数据处理数据操作最重要的一步也是第一步就是收集数据，而收集数据的方式有很多种，第一种就是我们已经将数据下载到了本地，在本地通过文件进行访问，第二种就是需要到网站的API处获取数据或者网页上爬取数据，还有一种可能就是你的公司里面有自己的数据库，直接访问数据库里面的数据进行分析。需要注意的是我们不仅需要将数据收集起来还要将不同格式的数据进行整理，最后...

原创 matplotlib

五、Matplotlib：绘图和可视化简介简单绘制线形图plot函数支持图类型保存图表1、简介Matplotlib是一个强大的Python绘图和数据可视化的工具包。数据可视化也是我们数据分析的最重要的工作之一，可以帮助我们完成很多操作，例如：找出异常值、必要的一些数据转换等。完成数据分析的最终结果也许就是做一个可交互的数据可视化。安装方式：pip install mat...

原创 Pandas

四、Pandas简介SeriesDataFrame时间对象处理数据分组和聚合其他常用方法1、简介pandas是一个强大的Python数据分析的工具包，它是基于Numpy构建的，正因pandas的出现，让Python语言也成为使用最广泛而且强大的数据分析环境之一。Pandas的主要功能：具备对其功能的数据结构DataFrame，Series集成时间序列功能提供丰富...

原创 Numpy

三、Numpy简介ndarray通用函数其他1、简介Numpy是高性能科学计算和数据分析的基础包。它也是pandas等其他数据分析的工具的基础，基本所有数据分析的包都用过它。NumPy为Python带来了真正的多维数组功能，并且提供了丰富的函数库处理这些数组。它将常用的数学函数都支持向量化运算，使得这些数学函数能够直接对数组进行操作，将本来需要在Python级别进行的循环，放到...

原创 开发环境部署

二、开发环境部署Anaconda下载安装配置环境变量管理包管理环境运行anaconda补充1、AnacondaAnaconda是Python的一个开源的发行版本，里面包含了很多科学计算相关的包，它和Python的关系就像linux系统中centos和Ubuntu的关系一样，不冲突，你可以同时在电脑上安装这两个东西。那至于为什么我已经在电脑上安装了pycharm还要安装这个A...

原创 数据分析介绍

一、数据分析介绍数据分析是什么?数据分析能干什么?为什么利用Python进行数据分析?数据分析过程概述常用库简介1、数据分析是什么在我们如今这个时代，相信大多数人都能明白数据的重要性，数据就是信息，而数据分析就是可以让我们发挥这些信息功能的重要手段。2、数据分析能干什么对于数据分析能干什么其实我们可以简单的举几个例子：1、淘宝可以观察用户的购买记录、搜索记录以及人们在社...

原创 C-02 推荐系统

文章目录推荐系统导入模块收集数据数据预处理无评分电影处理协同过滤算法-基于用户的推荐余弦相似度数据标准化处理预测测试推荐系统  目前推荐系统被应用于各个领域，例如淘宝的商品推荐、b站的视频推荐、网易云音乐的每日推荐等等，这些都是基于用于往日在平台的行为模式给用户推荐他们可能喜欢的商品、视频、音乐。  下面我们将以电影推荐系统举例，一步一步通过Python实现一个简单的电影推荐系统。  由...

原创 C-01 手写数字识别

文章目录手写数字识别应用程序导入模块图像转向量训练并测试模型模型转应用程序展示图片处理图片预测图片手写数字识别应用程序导入模块import osimport pylabimport numpy as npfrom PIL import Imageimport matplotlib.pyplot as pltfrom sklearn.svm import SVC%matplotl...

原创 线性代数-距离公式汇总

文章目录距离公式汇总欧式距离曼哈顿距离闵可夫斯基距离（Minkowski distance）距离公式汇总  假设nnn维空间中有两个点xix_ixi​和xjx_jxj​，其中xi=(xi(1),xi(2),⋯ ,xi(n))Tx_i = (x_i^{(1)},x_i^{(2)},\cdots,x_i^{(n)})^Txi​=(xi(1)​,xi(2)​,⋯,xi(n)​)T，xj=(xj(1)...

原创 线性代数-矩阵转置

文章目录矩阵转置矩阵转置  假设我们有一个矩阵w=123456789w=\begin{matrix}1&2&3 \\4&5&6 \\7&8&9 \\\end{matrix}w=147​258​369​  则矩阵的转置wT=147258369w^T=\begin{matrix}1&4&7 \\2&...

原创 线性代数-范数

文章目录范数Lp范数L0范数L1范数L2范数L∞范数范数Lp范数  ppp是一个变量，度量的是一组范数∣∣x∣∣p=∑i=1nxipp,x=x1,x2,…,xn||x||_p = \sqrt[p]{\sum_{i=1}^nx_i^p},\quad x={x_1,x_2,\ldots,x_n}∣∣x∣∣p​=pi=1∑n​xip​​,x=x1​,x2​,…,xn​L0范数  度量非零...

原创 微积分-sign(符号)函数

文章目录sign(符号)函数sign函数概述python实现sign函数sign(符号)函数sign函数概述  sign函数也称作符号函数，当x>0的时候y=1；当x=0的时候y=0；当x<0的时候y=-1。sign函数公式为y={1,x>00,x=0−1,x<0y = \begin{cases}1,\quad x>0 \\0,\quad x=0 \\...

原创 微积分-Sigmoid函数

文章目录Sigmoid函数Sigmoid函数详解Sigmoid函数Sigmoid函数详解# Sigmoid函数详解图例import numpy as npimport matplotlib.pyplot as pltax = plt.subplot(111)ax.spines['right'].set_color('none')ax.spines['top'].set_colo...

原创 经济学-基尼指数

文章目录基尼指数基尼指数简介基尼指数基尼指数简介  基尼指数（gini coefficient）代表了模型的不纯度，基尼指数越小，则不纯度越低；基尼指数越大，则不纯度越高，这和信息增益比是相反的。  假设一个训练集有KKK个类别，样本属于第kkk个类别的概率为pkp_kpk​，则它的基尼指数为G(p)=∑k=1Kpk(1−pk)=1−∑k=1Kpk2G(p) = \sum_{k=1}^...

原创 概率论-条件概率

文章目录条件概率条件概率简介条件概率推广条件概率条件概率简介  条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：p(A∣B)p(A|B)p(A∣B)，读作“在B的条件下A的概率”。若只有两个事件A，B，那么p(A∣B)=p(AB)p(B)p(A|B) = {\frac{p(AB)}{p(B)}}p(A∣B)=p(B)p(AB)​其中p(AB)p(AB)p(...

原创 概率论-熵和信息增益

文章目录熵和信息增益熵（Entropy）条件熵（Conditional Entropy）联合熵（Joint Entropy）相对熵（Relative Entropy）相对熵的性质交叉熵（Cross Entropy）相对熵、交叉熵和熵的关系信息增益（Information Gain）信息增益比（Information Gain Ratio）一张图带你看懂熵和信息增益熵和信息增益熵（Entropy...

原创 概率论-极大似然估计

文章目录极大似然估计最大似然原理极大似然估计似然函数极大似然函数估计值求解极大似然函数未知参数只有一个位置参数有多个总结极大似然估计最大似然原理极大似然估计  极大似然估计是建立在最大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知”。通过观察若干次实验的结果，利用实验结果得到某个参数值能够使样本出现的概率最大，则称为极大似然...

原创 概率论-常见的概率分布模型

文章目录常见的概率分布模型离散概率分布函数连续概率分布函数联合分布函数多项分布（Multinomial Distribution）多项分布简介多项分布公式解析伯努利分布（Bernoulli Distribution）伯努利分布简介伯努利分布的期望值和方差正态(高斯)分布（Normal(Gaussian) Distribution）正态分布的概率密度函数图像正态分布简介中心极限定理与正态分布泊松分布...

原创 概率论-贝叶斯决策

文章目录贝叶斯决策贝叶斯决策理论贝叶斯公式从条件概率公式推导贝叶斯公式从全概率公式推导贝叶斯公式贝叶斯公式应用贝叶斯决策贝叶斯决策理论  贝叶斯决策理论：在不完全情报下，对部分未知的状态用主观概率估计。贝叶斯公式从条件概率公式推导贝叶斯公式若果AAA和BBB相互独立，则有p(A,B)=p(A)p(B)p(A,B) = p(A)p(B)p(A,B)=p(A)p(B)，并有条件概率公式p...

原创 A-08 拉格朗日对偶性

文章目录拉格朗日对偶性原始问题约束最优化问题广义拉格朗日函数约束条件的考虑对偶问题原始问题和对偶问题的关系定理1推论1定理2定理3(KTT条件)拉格朗日对偶性  在约束最优化问题中，拉格朗日对偶性(Lagrange duality)可以将原始问题转换为对偶问题，然后通过求解对偶问题的解得到原始问题的解。原始问题约束最优化问题  假设f(x),ci(x),hj(x)f(x),c_i(x)...

原创 A-07 前向分步算法

文章目录前向分步算法前向分步算法引入前向分步算法详解加法模型加法模型目标函数优化问题前向分步算法流程输入输出流程前向分步算法前向分步算法引入  假设Nick的年龄是25岁。第1棵决策树把Nick的年龄设置成初始值0岁去学习，如果第1棵决策树预测Nick的年龄是12岁，即残差值为25−12=1325-12=1325−12=132. 第2课决策树1. 把Nick的年龄设置成残差值1...

原创 A-06 最小角回归法

文章目录最小角回归法举例最小角回归法优缺点优点缺点小结最小角回归法  最小角回归相当于前向选择法和前向梯度法的一个折中算法，简化了前项梯度法因ϵ\epsilonϵ的迭代过程，并在一定程度的保证了前向梯度法的精准度。  通常用最小角回归法解决线性模型的回归系数。对于一个有mmm个样本，每个样本有nnn个特征的训练集而言，假设可以拟合一个线性模型Y=ωTXY=\omega^TXY=ωTX，其中...

原创 A-05 前向选择法和前向梯度法

文章目录前向选择法和前向梯度法前向选择法余弦相似度求投影举例前向选择法优缺点优点缺点前向梯度法举例前向梯度法优缺点优点缺点前向选择法和前向梯度法  由于前向选择法和前向梯度法的实现原理涉及过多的矩阵运算，本文只给出两种算法的思路。两者实现都是把矩阵中的向量运算具体化成平面几何中的向量运算。前向选择法  前向选择法是一种典型的贪心算法。  通常用前向选择法解决线性模型的回归系数。对于一个...

原创 A-04 坐标轴下降法

文章目录坐标轴下降法坐标轴下降法流程坐标轴下降法和梯度下降法的异同坐标轴下降法  坐标轴下降法顾名思义，沿着坐标轴下降。坐标轴下降法和梯度下降法使用的都是迭代法，即使用启发式的方式一步一步迭代求解函数的最小值。  可以想象一个可微的凸函数J(ω)J(\omega)J(ω)，其中ω\omegaω是一个n∗1n*1n∗1维的向量。如果在这nnn维空间中存在着某一点ω‾\overline{\om...

原创 A-03 牛顿法和拟牛顿法

文章目录牛顿法和拟牛顿法牛顿法详解无约束最优化问题牛顿法迭代公式牛顿法和梯度下降法牛顿法流程输入输出流程拟牛顿法简介牛顿法和拟牛顿法  牛顿法(Newton method)和拟牛顿法(quasi-Newton method)和梯度下降法一样也是求解最优化问题的常用方法，但是他们的收敛速度比梯度下降法快。牛顿法是迭代算法，每一步都需要求目标函数的海森矩阵的逆矩阵，计算复杂；拟牛顿法通过正定矩阵...

原创 A-02 梯度下降法

文章目录梯度下降法梯度下降法详解梯度梯度下降法和梯度上升法梯度下降相关概念步长假设函数目标函数梯度下降法流程梯度下降法——代数法梯度下降法——矩阵法三种不同形式的梯度下降法批量梯度下降法随机梯度下降法小批量梯度下降法梯度下降法优缺点优点缺点梯度下降法  在求解机器学习算法模型参数的时候，梯度下降法（gradient descent）和最小二乘法（least squares）是最经常使用的方法...

原创 A-01 最小二乘法

文章目录最小二乘法最小二乘法——代数法最小二乘法——矩阵法最小二乘法优缺点优点缺点最小二乘法  最小二乘法，可以理解为最小平方和，即误差的最小平方和，在线性回归中，误差=真实值−预测值误差=真实值-预测值误差=真实值−预测值。最小二乘法的核心思想就是——通过最小化误差的平方和，使得拟合对象无限接近目标对象，最小二乘法一般解决线性问题。最小二乘法——代数法  假设线性回归的假设函数为Ka...

原创 09-01 Tensorflow1基本使用

文章目录Tensorflow基本使用确认安装Tensorflow获取MNIST数据集使用Tensorflow训练——Softmax回归使用Tensorflow训练——卷积神经网络构建网络组件定义网络结构训练模型使用Tensorflow进行可视化Tensorflow基本使用确认安装Tensorflowimport tensorflow as tfa = tf.constant(10)b ...

原创 08-08 细分构建机器学习应用程序的流程-模型优化

文章目录细分构建机器学习应用程序的流程-模型优化1.1 网格搜索法1.2 随机搜索法1.2.1 随机采样1.2.2 随机搜索法细分构建机器学习应用程序的流程-模型优化  通过数据收集、数据预处理、训练模型、测试模型上述四个步骤，一般可以得到一个不错的模型，但是一般得到的都是一个参数收敛的模型，然而我们模型还有超参数或不同的核函数等，如r的非线性支持向量机的bf核或linear核；rbf核的非线...

原创 08-07 细分构建机器学习应用程序的流程-测试模型

文章目录细分构建机器学习应用程序的流程-测试模型1.1 metrics评估指标1.2 测试回归模型1.2.1 r2_socre1.2.1 explained_variance_score1.3 测试分类模型1.3.1 准确度1.3.2 查准率1.3.3 查全率1.3.4 F1值1.3.5 ROC曲线1.3.6 AUC面积1.4 欠拟合和过拟合4.9.4 交叉验证4.9.4.1 简单交叉验证4.9....

原创 08-06 细分构建机器学习应用程序的流程-训练模型

文章目录细分构建机器学习应用程序的流程-训练模型1.1 训练回归模型1.1.1 Lasso回归1.1.2 弹性网络回归1.1.3 岭回归1.1.4 线性支持向量回归1.1.5 核支持向量回归1.1.6 决策树回归1.1.7 随机森林回归1.2 训练分类模型1.2.1 线性可分支持向量机1.2.2 KNN算法1.2.3 核支持向量机1.2.4 决策树分类1.2.5 随机森林分类1.3 训练聚类模型1...

原创 08-05 细分构建机器学习应用程序的流程-数据预处理

文章目录细分构建机器学习应用程序的流程-数据预处理1.1 缺失值处理1.1.1 删除缺失值4.6.1.2 填充缺失值1.2 异常值处理1.3 自定义数据类型编码1.4 通过sklearn对数据类型编码1.5 独热编码1.5.1 sklearn做独热编码1.5.2 pandas做独热编码1.6 数据标准化1.6.1 最小-最大标准化1.6.2 Z-score标准化1.7 二值化数据1.8 正则化数据...

原创 08-04 细分构建机器学习应用程序的流程-数据收集

文章目录细分构建机器学习应用程序的流程-数据收集1.1 通过sklearn生成随机数据1.1.1 make_classification()1.1.2 make_multilabel_classification()1.1.3 make_regression()1.1.4 make_blobs1.1.5 make_circles()1.1.6 make_moons1.2 skleran自带数据集1...

原创 08-03 细分构建机器学习应用程序的流程-流程简介

文章目录细分构建机器学习应用程序的流程-流程简介1.1 sklearn安装1.2 sklearn功能模块1.2.1 英文版本1.2.2 中文版本1.2.3 API统一的方法1.3 sklearn使用地图1.3.1 英文版本1.3.2 中文版本1.4 构建机器学习应用程序流程1.4.1 收集数据1.4.2 数据预处理1.4.3 训练模型1.4.4 测试模型1.4.4.1 metircs测试模型1.4...

原创 08-02 机器学习算法原理

文章目录机器学习算法原理1.1 感知机算法1.1.1 决策函数1.1.1.1 sign函数图像1.1.2 损失函数1.1.3 目标函数1.1.4 目标函数优化问题1.2 线性回归1.2.1 决策函数1.2.2 目标函数1.2.3 目标函数优化问题1.3 逻辑回归简介1.3.1 Sigmoid函数1.3.2 决策函数1.3.3 损失函数1.3.4 目标函数1.3.5 目标函数优化问题1.4 朴素贝叶...