【人工智能AI】
文章平均质量分 60
介绍目前人工智能的发展
月疯
得到你最想要的东西,最保险的办法,那就是你能配得上你最想要的东西。机会是留给有准备的人,运气是留给有天赋的努力者。
展开
-
PML之多元回归
1、多元回归(Multiple Regression)多元回归就像线性回归一样,但是具有多个独立值,这意味着我们试图基于两个或多个变量来预测一个值。列子:car表示汽车类型,model表示模式,volume配置发动机的容量,weight汽车的重量,co2释放二氧化碳的量Car Model Volume Weight CO2 Toyota Aygo 1000 790 99 Mitsubishi Space Star 1200原创 2021-05-25 14:06:14 · 375 阅读 · 0 评论 -
PML之百分位数、数据分布、正态数据分布
1、什么是百分位数?示例:假设我们有一个街道上所有人口的年龄数组。ages = [5,31,43,48,50,41,7,11,15,39,80,82,32,2,8,6,25,36,27,61,31]什么是75.百分位数?答案是43,这意味着75%的人是43岁或以下。90%的人口年龄是多少岁?import numpyages = [5,31,43,48,50,41,7,11,15,39,80,82,32,2,8,6,25,36,27,61,31]x = numpy.perce原创 2021-05-25 12:36:28 · 1891 阅读 · 2 评论 -
独立热编码和向量化
向量化是将操作应用于整个数组或数据系列的过程,而不是逐个遍历每个元素。在Pandas中可以对整个列或Series执行操作,而无需编写显式循环。这种高效的方法利用了底层优化的库,使您的代码更快、更简洁。传统的基于循环的处理在许多编程场景中,可能需要对数据元素集合执行相同的操作,例如逐个添加两个数组或对数组的每个元素应用数学函数。一般都会使用循环一次迭代一个元素并执行操作。Output:使用NumPy进行向量化操作NumPy是一个流行的Python库,提供对向量化操作的支持。原创 2023-12-28 20:30:10 · 954 阅读 · 0 评论 -
PML之多项式拟合
多项式回归(Polynomial Regression)如果数据点不适合线性回归,我们就要考虑使用多项式回归import matplotlib.pyplot as pltx = [1,2,3,5,6,7,8,9,10,12,13,14,15,16,18,19,21,22]y = [100,90,80,60,60,55,60,65,70,70,75,76,78,79,90,99,99,100]plt.scatter(x, y)plt.show()绘制多项式拟合线:impor原创 2021-05-25 13:50:49 · 260 阅读 · 0 评论 -
SciPy 积分的计算
Scipy中的integrate模块提供了很多数值积分方法,例如,一重积分、二重积分、三重积分、多重积分、高斯积分等等。一重积分SciPy积分模块中,quad函数是一个重要函数,用于求一重积分。例如,在给定的a到b范围内,对函数f(x)求一重积分。∫abf(x)dx...原创 2021-06-20 16:18:25 · 3498 阅读 · 3 评论 -
PML之线性回归
线性回归:import matplotlib.pyplot as pltx = [5,7,8,7,2,17,2,9,4,11,12,9,6]y = [99,86,87,88,111,86,103,87,94,78,77,85,86]plt.scatter(x, y)plt.show()import matplotlib.pyplot as pltfrom scipy import statsx = [5,7,8,7,2,17,2,9,4,11,12,9,6]y = [99,原创 2021-05-25 13:39:41 · 217 阅读 · 0 评论 -
PML之平均 、中值 、众数、标准偏差、方差
NumPy模块为此提供了一种方法,可以计算平均、中值和众数1、平均值import numpy as npvalue=[2,4,6,14,34,88,98,17,47]#计算平均值mean=np.mean(value)print(mean)结果:34.444444444444442、中值#计算中值med=np.median(value)print(med)结果:17.03、众数import numpy as npfrom scipy impo原创 2021-05-25 12:12:01 · 1823 阅读 · 0 评论 -
机器学习介绍jc01
建模之前,先把数据分为三个部分:训练数据:(training data)用来训练数据验证集:(Validation data)训练阶段,用来验证模型的好坏测试集:(test data)等模型训练好之后,再来测试模型的好坏机器学习的学习方式:监督学习:带有标签的数据集,就是监督学习无监督学习:就是没有标签(用来做聚类【高斯混合聚类】)半监督学习:监督学习和无监督学习的一种组合,少量带标签的监督学习和大量无标签的无监督学习,进行训练和分类。主要会用到监督学习和无监督学习。原创 2021-06-25 20:16:50 · 535 阅读 · 0 评论 -
PML决策树
决策树(Decision Tree):决策树使用之前的决策来计算是否愿意去看喜剧演员的几率。age表示年龄,Experience表示演员的经验,Rank表示演员的排名,Nationality表示演员所在的国家,Go表示是否应该去看Age Experience Rank Nationality Go 36 10 9 UK NO 42 12 4 USA NO 23 4 6 N NO 52原创 2021-05-25 16:51:34 · 256 阅读 · 1 评论 -
torch的max,sqeeze,unsqueeze,permute,cat,view测试
【代码】torch的max,sqeeze,unsqueeze,permute,cat,view测试。原创 2024-03-08 19:13:35 · 132 阅读 · 0 评论 -
编程线性回归梯度下降法demo
【代码】编程线性回归梯度下降法demo。原创 2024-03-01 12:13:21 · 238 阅读 · 0 评论 -
pytorch简单新型模型测试参数
【代码】pytorch简单新型模型测试参数。原创 2024-02-22 01:44:52 · 269 阅读 · 0 评论 -
tensorboard的用法
tensorboard --logdir=httdemo/logs --port=6007#自己制定显示的端口号。# 功能:添加 matplotlib 图片到图像中。# 功能:图像中绘制 Box,目标检测中会用到。# 功能:从原始数据上绘制 PR 曲线。# 功能:记录 video。# 功能:绘制 PR 曲线。原创 2024-02-21 20:43:52 · 461 阅读 · 0 评论 -
Keras的三种建模方式
binary_crossentropy #二值交叉熵(二分类,逻辑回归)categorical_crossentropy #交叉熵(多分类)mae #绝对误差(回归)mse #均方差(回归)原创 2024-02-21 12:30:09 · 240 阅读 · 0 评论 -
pytorch建模的三种方式
3,继承nn.Module基类构建模型并辅助应用模型容器进行封装(nn.Sequential,nn.ModuleList,nn.ModuleDict)。# 二、使用nn.Sequential按层顺序构建模型 # 利用add_module方法。# 三、继承nn.Module基类构建模型并辅助应用模型容器进行封装。# 2,使用nn.Sequential按层顺序构建模型。# 1,继承nn.Module基类构建自定义模型。# 一、继承nn.Module基类构建自定义模型。原创 2024-02-21 01:15:52 · 416 阅读 · 0 评论 -
model.train()和model.eval()两种模式的原理
在 model(test) 之前,需要加上model.eval(),否则的话,有输入数据,即使不训练,它也会改变权值。model.eval() 是保证 BN 层能够用 全部训练数据 的均值和方差,即测试过程中要保证 BN 层的均值和方差不变。eval() 在非训练的时候是需要加的,没有这句代码,一些网络层的值会发生变动,不会固定,你神经网络每一次生成的结果也是不固定的,生成质量可能好也可能不好。eval() 时,pytorch 会自动把 BN 和 DropOut 固定住,不会取平均,而是用训练好的值。原创 2024-02-19 23:50:13 · 535 阅读 · 0 评论 -
神经网络的一些常规概念
当然,选择太小也不行,会浪费计算,时间成本高啊;学习率是步长超参数,人为选择,选择学习率时,步子太大即选择数值太大会反复横跳,步子太小会走得很慢浪费计算上面我们是用线性回归做预测函数的,实际情况中房价不仅与面积,还与城市、地段、政策等相关,那么预测函数就会是非线性甚至是曲面多维的各种复杂函数,对应的损失函数也可能是更复杂的,如。因为我们的目标是拟合出最接近这些数据分布的直线,也就是找到使得误差代价最小的参数w,对应在右图的损失函数图像上就是它的最低点,这个不断寻找最低点的过程就是梯度下降要干的活。原创 2024-01-31 20:31:10 · 1172 阅读 · 0 评论 -
关于谷歌Gemini大模型
2023年12月7日,谷歌AI宣布发布新一代基于Transformer架构的大模型Gemini。Gemini的名字来源于双子座,象征着模型的双重性质:一方面,它是一个强大的训练模型,可以在各种下游任务上进行微调,如文本摘要、机器翻译、问答、对话等;另一方面,它也是一个创造性的模型,可以根据用户的输入生成有趣和有用的内容,如诗歌、故事、代码、博客等。原创 2024-01-06 19:08:25 · 1066 阅读 · 0 评论 -
准确率、召回率、F1是如何确定的
其中,真实为正例且被预测为正例的样本数为真正例(True Positive, TP),真实为负例但被误预测为正例的样本数为假正例(False Positive, FP),真实为负例且被预测为负例的样本数为真负例(True Negative, TN),真实为正例但被误预测为负例的样本数为假负例(False Negative, FN)。现在以捕鲤鱼为目的。撒一大网,逮着了700条鲤鱼,200只虾,100只鳖。= 正确率 * 召回率 * 2 / (正确率 + 召回率) (F 值即为正确率和召回率的调和平均值)原创 2023-12-23 18:43:21 · 3933 阅读 · 0 评论 -
ModuleNotFoundError: No module named ‘tensorflow‘
直接运行pip install tensorflow安装成功之后,发现版本是tensorflow2.15.0python的版本是3.9版本导入包:import tensorflow打包xxx.exe,调用之后提示错误最后发现特定的python的版本对应特定的tensorflow的版本,以下是官方的测试版本。原创 2023-12-22 10:15:51 · 978 阅读 · 0 评论 -
sklearn多项式回归和线性回归
n_jobs:整数或者None,可不填,默认为None,用于计算的作业数。其中,线性(Linear)、正态性(Normal)、独立性(independence)、方差齐性(Equal Variance),俗称LINE,是线性回归分析的四大基本前提条件。copy_X:布尔值,可不填,默认为True,如果为真,将在X.copy()上进行操作,否则的话原本的特征矩阵X可能被线性回归影响并覆盖。现在有(a,b)两个特征,使用degree=2的二次多项式则为(1,a, a^2, ab, b ,b^2)。原创 2023-12-20 20:44:45 · 1246 阅读 · 0 评论 -
sklearn和tensorflow的理解
深度神经网络(DNN)是一种多层无监督神经网络,并且将上一层的输出特征作为下一层的输入进行特征学习,通过逐层特征映射后,将现有空间样本的特征映射到另一个特征空间,以此来学习对现有输入具有更好的特征表达。每一层之前是完全连接的,整体上看是复杂的,但从局部来看,实质上还是感知机模型。,比如选择特征、压缩维度、转换格式,是传统机器学习库,SKLearn中,因为做了上层的封装,分类模型、回归模型、聚类与降维模型、预处理器等等都叫做估计器(estimator)的训练机制,而不是采用传统神经网络的。原创 2023-12-20 02:40:15 · 1017 阅读 · 0 评论 -
Keras使用sklearn中的交叉验证和网格搜索
事实上,Keras力求极简主义,只专注于快速、简单地定义和构建深度学习模型所需要的内容。在机器学习中,可以通过算法自动调优这些配置参数,在这里将通过Keras的包装类,借助scikit-learn的网格搜索算法评估神经网络模型的不同配置,并找到最佳评估性能的参数组合。creat_model()函数被定义为具有两个默认值的参数(optimizer和init)的函数,创建模型后,定义要搜索的参数的数值数组,包括优化器(optimizer)、权重初始化方案(init)、epochs和batch_size。原创 2023-12-20 01:51:34 · 799 阅读 · 0 评论 -
Flask的一个重要项目,查询数据库
【代码】Flask的一个重要项目,查询数据库。原创 2023-12-18 15:22:32 · 458 阅读 · 0 评论 -
最大似然估计通俗理解小记
那么我抽到男生A(的身高)的概率是p(xA|θ),抽到男生B的概率是p(xB|θ),那因为他们是独立的,所以很明显,我同时抽到男生A和男生B的概率是p(xA|θ)* p(xB|θ),同理,我同时抽到这100个男生的概率就是他们各自概率的乘积了。现在我们知道了,要求θ,只需要使θ的似然函数L(θ)极大化,然后极大值对应的θ就是我们的估计。当然是求L(θ)对所有参数的偏导数,也就是梯度了,那么n个未知的参数,就有n个方程,方程组的解就是似然函数的极值点了,当然就得到这n个参数了。这里出现了一个概念,似然函数。原创 2023-12-17 19:50:50 · 863 阅读 · 0 评论 -
scipy的插值函数
interp1d 允许通过参数 bounds_error、fill_value 设置外推时的边界值,但这并不是进行外推插值。插值是在直线或曲线上的两点之间找到值的过程。,可以指定使用的样条曲线的种类或插值方法。通过设置 interp1d 类的参数。原创 2023-06-26 18:54:17 · 672 阅读 · 0 评论 -
Scipy之傅里叶和DCT
离散余弦变换(DCT)是对实信号定义的一种变换,变换后在频域中得到的也是一个实信号,相比离散傅里叶变换DFT而言, DCT可以减少一半以上的计算。采样时,数据采样了T秒(T = 采样点数N / 采样频率Fs),信号的成分中周期最大也就是T秒,最低频率即“基频”就等于。假设a是时域中的周期信号,采样频率为Fs,采样点数为N。由于许多要处理的信号都是实信号,在使用FFT时,对于实信号,傅立叶变换的共轭对称性导致在频域中有一半的数据冗余。通常一个波形由振幅,相位,频率三个变量确定。,各个谐波的频率就是。原创 2023-06-25 18:59:01 · 695 阅读 · 0 评论 -
BaseLine and find_peak
寻峰和处理baseline原创 2023-06-09 18:31:53 · 272 阅读 · 0 评论 -
PyEMD算法解析
(N. E. Huang)在美国国家宇航局与其他人于1998年创造性地提出的一种新型自适应信号时频处理方法,特别适用于非线性非平稳信号的分析处理。用原信号减去平均包络线即为所获得的新信号,若新信号中还存在负的局部极大值和正的局部极小值,说明这还不是一个本征模函数,需要继续进行“筛选”。(Empirical Mode Decomposition,缩写EMD)是由。这一步是EMD的核心步骤,也是分解出本征模函数IMFs的前提。获取本征模函数(IMF)原创 2023-06-08 11:44:54 · 852 阅读 · 0 评论 -
解决pychram的pip无法下载第三方库
装了系统,重新装了pycharm,但是出现问题,pip无法更新第三方库的问题。亲测可用!原创 2023-05-18 12:56:03 · 240 阅读 · 0 评论 -
协方差以及PCA
PAC的过程介绍原创 2023-02-17 14:54:54 · 1536 阅读 · 0 评论 -
sklearn的决策树和随即森林的demo
sklearn的的一个小demo,但是比较经典和好理解,所以就记录下来原创 2022-08-20 19:47:47 · 680 阅读 · 1 评论 -
支持向量机之超平面理解
支持向量机(SVM,也叫支持向量网络),是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。是由Vapnik与同事(Boser等,1992;Guyon等,1993;Vapnik等,1997)在AT&T贝尔实验室开发。支持向量机是基于统计学习框架与由Chervonenkis(1974)和Vapnik(1982,1995)提出Vapnik–Chervonenkis理论上的最强大的预测方法之一。给定一组训练实例,每个训练实例被标记为属于两个类别中的一个或另一个,SVM训练算法创建一个将新的实例分配给两.原创 2022-05-04 23:06:59 · 2407 阅读 · 0 评论 -
python打包文件提示错误
ModuleNotFoundError: No module named 'numpy.distutils'-------------如何解决?添加:import numpy.distutils又出现错误:ImportError: cannot import name 'ccompiler' from partially initialized module 'numpy.distutils' (most likely due to a circular import) (C.原创 2022-01-13 05:45:59 · 1480 阅读 · 1 评论 -
sklearn搭建线性模型的总结
1、获取数据分析数据先用flask请求mysql数据库,从数据库获取数据,并保存到csv文件去读数据库数据from flask import Flask,Response, jsonfrom flask_sqlalchemy import SQLAlchemyfrom flask import jsonifyfrom MyEncoder import MyEncoderfrom DateEncoder import DateEncoderimport csvapp = F.原创 2021-12-20 18:48:00 · 1303 阅读 · 0 评论 -
隐马尔可夫模型(HMM)****
1、cikit-learn 0.17之后就不再支持隐马尔可夫模型,而是将其独立拎出来作为单独的包。其中:hmmlearn:无监督隐马尔可夫模型seqlearn :监督隐马尔可夫模型2、一些通用的参数:verbose:一个正数。用于开启/关闭迭代中间输出日志功能。数值越大,则日志越详细。 数值为0或者None,表示关闭日志输出。tol:一个浮点数,指定收敛的阈值。random_state:一个整数或者一个RandomState实例,或者None。如果为整数,则它指定了随机数生成器的种原创 2021-07-01 19:39:15 · 1517 阅读 · 0 评论 -
pytorch之过拟合的处理(Dropout)(笔记五)
使用Dropout解决过拟合的情况发生修改代码import numpy as npimport torchfrom torch import nn,optimfrom torch.autograd import Variablefrom torchvision import datasets,transformsfrom torch.utils.data import DataLoader#训练集train_dataset=datasets.MNIST(root='....原创 2021-05-08 18:10:38 · 2700 阅读 · 0 评论 -
pytorch之交叉熵(笔记四)
师傅说过一句话:线性回归用二次代价函数,分类使用交叉熵。通过一个例子观察一下:通过观察发现,输入是0.82的比输入是0.98的收敛的更快,为什么呢?为我们通过sigmod函数观察一下。原因是在0.98的时候收敛的比较平缓,因为斜率比较小,0.82的时候斜率大,收敛的就比较快。交叉熵的概念交叉熵和二次代价函数对比。二次代价函数:代码请参考(我的博客pytorch之mnist手写数字识别(笔记三)):https://mp.csdn.net/editor/html/11..原创 2021-05-08 09:58:25 · 311 阅读 · 2 评论 -
机器学习场景案例
几十年来,机器学习(ML)在研究领域中的作用远远超过了主动实施的程度。然而,近年来,其采用率显着上升。通常被描述为艺术和科学的一部分,该技术几乎为每个行业提供了大量的应用程序。从网上购物到防疫,几乎没有任何现代领域可以通过明智地使用算法来优化。尽管仍处于早期阶段,但该技术已经为拥护它的人们带来了实实在在的收益。普华永道最近的一份报告得出结论,在未来几十年中,人工智能将成为企业和国家最大的商业机会。麦肯锡(McKinsey)在2018年进行的一项全球在线调查发现,有78%的受访者表示在...翻译 2021-04-30 02:40:21 · 1674 阅读 · 0 评论 -
sklearn学习总结
参考地址:https://www.huaweicloud.com/articles/93b502c692cb89a70681d28cf500475c.htmlSklearn (全称 Scikit-Learn) 是基于 Python 语言的机器学习工具。它建立在 NumPy, SciPy, Pandas 和 Matplotlib 之上。Sklearn 里面有六大任务模块:分别是分类、回归、聚类、降维、模型选择和预处理要使用上述六大模块的方法,可以用以下的伪代码(通用伪代码):分类 (Cla..转载 2021-04-28 18:58:45 · 1417 阅读 · 0 评论