2020 AI领学计划 | 人工智能如何从海量数据中挖掘规律 笔记

最新推荐文章于 2023-12-04 22:38:40 发布
最新推荐文章于 2023-12-04 22:38:40 发布
阅读量1.5k 收藏 3
点赞数 1
分类专栏： AI 文章标签： 神经网络 人工智能 机器学习 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/szm1234/article/details/107359732
版权

文章目录


AI

机器学习MACHINR LEARNING
深度学习DEEP LEARNING

神经网络基础-9步学习法
基础知识
线性回归
线性分类
非线性回归
非线性分类
模型推理与部署
深度神经网络
卷积神经网络
循环神经网络

回归与分类——基于神经网络的原理与实现

神经网络
在这里插入图片描述

回归——Regression

在这里插入图片描述

线性回归

在这里插入图片描述
左图只有一个神经元，X是输入，W是权重值，b是偏移值。经过 XW+b 计算出Z，Z是猜样本点X对应的Z值

不同的W b得到右图不同的直线，其中红色线拟合程度最好
在这里插入图片描述
反向传播公式中第一个公式，Loss对W求偏导，先对Z求导，然后Z对W求导，结果中为什么会有X的矩阵转置？
第三个公式叫做梯度更新，其中η是学习率，一般为0.1

经过成百上千次的循环，把W B的值调的非常精确，最终使得Loss的值达到最小

非线性回归

在这里插入图片描述
一层神经网络只能解决线性问题，对于非线性问题，需要多个神经网络。

右下角的曲线叫做眼镜蛇曲线

把输入层X的值分成三份，这是神经网络训练得到，这里是隐藏层，Z2是输出层。这里是两层的神经网络

隐藏层中a11 a12 a13称为激活函数，是非线性效果的关键，其计算公式如下
在这里插入图片描述
相较于线性回归，关键是往回怎么传，Loss->Z，Z->A1，A1->Z1，得到Z1的梯度后，才能求出W1和b1的梯度变化，所以我们要求ΔZ1，在这里插入图片描述，公式后面A1和（1-A1）这里是点乘，而不是矩阵乘法
在这里插入图片描述
先把x做了一个分解，w11，w12，b11，b12这四个参数都是学习出来的，分成两个值得到z1，z2

分成了一个红色的直线和一个绿色的直线

z1经过sigmoid激活函数变成a1
z2经过sigmoid激活函数变成a2，绿的点是z2

经过第二层神经网络的计算，变成蓝色曲线，也就是最后要得到的拟合曲线。

综上就是先做特征值分解，分成两个线，然后每个线都通过sigmoid激活函数变成非线性的，最后通过z=a1w11+a2w21+b

Decision Tree

有了深度学习为什么还要有机器学习？深度学习虽然很强大，但是容易在小的数据集产生过拟合，传统的机器学习表现得要比深度学习效果好
在这里插入图片描述
大部分用梯度下降法进行优化，树模型是一个离散的函数

DT模型划分到最后可以完全的分类，跟真实的标签完全一致，但是会产生严重的过拟合

机器学习都是训练都是使用的数据集，而实际应用中都是我们观测不到的数据，所以需要有泛化能力
在这里插入图片描述
决策树被提出，随机森林，上图中就是对于浣熊的试别通过多棵树进行测试

1、为什么要使用多棵树？
假如模型叫做一个函数F，把特征域映射到标签域
当die越大的时候，上下限越高，泛化能力越好
2、第一种技巧，对数据随机筛选，第二种技术，每棵树使用不一样的特征。
在这里插入图片描述
GBDT是一种累加模型，第一棵树和第二棵树相加的结果预测一个y
假设一个数据真实的标签为55，第一棵树拟合出来是32，第二棵树是55-32=23，其实就是第二个模型拟合前一个模型的残差，后面模型再拟合前面结果相加的残差。后面一棵树需要前面的树才能计算，精度高，但是花费时间长

改进的方法
原模型无限分裂的话很容易会过拟合，所以在原来的基础上加了一个 \gammaT，T其实就是个惩罚因子
同时提出二阶导，用增益去分裂，不用依赖前一个数

数据清洗

在这里插入图片描述
通过一些统计特征：
在这里插入图片描述

分类-Classification

在这里插入图片描述
在这里插入图片描述

二分类

一个神经元，两个输入x1 x2
x1是横坐标，x2是纵坐标，所谓的y在这里是红色和绿色
在这里插入图片描述
在这里插入图片描述
这里X是矩阵，B是向量
A不叫激活函数，神经网络只有在层和层之间才有激活函数，神经网络最后一层的这个叫做分类函数在这里插入图片描述，这里是分成两类的一个图象

多分类

在这里插入图片描述
因为输出有三类，所以要有z1 z2 z3三个神经元
线性多分类实质也就是计算概率问题
在这里插入图片描述

非线性分类

异或二分类

在这里插入图片描述
在这里插入图片描述

非线性多分类

在这里插入图片描述
在这里插入图片描述

“逛丢一只鞋”
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
人工智能-数据挖掘-数据挖掘中分类问题的研究.pdf
06-29
人工智能-数据挖掘-数据挖掘中分类问题的研究.pdf
我的AI进坑之路---深度学习和机器学习的一些基本概念
qq_20073741的博客
08-31 1万+
此文章只是用于个人总结，方便理解，引用不少别人的内容，如果侵犯到原作者的利益，请联系我删掉。如果有什么内容不对或者漏了什么重要内容，接受批评，会一直持续更新自己在深度学习遇到的概念问题，尽量让自己和其他人看懂 人工智能、机器学习，深度学习的关系 深度学习有监督学习、半监督学习和非监督学习的区分 、 监督学习可以做到“对于输入数据X能预测变量Y”，而非监督学习能做到的是“从数据...
快速幂-数字权重 （找规律）（2021-8-17））
hh的博客
08-18 245
数字权重 题目 小a有一个n位的数字，但是它忘了各个位上的数是什么，现在请你来确定各个位上的数字，满足以下条件： 设第i位的数为ai，其中a1为最高位，an为最低位，K为给定的数字请你求出满足条件的方案数 输入 两个整数N, K 若存在无解的情况，请输出0 输出 一个整数表示答案，对109 + 7取模 示例1 输入 2 3 输出 6 说明 满足条件的数有：14, 25, 36, 47, 58, 69 示例2 输入 2 -3 输出 7 说明 满足条件的数有：41, 52, 63, 74, 85, 96, 30
人工智能核心概念
Above the cloud
06-07 380
介绍人工智能核心、应用场景、发展阶段、实现方法、机器学习和深度学习的关系
漫画丨AI for Science这事，到底“科学不科学”？
weixin_39640818的博客
04-18 723
图文原创：谭婧无奖问答，这里有三道送分题。1.Science是什么？参考答案：科学。2.AI是什么？参考答案：人工智能。3.历史上哪三个物件影响人类科学发展？A.伽利略的铁球，B.牛顿的苹果，C.冯·诺依曼的现代电子计算机。参考答案：ABC。伽利略和牛顿奠定了“实验”和“理论”这两大科学方法的支柱，冯·诺依曼带来了“计算”。有位诺贝尔奖获得者说：当今，科学活动可分为三种...
做一件荒谬的事：用AI推理下一次双色球结果 v0.1
最新发布
weixin_41099712的博客
12-04 3797
使用历史双色球中奖数据去推导下一次中间结果。模型基于LSTM深度学习模型
人工智能神经网络就是用来找规律的
鸣志工作室
09-23 733
致谢：赵越人工智能AI开发课(Python+PyCharm+PyTorch)。 人人都能听懂的课，参见原视频课赵越人工智能AI开发课(Python+PyCharm+PyTorch)-学习视频教程-腾讯课堂 # coding=utf-8 import torch from torch import optim import numpy as np import pandas as pd import matplotlib.pyplot as plt from torch import nn # 解决中文乱.
人工智能算法怎样学习数据中的规律？
zy1992As的博客
07-10 223
我们可以建立这样的模型：y = wx + b，其中，w和b是未知的，调整w和b的值可以得到不同的映射规则。上面我们构造的函数，在人工智能算法里面叫损失函数，求损失函数的值最小时，可训练参数(w和b）的值的方法是梯度下降。x是模型的输，y是模型的输出，模型就是对输入转化为输出的计算。首先，我们先不管w和b取什么值，我们直接把输入代入模型，可以得到模型的输出值，我们称模型的输出为预测值。这时候我们求j这个函数的值最小的时候对应的w和b的取值，是不是就得到了我们需要找的最优的w和b的值?那我们怎么调整w和b呢?
电子商务应用课程知识整理 第六章-数据挖掘
weixin_45668903的博客
12-29 1254
一、概述 数据挖掘（Data Mining）：从大量数据中寻找其规律的技术，是统计学、数据库和人工智能等技术的综合，是从大量、不完全、有噪声、模糊、随机的实际应用数据中，提取隐含在其中、事先不知道、但有潜在的有用信息和知识的过程。 数据挖掘的四大核心任务：关联分析、分类与预测、聚类分析、异常检测。 二、关联分析 关联：某种事物发生时其他事物也会发生。 关联规则的表示形式 R：X→Y，其中，X和Y是两个不相交的项集，即X，Y⊂I 且X∩Y=Φ X称为规则的前提或前项，Y称为结果或后项 概念： 交易（事务
什么？四个方法就能发现数据规律？太厉害
liaozp88的博客
03-31 2924
发现数据的规律是数据分析和数据科学中非常重要的一个步骤。以下是一些常用的方法和技巧：统计描述：使用基本的统计工具（如均值、中位数、标准差、百分位数等）对数据进行描述和总结，以便了解数据的分布和趋势。数据可视化：将数据绘制成图表或图形，例如直方图、散点图、箱线图等，以便更清晰地展现数据的分布和趋势。可以使用Python中的Matplotlib、Seaborn或R中的ggplot2等可视化工具。
人工智能-数据挖掘-Hadoop海量数据挖掘在宽带客户信息推送系统中的应用研究.pdf
06-25
人工智能-数据挖掘-Hadoop海量数据挖掘在宽带客户信息推送系统中的应用研究.pdf
python AI人工智能,机器学习,深度学习,数据挖掘包含的内容.zip
01-07
python AI人工智能,机器学习,深度学习,数据挖掘包含的内容.zip
用商业案例学R语言数据挖掘-学习笔记.pdf
03-11
无论是从事产品研发的工程师，还是从事产品推广的市场人员、人力资源和财务会计人员，都需要掌握数据分析技术，否则很有可能被人工智能替代。 本书包括 18 章，涉及使用 R 语言做数据分析和数据挖掘的主要分析方法。...
Ai人工智能技术分享 知识图谱技术及应用介绍-海量语义数据处理与知识服务 共25页.pdf
07-09
海量语义数据处理计算策略 •并行计算（parallel computing) •分布式计算（distributed computing) •云计算（cloud computing） •启发式方法（Heuristic Approach） •组合式方法 （Configurable Approach )
AI的两大分支---基于规则推理的专家系统和基于概率的系统
"禅达牛车"的博客
05-04 2132
基于规则推理的专家系统 专家系统：也叫符号主义，基于规则推理，特别是没有数据集或数据量很少时，例如：金融风控领域 搭建专家系统的流程： 1.需要一批领域的专家，输出工作经验 2.需要知识工程师，将专家的经验转换成计算机可识别的形式编码专家经验，形成知识库 3.基于知识库，由算法工程师来编写推理引擎。 专家系统的特性： 1.处理不确定性 2.知识的表示 3.可解释性 4.可以做知识推理 知识的表...
台湾大学林轩田机器学习基石课程学习笔记16（完结） -- Three Learning Principles
热门推荐
红色石头的专栏
06-06 2万+
我的CSDN博客地址：红色石头的专栏 我的知乎主页：红色石头 我的微博：RedstoneWill的微博 我的GitHub：RedstoneWill的GitHub 我的微信公众号：红色石头的机器学习之路（ID：redstonewill） 欢迎大家关注我！共同学习，共同进步！ 上节课我们讲了一个机器学习很重要的工具——Validation。我们将整个训练集分成两...
【转】机器学习入门——浅谈神经网络
bitjoy的博客
01-05 2万+
【转】机器学习入门——浅谈神经网络 个人觉得很全，特别适合接触神经网络的新手。
中国AI方法影响越来越大，天大等从大量文献中挖掘AI发展规律
喜欢打酱油的老鸟
11-10 726
2020-11-05 14:34:46 机器之心发布 作者：姚汝婧、叶迎春、张吉、李书晓、吴偶 如何从学术文献中挖掘规律，甚至溯源文献的研究方法等？来自天津大学、之江实验室和中科院自动化所的研究者借鉴生化领域中分子标记示踪的思想，对文献正文中反映研究过程的信息进行示踪，挖掘出了方法的演化规律等更多有价值的信息。 将学术文献中蕴含的规律挖掘出来是非常有意义的。借鉴生化领域中分子标记示踪的思想，本文将 AI 文献中的方法、数据集和指标这三种同粒度的命名实体作为 AI 标记，对文献正文中反映研究过程的
提升数据分析效率，数据分析师必备的AI工具
haoshangwang的博客
08-23 250
最后一个是工具AI.城市ai.seitei.cn，这是一个实用的AI工具合集网站，汇集了数千款AI工具，总有一款适合你。虽然数据分析的工具千万种，综合起来万变不离其宗。第四个是Amnet Digital，借助数据驱动的洞察力和 AI 专业知识解决复杂的业务挑战，提供各个领域的专业服务，包括数据科学、数据工程、数据分析、高级商业智能和分析、数字化转型。第三个是Sloped，使用 AI 驱动的搜索工具 Sloped 简化你的数据分析，在通过将数据查询转换为可共享且易于阅读的仪表板，使你更容易理解数据。
数据挖掘和人工智能的算法通用吗
06-03
在一定程度上，数据挖掘和人工智能的算法是通用的，因为它们都使用了一些相似的算法和技术，如机器学习、深度学习、决策树、聚类等等。 例如，机器学习是一种用于训练模型的算法，可以用于数据挖掘和人工智能领域。在数据挖掘中，机器学习可以用于分类、聚类、预测等任务；在人工智能中，机器学习可以用于图像识别、语音识别、自然语言处理等任务。 同样地，深度学习也是一种广泛应用于数据挖掘和人工智能领域的算法，它可以用于图像识别、自然语言处理、语音识别等任务。 然而，虽然数据挖掘和人工智能的算法有很多相似之处，但也有一些区别。例如，在数据挖掘中，聚类算法通常用于将相似的数据点分组，而在人工智能中，聚类算法通常用于图像分割、目标检测等任务。 因此，虽然数据挖掘和人工智能的算法在一些方面可以通用，但在不同的应用场景中，需要根据具体的需求选择最适合的算法和技术。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值