- 博客(1023)
- 资源 (45)
- 收藏
- 关注
RSS订阅原创 （2023版）斯坦福CS231n学习笔记：DL与CV教程 (8) | 循环神经网络RNN
RNN 在架构设计方面具有很大的灵活性；Vanilla RNNs 虽然简单，但效果不佳；常见的是使用 LSTM 或 GRU：它们的相加相互作用改善梯度流RNN 中的梯度后向流动可以爆炸或消失。爆炸是通过梯度剪切来控制的。消失通过加性相互作用来控制（LSTM）更好/更简单的架构是当前研究的热门话题、以及序列推理的新范式需要更好的理解（理论和经验）。
2024-01-16 14:21:42
125
原创 一文读懂「LLM，Large Language Model」大语言模型
概念大语言模型是一种建立在 Transformer 架构上的大规模神经网络程序，其功能主要是理解和处理各种语言文字。这种模型的优势在于，其能够在多种任务中实现通用学习，无须对特定语言文字进行大量定制，是目前人类世界中第一个通用的人工智能模型。当我们讨论大语言模型时，主要是关注如何让计算机能够理解和生成人类语言。简单来说，大语言模型是一种算法，其目标是理解语言的规则和结构，然后应用这些规则和结构生成有意义的文本。这就像让计算机学会了“文字表达”。
2024-01-16 01:18:36
872
原创 一文读懂「AIGC，AI Generated Content」AI生成内容
AIGC要素：算力 + 算法+ 数据AIGC发展重点AIGC产业链路AIGC未来方向。
2024-01-15 19:09:11
1218
原创 （2023版）斯坦福CS231n学习笔记：DL与CV教程 (7) | 神经网络训练技巧
1. 初始化：激活函数选择、数据预处理、权重初始化、正则化、梯度检查2. 训练动态：监控学习过程、参数更新、超参数优化3. 模型评估：模型集成（model ensembles）、测试、扩增、迁移学习
2024-01-15 10:55:21
213
原创 （2023版）斯坦福CS231n学习笔记：DL与CV教程 (5&6) | 卷积神经网络
本章（lecture5）花了很大篇幅介绍了卷积网络发展进程和基础的一些信息，这里不做详细记录，感兴趣可以直接看PPT！我们直接结合第五节的部分内容进入卷积神经网络部分Lecture6。
2024-01-14 15:54:40
472
原创 （2023版）斯坦福CS231n学习笔记：DL与CV教程 (4) | 神经网络与反向传播
类比人类大脑神经元结构：输入、权重、激活函数、计算、输出；大脑的基本计算单位是神经元（neuron）。人类的神经系统中大约有 860 亿个神经元，它们被大约 1014 - 1015 个突触（synapses）连接起来。上方是一个生物学的神经元，下方是一个简化的常用数学模型。每个神经元都从它的树突（dendrites）获得输入信号，然后沿着它唯一的轴突（axon） 产生输出信号。轴突在末端会逐渐分枝，通过突触和其他神经元的树突相连。
2024-01-13 11:43:16
274
原创 （2023版）斯坦福CS231n学习笔记：DL与CV教程 (3) | 正则化与最优化
上面两种情况都可以看出，Adagrad, Adadelta, RMSprop 几乎很快就找到了正确的方向并前进，收敛速度也相当快，而其它方法要么很慢，要么走了很多弯路才找到。由图可知自适应学习率方法即 Adagrad, Adadelta, RMSprop, Adam 在这种情景下会更合适而且收敛性更好。如果数据是稀疏的，就用自适用方法，即 Adagrad, Adadelta, RMSprop, Adam。RMSprop, Adadelta, Adam 在很多情况下的效果是相似的。
2024-01-13 11:41:36
380
原创 （2023版）斯坦福CS231n学习笔记：DL与CV教程 (2) | 图像分类与损失函数
KNN 模型中训练过程中没有使用任何参数，只是单纯的把训练数据存储起来（参数 k 是在预测中使用的，找出k个接近的图片，然后找出标签最多的，并且k是超参数，是人为设定的）。与之相对的是参数模型，参数模型往往会在训练完成后得到一组参数，之后就可以完全扔掉训练数据，预测的时候只需和这组参数做某种运算，即可根据运算结果做出判断。线性分类器是参数模型里最简单的一种，但却是神经网络里很重要的基础模块。① 评分函数（score function）：原始图像数据到类别分值的映射。
2024-01-12 12:22:11
716
原创 （2023版）斯坦福CS231n学习笔记：DL与CV教程 (1) | 引言与知识基础
CS231n 是顶级院校斯坦福出品的深度学习与计算机视觉方向专业课程，核心内容覆盖神经网络、CNN、图像识别、RNN、神经网络训练、注意力机制、生成模型、目标检测、图像分割等内容。课程最后一版公开课视频为2017版，但是课程PPT最新的已经更新到2023版，见「2023最新CS231NPPT」，此外，需要关注进阶技术内容的同学可以看一下「密歇根EECS498：深度学习与计算机视觉课程（2019）16世纪最早的相机：暗箱。
2024-01-12 12:20:32
773
原创 一文读懂「Prompt Engineering」提示词工程 基础版
提示工程（Prompt Engingering），也被称为上下文提示（In-Context Prompting），指的是通过结构化文本等方式来完善提示词，引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下，让LLM完成不同类型的任务。其主要依赖于经验，而且提示词工程方法的效果在不同的模型中可能会有很大的差异，因此需要大量的实验和探索。提示工程旨在获取这些提示并帮助模型在其输出中实现高准确度和相关性，掌握提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。
2024-01-10 17:46:45
11475
原创 一文读懂「Chain of Thought，CoT」思维链
Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，对于复杂问题尤其是复杂的数学题大模型很难直接给出正确答案。如算术推理（arithmetic reasoning）、常识推理（commonsense reasoning）、符号推理（symbolic reasoning）。COT通过要求模型在输出最终答案之前，显式输出中间逐步的推理步骤这一方法来增强大模型的算数、常识和推理能力。简单，但有效。2022 年，在 Google 发布的论文。
2024-01-10 13:42:21
15346
原创 第十周：AI应用产品体验
由于转AI的过程是一个时间相对比较紧的任务，所以从一开始准备就需要陆续体验一些AI技术落地的应用产品，结合技术和产品以及市场情况对AI技术细节和应用落地情况有更加深入的了解。宏观的看一下各行业的典型代表作，以及国外和国内的AI代表性企业的产品输出情况。and 这是一个陆陆续续积累的过程~
2024-01-09 09:21:57
293
原创 一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
2024-01-09 07:06:15
3191
原创 一文读懂「Attention」注意力机制
Attention（注意力）机制如果浅层的理解，核心逻辑就是**「从关注全部到关注重点」**。Attention 机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。视觉系统就是一种Attention机制，将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。销售在销售东西的时候，不同角色关注到的重点不一样。
2024-01-08 15:12:21
771
原创 一文读懂「Transformer」算法模型
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。
2024-01-08 14:58:23
1217
原创 一文读懂「Diffusion Model，DM」扩散模型
扩散模型是一种特殊的VAE，其灵感来自于热力学：一个分布可以通过不断地添加噪声变成另一个分布。放到图像生成任务里，就是来自训练集的图像可以通过不断添加噪声变成符合标准正态分布的图像。从这个角度出发，我们可以对VAE做以下修改：1）不再训练一个可学习的编码器，而是把编码过程固定成不断添加噪声的过程；2）不再把图像压缩成更短的向量，而是自始至终都对一个等大的图像做操作。解码器依然是一个可学习的神经网络，它的目的也同样是实现编码的逆操作。不过，既然现在编码过程变成了加噪，那么解码器就应该负责去噪。
2024-01-07 23:55:23
870
原创 一文读懂「ChatGPT，Chat Generative Pre-trained Transformer」基于GPT的聊天机器人
ChatGPT是一种基于人工智能技术的自然语言处理NLP系统，它由OpenAI开发。GPT是Generative Pre-trained Transformer的缩写，是一种使用基于Transformer模型的预训练语言模型，通过对大规模语言数据的预训练和微调来实现自然语言的理解和生成。ChatGPT是GPT模型的一种应用，旨在实现智能化的对话交互。它可以通过处理大量的语言数据，实现对人类语言的理解和生成，从而实现智能化的对话交互。
2024-01-07 23:49:10
831
原创 一文读懂「BERT，Bidirectional Encoder Representations from Transformers」原理
BERT是一种预训练语言模型（pre-trained language model, PLM），全称是Bidirectional Encoder Representations from Transformers。它在问答 (SQuAD v1.1)、自然语言推理 (MNLI) 等各种 NLP 任务中展都超越了目前最先进的结果。BERT 的关键技术创新是将流行的注意力模型 Transformer 的双向训练应用于语言建模。论文的结果表明，双向训练的语言模型比单向语言模型可以更深入地感知语言上下文环境。
2024-01-06 15:00:17
748
原创 吴恩达DeepLearning 2023学习目录
这个算法将帮助你的模型理解，在给出一系列的输入时，它应该把注意力放在什么地方。这种类型的模型已经被证明在时间数据上表现非常好，它有几个变体，包括 LSTM、GRU 和双向神经网络，本周的课程中也都包括这些内容。使用词向量表示和嵌入层，可以训练在各种行业中表现出色的循环神经网络。理解深度学习中的关键计算，使用它们搭建并训练深层神经网络，并应用在计算机视觉中。学习驱动神经网络兴起的主要技术趋势，了解现今深度学习在哪里应用、如何应用。学习如何用神经网络的思维模式提出机器学习问题、如何使用向量化加速你的模型。
2024-01-05 13:48:12
974
原创 一文读懂「LLM的幻觉/涌现」问题
1、幻觉定义大模型生成看似合理的内容，其实这些内容是不正确的或者是与输入Prompt无关，甚至是有冲突的现象，即生成与用户输入不符、与先前生成的内容矛盾或与已知世界知识不符的内容。2、幻觉类型输入冲突幻觉Input-conflicting：生成的内容与用户提供的输入不符；输入冲突幻觉指的是LLM生成的内容与用户提供的源输入（①任务指示：例如用户对摘要的提示和②任务输入：例如需要摘要的文档）不一致。当LLM生成的内容偏离用户的输入时，就会出现这种幻觉。
2024-01-05 07:54:51
2053
原创 2023春季李宏毅机器学习笔记 05 ：机器如何生成图像
Text Encoder将文字叙述转化为多个向量；Generation Model，输入噪音和text Encoder生成的向量，生成一个中间产物（中间产物有不同的形式）把中间产物（图中的中间产物是图片的压缩版本）输入Decoder，将图片还原为原始图像。
2024-01-04 11:06:30
1577
原创 2023春季李宏毅机器学习笔记 04 ：大模型+大资料 = 神奇结果？
> 资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800
2024-01-03 23:12:09
505
原创 2023春季李宏毅机器学习笔记 03 ：机器如何生成文句
课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800
2024-01-03 22:01:05
608
原创 2023春季李宏毅机器学习笔记 02 ：机器学习基本概念
课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800
2024-01-02 20:55:31
778
原创 2023春季李宏毅机器学习笔记 01 ：正确认识 ChatGPT
课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800
2024-01-02 20:43:07
787
原创 第九周：AIPM面试准备
以下为从开始准备转行到拿到offer期间每天需要准备的10个面试题目以及相关知识补充！来源广泛，从各个地方收集，只提供题目，我自己的尝试回答也会陆续放在我的喜马拉雅，基于我粗浅的认知，分享我粗浅的作答思路，权当练习，仅做参考（本人也是菜鸡），勿上纲上线哦~欢迎指导。由浅入深，仅记录AI产品面试内容，不记录产品通用面试内容。
2023-12-31 15:10:09
392
原创 第八周：AI项目实操
在复习深度学习过程中开始逐渐找几个项目来进行实际操作，贯穿AI产品的项目流程，会陆续的补充完整项目内容。大家如果有比较有代表性的项目可以推荐我参与~
2023-12-29 19:52:19
752
原创 第六周：最新技术剖析
虽然断断续续的有在关注AI的动向，但是和真正从事AI行业的前辈相比，肯定是不到精处，3月份之后更加关注技术相关咨询和内容了，但是要是细致的讲可能还是缺一点，所以还是打算深入了解一下目前尤其是去年今年的一些典型技术概况以及应用，可以快速的和之前断层的技术认知接轨！打击如果有什么觉得也需要补充了解以及跨度较大的技术革新也可以留言，学习完后也会记录在册~
2023-12-29 12:28:31
414
原创 第五周：深度学习知识点回顾
讲真，复习这块我是比较头大的，之前的线代、高数、概率论、西瓜书、樱花书、NG的系列课程、李宏毅李沐等等等等…那可是花了三年学习佳实践下来的，现在一想脑子里就剩下几个名词就觉得废柴一个了，朋友们有没有同感，高中的留给高中老师，大学的给大学老师，研究生的留给谁了呢~但是呢，想想我马上要成为风口上的众多马上飞起的。
2023-12-29 10:23:20
713
原创 第四周：机器学习知识点回顾
讲真，复习这块我是比较头大的，之前的线代、高数、概率论、西瓜书、樱花书、NG的系列课程、李宏毅李沐等等等等…那可是花了三年学习佳实践下来的，现在一想脑子里就剩下几个名词就觉得废柴一个了，朋友们有没有同感，高中的留给高中老师，大学的给大学老师，研究生的留给谁了呢~但是呢，想想我马上要成为风口上的众多马上飞起的。
2023-12-24 10:23:01
1212
原创 第三周：Python能力复盘
*前言：**之前在读研究生的时候系统学习了Python全栈的内容，沉淀了专栏【Python全栈】，如今看文章阅读量都达到了将近10万，还是小有震撼，打算一周的时间，精细的回顾基础和粗略的回顾应用，基础还是在的，只不过时间久了手生了！虽然自己之前有写过100多篇文章（有的可能是直接看完了粘过来的），anyway还是找了一些简明扼要的资料快速唤醒！毕竟之前雪Python全栈那是小白硬啃，其他的没记住，就记住当时很痛苦的坚持下来了。
2023-12-18 22:56:29
1053
原创 第二周：AI产品经理全局学习
模型构建：模型设计、特征工程、模型训练、模型验证、模型融合等；这部分可以看一下hanniman老师的一个200页的PPT，深入浅出介绍了一下AI产品经理应该具有的一些能力，这里我记录了一下我认为除了常规产品应该具有的能力之外的一些其他核心能力！AI产品需要和前端业务、运营、客服等人员紧密合作、获取一线的反馈，支持业务展开，提出短期内有效的市场运营方案。算法模型设计：基于数据探索确定模型、策略、算法，了解实现原理和应用场景，并设计数据流水线确保数据输入质量；技术需求：确定实现产品目标所需的AI技术；
2023-12-18 22:52:46
691
原创 互联网业务数据分析- 数据指标建模（下）
本章主要介绍数据指标建模的步骤和方法，分别是1. 明确业务最终目的；2. 判断业务模块；3. 选择合适的数据指标进行建模；
2021-08-20 18:28:41
850
2
原创 互联网业务数据分析- 数据采集
本节主要总结了数据采集的一些方法，主要包括埋点以及其他的一些线上线下数据采集方法以及数据需求文档应该怎么写，包括哪些内容等。
2021-08-19 12:07:31
553
原创 互联网业务数据分析-数据分析进阶
本章主要介绍了四种数据分析进阶方法，主要是用户画像、归因查找、路径挖掘、行为序列，此外，还介绍了3种数据分析案例。
2021-08-19 12:06:46
531
原创 互联网业务数据分析- 数据分析基础
本文章介绍了互联网业务数据分析的基础，主要包括数据分析的价值介绍、5种常用的数据分析方法以及3个案例来进行介绍。
2021-08-19 12:05:43
470
原创 互联网业务数据分析- 数据处理
本文简单介绍互联网业务数据分析中的数据处理，主要包括excel的数据格式化、数据清洗步骤以及数据的二次处理，此外，还简单介绍了数据如何进行快如呈现以及一些市面上较为好用的数据可视化工具。
2021-08-19 12:04:47
546
原创 互联网业务数据分析- 数据工具
本文简单介绍互联网业务数据分析过程中的数据工具，主要包括数据工具介绍的步骤，即如何选择合适的数据工具以及常见的数据分析套路。
2021-08-19 12:03:14
482
管理十诫：影响你一生的管理哲学
2019-05-01
Single Image Dehazing via Multi-Scale Convolutional Neural Networks
2019-04-05
Learning Linear Transformations for Fast Arbitrary Style Transfer论文解读
2019-04-03
粉丝经济：传统企业转型互联网的突破口
2019-01-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人