![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 83
加百力
科技公司总裁,电子科大学导师。量化建模与交易。
展开
-
首个AI高考全卷评测结果出分,大模型“考生”表现如何?
大部分大模型“考生”语文、英语科目表现良好,但在数学方面还有待加强。阅卷老师点评,在语文科目上,对于语言中的一些“潜台词”,大模型尚无法完全理解。在数学科目上,大模型的主观题回答相对凌乱,且过程具有迷惑性。原创 2024-06-22 09:59:03 · 371 阅读 · 0 评论 -
程序员未来会消失?谷歌联合创始人布林直言,不用“杞人忧天”,编程仍是最具挑战的任务
当地时间3月3日,谷歌联合创始人之一、拥有千亿美元身价的谢尔盖·布林(Sergey Brin)现身在一场以谷歌旗下大模型Gemini 1.5为主题的黑客马拉松活动上。此前Gemini因文生图下引发巨大争议,在近40分钟的演讲中,布林承认了内部测试不充分的错误并道歉,谈到了Gemini的开发内幕、AGI(通用人工智能)、AI对社会影响等众多话题,还在现场分享了对于近期引发热议的Gemini文生图问题的看法。布林在演讲的开头就指出,Gemini 1.5 Pro模型的诞生其实只是个意外。Gemini1.5原创 2024-03-05 19:56:29 · 1040 阅读 · 2 评论 -
新产品将“改变一切”?OpenAI正自研两款Agent软件
OpenAI的新产品据称能够“改变一切”,能够接管用户电脑,自动执行跨软件的任务,甚至可以根据预算一键生成旅行计划并购买机票。原创 2024-02-08 21:21:45 · 546 阅读 · 0 评论 -
诺奖经济学家称AI将取代STEM专业工作!Altman:人类无需工作,我给发钱
2010年诺贝尔经济学奖得主Christopher Pissarides警告说,不要一窝蜂地学习科学、技术、工程和数学(STEM)科目,「同理心」和创造性技能可能会在人工智能主导的世界中蓬勃发展。原创 2024-02-08 17:29:20 · 1184 阅读 · 0 评论 -
又一款图像AI应用爆火,团队仅两人,单月吸引40万用户
Magnific AI不仅可以用生成式AI技术放大图像,还能一键提升图像的分辨率,把原图呈现的更清晰,更有质感。原创 2024-02-08 17:27:00 · 1123 阅读 · 0 评论 -
什么是向量数据库?为什么向量数据库对LLM很重要?
使用传统的基于标量的数据库进行向量嵌入是一个挑战,因为它无法处理或跟上数据的规模和复杂性。根据我们使用的向量数据库,向量数据库将对最终最近邻进行后处理,以生成查询的最终输出。然后,我们的查询将被插入到嵌入模型(embedding model)中,该模型根据我们想要索引的内容创建向量嵌入(vector embedding)。当用户继续进行查询时,它将通过相同的嵌入模型来创建嵌入,以在数据库中查询类似的向量嵌入。一旦完成搜索,向量数据库就会将查询的向量与索引向量进行比较,应用相似性度量来查找最近的邻居。原创 2024-02-08 00:22:49 · 484 阅读 · 0 评论 -
如何用 AI 工具建立自己的知识库?
总之,使用AI工具建立自己的知识库需要一定的技术基础和经验,但通过掌握基本的步骤和方法,你可以逐步构建出一个高质量的知识库,并发挥其在各个领域的应用价值。原创 2024-02-04 23:21:25 · 1823 阅读 · 0 评论 -
使用机器学习算法预测在线订餐需求
咱们国内的美团和国外的 Swiggy 和 Zomato 引入市场后,在线订餐的需求量很大。这些公司拥有大量有关客户的数据,因此他们现在了解所有客户的订餐习惯。这是识别具有更多商机的地区、家庭和客户类型的好方法。这些公司对客户的主要目标是在正确的时间交付食物。为了更快地交付食物,这些公司确定了在线食品订单需求较高的地区,并在这些地区雇用了更多的外卖员来在订单较多的地区更快地交付食物。看看哪种性别的客户在网上订餐的次数更多:。我们创建一个包含所有再次订购食物的顾客的数据集:。原创 2024-02-03 01:23:55 · 692 阅读 · 0 评论 -
机器学习系列 16:使用 scikit-learn 的 Pipeline
在我调用 pipe_lr 的 fit 方法时,Pipeline 会先调用 transformer 的 fit_transform 方法(fit_transform 方法其实先调用 fit 再调用 transform),然后调用 estimator 的 fit 方法来训练模型。如果我们在 Pipeline 的最后加了一个 estimator,那么我们可以通过调用 pipe_lr 的 predict 方法来对新数据进行同样的预处理,然后对预处理后的新数据进行预测。压缩到 2 维空间。原创 2024-01-29 20:36:12 · 804 阅读 · 0 评论 -
机器学习系列15:通过t-SNE可视化高维数据
我们可以看到 t-SNE 降维后,还是能够将表示不同数字的样本区分开,但是这种区分不是很完美,部分是因为我们使用了默认的超参数,部分是因为数据集本身的问题,比如这里图像的分辨率很低,手写的 3 和手写的 8 可能很相似。不过 t-SNE 只能用于数据可视化,我们没法用训练集的数据去拟合一个 t-SNE 模型,然后将模型用于测试集,我们只能用整个数据集(训练集和测试集)去拟合 t-SNE 模型,然后得到数据集的低维表示,并可视化。我们可以将 8 x 8 的灰度图展平成长为 64 的表示样本特征的向量。原创 2024-01-24 23:15:28 · 562 阅读 · 0 评论 -
AI要替代40%生产力?巴克莱做了一份详细测算
巴克莱相信,随着人工智能得到更大范围的应用,可以解决一些困扰全球经济的最紧迫问题,如发达国家的人口老龄化和发展中国家的低人均生产力前景。原创 2024-01-19 19:04:00 · 2480 阅读 · 1 评论 -
机器学习系列16:使用 scikit-learn 的 Pipeline
在我调用 pipe_lr 的 fit 方法时,Pipeline 会先调用 transformer 的 fit_transform 方法(fit_transform 方法其实先调用 fit 再调用 transform),然后调用 estimator 的 fit 方法来训练模型。如果我们在 Pipeline 的最后加了一个 estimator,那么我们可以通过调用 pipe_lr 的 predict 方法来对新数据进行同样的预处理,然后对预处理后的新数据进行预测。压缩到 2 维空间。原创 2024-01-14 21:33:04 · 2262 阅读 · 1 评论 -
机器学习系列15:通过t-SNE可视化高维数据
t-SNE 的全称是 t-distributed stochastic neighbor embedding(t-分布随机领域嵌入),这是一种非线性降维技术。而 PCA 和 LDA 是线性的降维技术。原创 2024-01-13 09:22:54 · 2626 阅读 · 0 评论 -
新能源车2024年的十个趋势
2024年新能源车的十个趋势包括:智能化、出海、以价换量、塑造国民车、纯电市场回归第一性、插混强势依旧、MPV的预期更谨慎、动力电池行业寻求“动平衡”、锂电新技术难成核心变量、注重消费者体验。原创 2024-01-10 20:52:31 · 4183 阅读 · 0 评论 -
AI Agent 这二十个最值得关注
AI Agent即将通过这些具体的应用进入我们的日常生活。原创 2024-01-07 17:24:40 · 1943 阅读 · 0 评论 -
机器学习系列14:通过抽取特征实现降维
通过 PCA,我们可以将原始特征空间压缩到一个新的特征空间,数据在这个新的特征空间中的特征都是互相正交的。不过与无监督的 PCA 不同,线性判别分析(Linear Discriminant Analysis,LDA)是一种有监督的特征抽取方法。我们可以观察一下原始特征对每个主成分的贡献度,在 PCA 中,这个贡献度又称为 loadings。还是将 13 维特征空间压缩到 2 维特征空间,然后用逻辑回归算法拟合压缩后的数据集。再看看模型在测试集上的表现。让我们观察一下在新的二维特征空间上样本的分布情况。原创 2024-01-06 01:01:06 · 1186 阅读 · 1 评论 -
Coursera上10个值得去学习的机器学习课程(有字幕)
除此之外你还将获得可共享证书和课程证书,课程视频和阅读材料、练习测验、带同伴反馈的评分作业、带反馈的评分测验、评分编程作业。完成后你将获得可共享证书和课程证书。除此之外,你还将获得课程视频和阅读材料、练习测验、带同伴反馈的评分作业、带反馈的评分测验、评分编程作业。完成后你将获得可共享证书和课程证书。除此之外,你还将获得课程视频和阅读材料、练习测验、带同伴反馈的评分作业、带反馈的评分测验、评分编程作业。除此之外,你还将获得课程视频和阅读材料、练习测验、带同伴反馈的评分作业、带反馈的评分测验、评分编程作业。原创 2023-12-31 14:37:53 · 1199 阅读 · 0 评论 -
深度学习在语义分割中的进展和应用
在 CNN 出现之前,分割任务在很大程度上依赖于手工制作的特征和经典的机器学习技术,这些技术处理现实世界图像的复杂性和可变性的能力受到限制。迁移学习和领域适应:这些技术对于将在一个数据集上训练的模型应用于另一个领域至关重要,例如将在城市场景上训练的模型适应农村环境。扩张卷积:扩张卷积用于 DeepLab 等模型中,可扩展滤波器的感受野,使网络能够在不损失分辨率的情况下整合更广泛的上下文。多模态学习:集成来自各种传感器或模态的信息,例如将视觉数据与自动驾驶车辆中的激光雷达相结合,是一种日益增长的趋势。原创 2023-12-31 02:32:51 · 1171 阅读 · 2 评论 -
什么是检索增强生成?
检索增强生成(Retrieval Augmented Generation,RAG)是指对大型语言模型(Large Language Model,LLM)输出进行优化,使其能够在生成响应之前引用训练数据来源之外的权威知识库。LLM 用海量数据进行训练,使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上,RAG 将其扩展为能访问特定领域或组织的内部知识库,所有这些都无需重新训练模型。原创 2023-12-31 02:30:31 · 1785 阅读 · 0 评论 -
机器学习系列13:通过随机森林获取特征重要性
随机森林里面包含了多棵决策树,我们可以通过计算特征在每棵决策树决策过程中所产生的的信息增益平均值来衡量该特征的重要性。我们可以通过 scikit-learn 提供的 SelectFromModel 来通过 threshold 参数设定一个阈值 ,选择满足这个贡献度阈值的特征出来。可以看到选择了 5 个特征,现在我们就用这 5 个特征拟合一下 kNN 算法。选择 5 个特征时,模型在训练集和测试集上的表现和选择全部特征的表现相当!可以对比一下在用 SFS 算法选择的 3 个特征拟合的 kNN 算法。原创 2023-12-30 00:17:36 · 1775 阅读 · 3 评论 -
机器学习系列12:减少过拟合——降维(特征选择)
顺序特征选择是一种贪心算法,它通过自动选择与问题最相关的特征子集来提升计算效率,剔除不相关的特征或噪声数据来降低模型泛化误差(这对那些不支持正则化的算法来说非常有用)。SFS是一种从底向上的方法,第一个特征选择单独最优的特征,第二个特征从其余所有特征中选择与第一个特征组合在一起后表现最优的特征,后面的每一个特征都选择与已经入选的特征组合最优的特征。我从 1 开始依次选择红酒数据集的全部 13 个特征,从下图可以看到当特征数量增加到 3 个之后,再增加特征数量模型在训练集上就不会再有明细的性能提升了。原创 2023-12-29 12:14:33 · 1072 阅读 · 1 评论 -
机器学习系列11:减少过拟合——L1、L2正则化
我们在训练机器学习模型时的目标是使模型在训练集和测试集上的损失不断降低,损失是通过损失函数计算出来的。我们可以增大正则化项系数 λ(减小参数 C)时会剔除更多的特征,当 C < 0.01(λ > 100)时,所有特征对应的权重都是 0。如果我们注意到模型在训练集上的表现明显优于模型在测试集上的表现,那么这就是模型过拟合了,也称为 high variance。产生的过拟合的原因是对于给定的训练集数据来说,模型太复杂了。L1 正则化通常会产生更稀疏的特征空间,大部分的特征对应的权重都是 0。原创 2023-12-27 17:06:42 · 1143 阅读 · 1 评论 -
七个值得实践的Kaggle机器学习项目 - 2024更上一层楼
这是一个监督学习问题,我们通过分析欺诈(fraud)和非欺诈(non-fraud)交易案例的信用卡交易数据集,开发一个机器学习模型来检测欺诈性信用卡交易,这对于金融机构增强安全性、保护用户免受欺诈活动并使不同交易的环境变得非常容易至关重要。在这个项目中,我们利用带有标记音频剪辑的数据集,例如包含情感语音录音的“RAVDESS”数据集,开发一个可以识别口语中不同类型的情绪(愤怒、快乐、疯狂等)的模型。应用不同的聚类算法,根据模型形成的其他聚类可视化客户细分,分析每个细分的特征以获得营销数据信息。原创 2023-12-26 00:20:17 · 4194 阅读 · 5 评论 -
大模型应用系列03:pipeline 背后的工作
我们输入的纯文本经过 tokenzier 处理之后得到了 model input,然后通过 body 得到了称为隐藏状态的表示(这个表示是基座模型对输入文本的理解),最后由具体的任务头去利用这个表示做具体的处理(比如进行分类)。不过需要注意的是,此时的 BERT 模型是未经训练过的,其中的参数都是随机初始化的,我们虽然可以根据手头的任务和资源从头训练(耗时耗钱且容易有意外情况),但是最好是使用别人预训练好的模型。》通过 pipeline 了解了很多大模型应用的例子,比如下面的文本分类任务。原创 2023-12-25 20:00:48 · 928 阅读 · 3 评论 -
机器学习系列10:数据预处理——特征缩放
算法,如果我们有两个特征,特征 A 的取值范围在 [1,10],特征 B 的取值范围在 [1, 100000]。我们用训练集拟合(fit)了每个特征的列的最大值最小值,然后在训练集上执行最小最大缩放转换(transform),不过我们用一个 fit_transform 函数同时做了这两步。归一化是最小最大缩放(min-max scaling)的一种特殊形式,它将特征的取值范围缩放到 [0,1]。同样地,我们用训练集拟合得到每个特征列的均值和标准差,然后再去转换训练集和测试集数据。原创 2023-12-25 19:54:09 · 1573 阅读 · 0 评论 -
大模型应用系列02:Transformer是怎样工作的?
我们已经知道将一段文本输入模型时,Encoder 会将文本转成数值表示,这其实是将文本中的每个词(更专业的说法其实是 token)转成唯一的数值表示,注意力层告诉模型在处理这些数值表示时应该特别注意哪些词(这当然会或多或少忽略了其他不怎么重要的词)。现在又要训练一个模型 B 来处理任务 Tb,我们可以从头开始训练模型 B,也可以将模型 A 学到的知识迁移(transfer)给模型 B,然后用少量的数据集微调(fine-tune)一下模型 B 的参数,使得模型 B 可以更好地处理任务 Tb。原创 2023-12-24 21:07:37 · 1193 阅读 · 0 评论 -
大模型应用系列01:我们可以利用Transformer做什么?
默认使用的是 gpt-2 模型,不过我们也可以指定使用中文模型,比如这里的 uer/gpt2-chinese-cluecorpussmall 模型。注意不同的模型用不同的标志,比如上面的 bert-base-chinese 模型用的就是 [MASK],而不是 <mask>。这是我最感兴趣的任务了,我们只需要提供背景(context),然后就可以向模型提问,模型根据我们提供的背景知识回答问题。值得注意的是,默认使用的是 BERT 模型的衍生版:distilroberta-base 模型。原创 2023-12-24 20:52:11 · 925 阅读 · 0 评论 -
机器学习系列09:数据预处理——处理离散型数据
如果原有的样本(行)在 color 列的取值是 green,那么对应的 dummy 特征中只有 color_green 列取值为 1,其他列为 0。离散型数据分为两种:有序和无序。我们可以利用 scikit-learn 提供的 ColumnTransformer 对不同的列做不同的转换,只需要传入(处理步骤名称,转换器,列序号)组成的列表就行了。目前没有一个合适函数可以帮助我们将有序的离散型特征取值映射到对应大小关系的数值上,我们需要自己定义它们的大小关系,假设:XL = L + 1 = M + 2。原创 2023-12-23 02:01:35 · 1313 阅读 · 0 评论 -
机器学习系列08:数据预处理——处理缺失数据
这部分的估计器常有 2 个方法:用户拟合训练数据的 fit 方法和做数据转换的 transform 方法,还有一个是将二者合二为一的 fit_transform 方法。然而大多数的计算工具都无法自动处理缺失数据,或者在含有缺失数据的背景下做出良好的预测。我们用其他样本在 C 列取值组成训练数据,然后用训练数据去拟合(fit)C 列取值的平均值,然后根据这个均值去填补缺失值(transform)。这里我们分别用 C 列和 D 列的非缺失值的均值来填补对应列的缺失值。原创 2023-12-23 01:59:03 · 1716 阅读 · 0 评论 -
机器学习系列06:决策树
如果你很关心模型的可解释性,那么决策树(Decision Tree)算法当之无愧为首选。原创 2023-12-22 00:01:44 · 1026 阅读 · 2 评论 -
Google Bard 、Bing Copilot 、Claude、文心一言的简介及与ChatGTP异同
我可以理解和交流多种语言,如英语、中文、日语、西班牙语、法语、德语等,而ChatGTP目前只支持英语13我可以利用我的内部工具,如 graphic_art, describe_image,search_web 等,来扩展我的功能或获取有用的信息,而ChatGTP没有这些工具。从 ChatGTP 的多功能性到 Google Bard 的个性化交互,从 Bing Copilot 的集成工具到 Claude 的隐私保护,再到文心一言在中文理解和跨模态生成方面的强大能力,每个工具都展示了其独特的价值和应用潜力。原创 2023-12-21 00:19:29 · 1946 阅读 · 3 评论 -
ChatGPT 使数据科学工作流程更加高效
至此,我们通过讨论在数据科学工作流程中有效利用 ChatGPT 的各种提示技术来结束本文。这个详尽的路线图涵盖了 ChatGPT 如何成为一个有价值的工具,以提高编码、数据分析、机器学习或讲故事的生产力和效率。首发:https://www.kdnuggets.com/mastering-data-science-workflows-with-chatgpt。原创 2023-12-20 23:39:56 · 828 阅读 · 2 评论 -
这十个GitHub仓库让您精通机器学习
该课程非常适合那些认真追求职业发展的人,它指导学生构建现实世界的机器学习项目,涵盖回归、分类、评估指标、部署模型、决策树、神经网络、Kubernetes 和 TensorFlow Serving 等基本概念。此外,由于社区的贡献,该存储库仍保持最新状态,提供跨各种编程语言的最新、最好的机器学习软件。通过将 Clatech、斯坦福大学和麻省理工学院等提供商提供的各种 ML 教程、讲座和教育系列的链接收集到一个集中位置,该存储库使感兴趣的学习者可以更轻松地找到满足其需求的基于视频的 ML 内容。原创 2023-12-20 00:06:13 · 1165 阅读 · 2 评论 -
机器学习系列05:支持向量机
首先了解几个名词,决策边界(Decision boundary)就是划分分属不同类别样本的超平面,非常靠近决策边界的训练样本称为支持向量(Support vector),每个类别中的支持向量又形成了不同的超平面(Hyperplane),这些超平面之间的又形成了天然的间距(Margin)。margin 越大,表示模型的泛化性能(指模型在测试集上的表现)越好,margin 越小,则可能引发过拟合问题。SVM 中也有一个参数 C,C 越大,则表示对错误分类的惩罚越大,C 越小,则表示对错误分类的惩罚越小。原创 2023-12-20 00:03:11 · 152 阅读 · 2 评论 -
探讨一下所谓的“最强大模型” - Google Gemini
谷歌在 12 月 6 号发布了由其旗下 DeepMind 和 Brain AI 实验室共同合作开发的最新的多模态人工智能大语言模型——Google Gemini。不过在谷歌相继推出 Bard、Duet AI 和 PaLM 2 这个几个大语言模型之后,谷歌在 2023 年 5 月的 Google I/O 开发者大会上就首次推出了Gemini。然而,谷歌一直到 12 月 6 日才推出了 Gemini 的第一次迭代产品,同时为未来的发展制定了明确的路线图。原创 2023-12-19 00:45:42 · 1171 阅读 · 2 评论 -
一种基础的优化算法:梯度下降
梯度下降是一种基本的、变革性的优化算法,是众多科学和工程应用的核心。它能够导航复杂的高维空间并寻求最佳解决方案,这使其成为研究人员、工程师和数据科学家不可或缺的工具。随着技术和计算能力的不断进步,梯度下降仍然是各个领域机器学习、数据分析和优化创新背后的关键驱动力,重申了其作为现代计算科学基石之一的地位。原创 2023-12-19 00:27:50 · 1042 阅读 · 3 评论 -
机器学习系列04:逻辑回归
现在我们学习一个很简单但是很有效的,适用于二分类任务的线性分类算法:逻辑回归(Logistic Regression)。这也是工业界广泛使用的算法之一。虽然名字里带有“回归”,但是这是一个分类算法。逻辑回归是一个适用于二分类任务的概率模型。首先我们先了解一下什么是几率(odds),定义概率 p := p(y = 1 | x),表示在给定特征 x 的条件下,类别 y = 1 的概率。对于二分类任务,y = 1 表示类别为 positive,y= 0 表示类别为 negative。原创 2023-12-19 00:21:52 · 1003 阅读 · 1 评论 -
机器学习系列03:训练监督学习算法的主要步骤
我简单地以感知机算法区分鸢尾花品种的例子说明了机器学习的基本步骤,目的是让初学者形成一个大概的框架。原创 2023-12-18 08:41:51 · 1235 阅读 · 3 评论 -
分割数据集的几种常见策略及代码
分割数据集是数据科学和机器学习的基本步骤。这对于以现实且公正的方式评估模型的性能至关重要。目标是确保模型不仅能够很好地拟合现有数据,而且能够推广到新的、未见过的数据。本文讨论了分割数据集的各种方法,每种方法都有其优点和注意事项。在数据科学错综复杂的处理步骤中,第一步通常是最关键的——划分数据集。就像大厨仔细分离原料以增强菜肴的风味一样,数据科学家必须明智地分割他们的数据集,确保每个子集(训练、验证和测试)都是整体的代表性缩影。原创 2023-12-18 08:15:44 · 1816 阅读 · 4 评论 -
机器学习系列02:第一个机器学习算法—感知机
将输入样本 x 的 m 个输入特征结合权重和偏置做加权和形成网络输入,然后通过决策函数 ,感知机输出每个样本的预测类别,然后用预测类别和真实类别不一样的样本来调整(更新)权重和偏置。这个数据集包含了3种鸢尾花(Setosa、Versicolour 和 Virginica),每种鸢尾花有50个样本,每个样本有萼片长度(sepal length)、萼片宽度(sepal width)、花瓣长度(petal length)、花瓣宽度(petal width)4个特征。接下来还有一件事——检验感知机画出的决策边界。原创 2023-12-17 00:52:47 · 1084 阅读 · 0 评论