![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 87
专注机器学习前沿技术分享
我爱Python数据挖掘
文章专注于Python、数据分析、数据挖掘、深度学习等
展开
-
Pandas AI:最棒的大模型数据分析神器!
暑期实习基本结束了,校招即将开启。不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。想象一下,能够像和最好的朋友交谈一样与你的数据对话,这就是 Pandas AI 的功能!这个 Python 库具有生成式人工智能能力,可以将你的数据框变成会话者。它像一个超级英雄的助手,会帮助你解决问题,让你的生活更轻松。原创 2024-06-15 09:05:48 · 521 阅读 · 0 评论 -
PyGWalker:Python 中最好的数据分析库
节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对数据分析、数据挖掘、算法,新手该如何快手入门、该如何准备面试、面试常考点分享等热门话题进行了深入的讨论。你在 Jupyter Notebook 中有一堆数据需要分析和可视化。PyGWalker 就像一个神奇的工具,使这一过程变得超级简单。它将你的数据转换成一种特殊的表格,你可以像使用 Tableau 一样与之交互。你也可以直观地探索数据,随意操作,发现模式和见解,而不会迷失在复杂的代码中。原创 2024-06-01 16:28:35 · 727 阅读 · 0 评论 -
腾讯算法岗面试,问的贼细!
节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法类的技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。暑期实习基本结束了,校招即将开启。不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。原创 2024-05-31 00:00:21 · 566 阅读 · 0 评论 -
面试度小满机器学习算法岗,一面竟然挂了。。。
节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法类的技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。上周我们星球上一位小伙伴跟我聊天,跟我分享了他面试度小满机器学习算法的面经。时间:不到1个半小时面试内容:自我介绍对项目的进行深度盘问做题:最长上升子序列,要求:空间O(n)、时间O(nlogn)、返回字典序最小的 (不会写,写了一个时间、空间都O(n^2)的算法)原创 2024-05-01 14:21:31 · 524 阅读 · 1 评论 -
这 6 个探索性数据分析(EDA)工具,太实用了!
当进行数据分析时,探索性数据分析(EDA)是一个至关重要的阶段,它能帮助我们从数据中发现模式、趋势和异常现象。而选择合适的EDA工具又能够极大地提高工作效率和分析深度。在本文中,我将介绍6个极其实用的探索性数据分析(EDA)工具,这些工具能够帮助您更好地理解数据、发现隐藏的信息,并为后续分析和决策提供有力支持。让我们一起来看看这些工具是如何帮助我们探索数据世界的吧!原创 2024-04-13 18:41:21 · 1140 阅读 · 0 评论 -
深度学习实战案例:使用 Transformers 进行概率时间序列预测实战
接下来,让我们实例化一个模型。该模型将从头开始训练,因此我们不使用 from_pretrained 方法,而是从 config 中随机初始化模型。我们为模型指定了几个附加参数:prediction_length (在我们的例子中是 24 个月) : 这是 Transformer 的解码器将学习预测的范围;context_length: 如果未指定 context_length,模型会将 context_length (编码器的输入) 设置为等于 prediction_length;原创 2024-04-13 18:09:00 · 907 阅读 · 0 评论 -
面滴滴机器学习算法岗,居然被问到了大模型相关问题。。。
节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法类的技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。上周我们星球上一位小伙伴跟我聊天,跟我分享了他面试滴滴机器学习算法岗的面经。让他惊讶的是,面试官居然问他是否使用大模型、如何让大模型提升自己的工作效率、大模型的微调、量化等问题,直言不会大模型相关内容,让自己的优势立马消失了。原创 2024-03-31 08:50:18 · 736 阅读 · 0 评论 -
《大模型面试宝典》(2024版) 正式发布!
2022 年11月底,OpenAI 正式推出 ChatGPT ,不到两个月的时间,月活用户就突破1亿,成为史上增长最快的消费者应用。目前国内已发布的大模型超过200个,大模型的出现彻底改变了我们的生活和学习方式。只要你想从事 AI 相关的岗位,无论是计算机视觉(CV)、自然语言处理(NLP)、搜广推、风控、机器学习算法等,大模型相关话题都是绕不开的。可能唯一的区别就是场景和问题难度上。最近我们星球群组织了一场AI技术&面试讨论会,邀请了一些互联网大厂朋友、最近参加社招和校招面试的同学。原创 2024-03-31 08:36:44 · 529 阅读 · 0 评论 -
面了几家大厂数据挖掘岗,题是一家比一家难。。。
年前,技术群组织了一场数据类的技术&面试讨论会,邀请了一些大厂同学和23年参加招聘的同学来分享:新人如何入门数据和算法岗,面经/面试题分享、大厂在算法场景的落地项目及经验分享等热门话题。今天分享一位星球成员的上岸之旅,最终成功拿下。希望对后续找工作的有所帮助。如果你想加入我们的讨论群或者希望要更详细的资料,现在距离秋招结束也好长一段时间了,今天总结一下自己在秋招中的一些经验和教训,希望可以帮助到学弟学妹们。先介绍一下我自己的情况,我本科211,硕士985。原创 2024-03-20 22:46:16 · 771 阅读 · 0 评论 -
成功上岸字节跳动数据分析岗,流程很快,分享面经!
年前,技术群组织了一场数据类的技术&面试讨论会,邀请了一些大厂同学和23年参加招聘的同学来分享:新人如何入门数据和算法岗,面经/面试题分享、大厂在算法场景的落地项目及经验分享等热门话题。今天我整理一位小伙伴的面经验,分享给大家,希望对后续找工作的有所帮助。原创 2024-02-27 22:57:42 · 578 阅读 · 0 评论 -
腾讯数据分析岗面经,面试时死板背答案不可取~
年前,技术群组织了一场数据类的技术&面试讨论会,邀请了一些大厂同学和23年参加招聘的同学来分享:新人如何入门数据和算法岗,面经/面试题分享、大厂在算法场景的落地项目及经验分享等热门话题。今天我整理一位小伙伴的面经验,分享给大家,希望对后续找工作的有所帮助。原创 2024-02-27 22:52:02 · 865 阅读 · 0 评论 -
滴滴风控机器学习算法岗面试题8道(含答案解析)
快速排序(QuickSort)的平均时间复杂度为O(n log n),最坏情况下的时间复杂度为O(n^2)。快速排序的稳定性取决于具体的实现方式。通常情况下,快速排序是不稳定的,因为在分区过程中,元素的相对顺序可能会改变。快速排序的不稳定性是由于分区过程中的元素交换操作引起的。在分区过程中,我们选择一个基准元素(通常是第一个或最后一个元素),将小于基准的元素放在基准的左边,大于基准的元素放在基准的右边。在交换元素的过程中,相等元素的相对顺序可能发生改变,从而导致排序结果的不稳定性。原创 2024-02-26 11:28:39 · 1256 阅读 · 0 评论 -
美团营销机器学习算法岗(实习)面试题9道(含答案解析)
一种评估模型性能的统计学方法,通常用于训练样本有限的情况。将数据集划分为多个子集,多次训练模型,并在每次训练中使用不同的子集作为验证集,其余作为训练集。常见的交叉验证方法包括k折交叉验证和留一法。原创 2024-02-26 11:00:26 · 1401 阅读 · 0 评论 -
面试必备!机器学习常用十大算法的优缺点!
面试的时候,经常会问一些机器学习模型的优缺点,作为面试者有时却容易忽略,今天我一次性总结一下,原创 2024-01-09 16:36:08 · 923 阅读 · 0 评论 -
聊一聊国内大模型公司,大模型面试心得、经验、感受
这段时间面试了很多家,也学到了超级多东西。楼主这边背景是做基座预训练算法端为主的,对框架端和RL的内容有一定了解(面试能凑合),对于后端的知识比如ML compiler,kernel,cuda相关的了解就比较浅了(问到觉大概率挂)。硬件几乎不太懂。感觉一圈聊下来几点感悟:大模型这方向真的卷,面试时好多新模型,新paper疯狂出,东西出的比我读的快。Research岗位对工程也有要求,工程端也需要了解模型。感觉比较硬核的岗位,尤其初创公司都是对好几个点都有要求的(应用,模型,框架,底层后端,硬件)。原创 2023-09-29 14:43:33 · 1322 阅读 · 0 评论 -
这应该是最全的机器学习模型可解释性的综述
模型可解释性方面的研究,在近两年的科研会议上成为关注热点,因为大家不仅仅满足于模型的效果,更对模型效果的原因产生更多的思考,这样的思考有助于模型和特征的优化,更能够帮助更好的理解模型本身和提升模型服务质量。本文对机器学习模型可解释性相关资料汇总 survey。原创 2023-09-09 08:07:25 · 575 阅读 · 0 评论 -
GPU安装指南:英伟达A800加速卡常见软件包安装命令
完整原创 2023-08-20 13:40:39 · 1907 阅读 · 0 评论 -
深度学习实战案例:时间序列预测代码模板(单变量、多元、多步、多元多步)
长短期记忆网络,简称,可以应用于时间序列预测。有许多类型的 LSTM 模型可用于每种特定类型的时间序列预测问题。在本文中,我将分享一系列标准时间序列预测问题开发一套 LSTM 模型。本文的目的是针对每种类型的时间序列问题提供独立示例作为模板,你可以复制该模板并针对你的特定时间序列预测问题进行调整。原创 2023-05-02 22:34:09 · 1932 阅读 · 1 评论 -
深度学习实战案例:基于fasttext embedding + lightgbm 垃圾短信识别
NLP,自然语言处理就是用计算机来分析和生成自然语言(文本、语音),目的是让人类可以用自然语言形式跟计算机系统进行人机交互,从而更便捷、有效地进行信息管理。NLP是人工智能领域历史较为悠久的领域,但由于语言的复杂性(语言表达多样性/歧义/模糊等等),如今的发展及收效相对缓慢。比尔·盖茨曾说过,“NLP是 AI 皇冠上的明珠。” 在光鲜绚丽的同时,却可望而不可及(…)。为了揭开NLP的神秘面纱,本文接下来会梳理下NLP流程、主要任务及算法,并最终落到实际NLP项目(经典的文本分类任务的实战)。原创 2023-05-02 22:15:19 · 1824 阅读 · 1 评论 -
深度学习实战案例:构建基于 DSSM 双塔模型的电影推荐系统
DSSM深度语义匹配模型原理很简单:获取搜索引擎中的用户搜索query和doc的海量曝光和点击日志数据,训练阶段分别用复杂的深度学习网络构建query侧特征的query embedding和doc侧特征的doc embedding,线上infer时通过计算两个语义向量的cos距离来表示语义相似度,最终获得语义相似模型。完整代码、数据、技术交流提升, 均可加入知识星球交流群获取,群友已超过2000人,添加时切记的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。原创 2023-05-02 22:08:54 · 1648 阅读 · 0 评论 -
深度学习实战案例:构建基于 Transformer 建立时间序列预测模型(附完整代码)
我最近读了一篇非常有趣的论文,名为。我认为从头开始实施类似的东西以了解有关时间序列预测的更多信息可能是一个有趣的项目。原创 2023-05-02 15:42:17 · 4843 阅读 · 0 评论 -
深度学习实战案例:基于LSTM的四种方法进行电影评论情感分类预测(附完整代码)
序列分类是一个预测建模问题,你有一些输入序列,任务是预测序列的类别。这个问题很困难,因为序列的长度可能不同,包含非常大的输入符号词汇表,并且可能需要模型学习输入序列中符号之间的长期上下文或依赖关系。在本文中,你将了解如何使用 Keras 深度学习库在 Python 中为序列分类问题开发 LSTM 递归神经网络模型。原创 2023-05-02 15:35:15 · 3230 阅读 · 1 评论 -
深度学习实战案例:多元时序的空气质量预测(附完整代码)
在本节中,我们将在多元输入数据上拟合 LSTM。首先,我们必须将准备好的数据集拆分为训练集和测试集。为了加快本次演示的模型训练,我们将只在第一年的数据上拟合模型,然后在剩余 4 年的数据上对其进行评估。如果你有时间,可以考虑探索这个测试工具的倒置版本。下面的示例将数据集拆分为训练集和测试集,然后将训练集和测试集拆分为输入和输出变量。最后,输入 (X) 被重塑为 LSTM 期望的 3D 格式,即 [samples, timesteps, features]。原创 2023-05-02 11:56:57 · 3246 阅读 · 0 评论 -
深度学习实战案例:基于 Pytorch +DNN的顾客流失预测
PyTorch和TensorFlow库是深度学习中最常用的两个Python库。PyTorch由Facebook开发,而TensorFlow是Google项目。在本文中,您将看到如何使用PyTorch库解决分类问题。分类问题属于机器学习问题的一类,在给定一组特征的情况下,任务是预测离散值。预测肿瘤是否为癌症或者学生是否可能通过考试都是分类问题的常见例子。在本文中,我们将根据银行客户的某些特征来预测客户在6个月后是否有可能离开银行。顾客离开组织的现象也称为顾客流失。原创 2023-05-02 11:44:11 · 2616 阅读 · 3 评论 -
深度学习实战案例:基于LSTM 的洗发水销量预测(附完整代码)
在本案例中,你将了解如何为单变量时间序列预测问题开发 LSTM 预测模型。原创 2023-05-02 11:36:36 · 1949 阅读 · 0 评论 -
深度学习实战案例:基于LSTM的国际航空公司乘客预测(附完整代码)
时间序列预测问题是一类相对困难的预测建模问题。与回归预测建模不同,时间序列还增加了输入变量之间序列依赖性的复杂性。长短期记忆网络或 LSTM 网络是一种用于深度学习的递归神经网络,比较擅长解决此类问题。在本文中,我将分享如何使用 Keras 深度学习库在 Python 中开发 LSTM 网络来解决演示时间序列预测问题。这些示例将准确展示你如何针对时间序列预测建模问题开发自己的不同结构的 LSTM 网络。原创 2023-05-02 11:07:17 · 4097 阅读 · 0 评论 -
我常用的20套可视化炫酷大屏真香啊(附源码)
由于公司项目里面用到一个数据可视化大屏页面,自己网上各种谷歌百度,发现资源良莠不齐,而且大多数都是收费的。我自己整理下,免费分享给大家,以免大家再走冤枉路。如果大家有珍藏的好模板,欢迎大家继续补充贡献!20套大数据可视化炫酷大屏模板;包含行业:社区、物业、政务、交通、工程、医疗、金融银行等,全网最新、最多,最全、最酷、最炫大数据可视化模板,陆续更新中。原创 2023-04-03 23:17:52 · 1699 阅读 · 0 评论 -
SQL学习路线图,首次公开
很多小伙伴一直不知道该怎么学好SQL,或者说对SQL的知识点没有一个教全面的认识。我精心整理了一份学习SQL的路线图,里面几乎涵盖了SQL的所有知识点,方便你对SQL的知识有个比较清晰了解,也可以按照上面的知识点,查漏补缺。话不多说,先上图原图在手机上看还是比较清晰的,我在手机上截取了原图放大后的效果:每个知识章节都用不同的颜色标注出来,对不同的SQL知识可以进行分类。由于上传的图片被压缩了,可能看的不是很清晰。需要高清版的如下方式。原创 2023-03-31 10:09:30 · 462 阅读 · 0 评论 -
基于机器学习的异常检测与分析技术
传统的运维方式在监控、问题发现、告警以及故障处理等各个环节均存在明显不足,需要大量依赖人的经验,在数据采集、异常诊断分析、故障处理的效率等方面有待提高。本关键技术面对传统运维故障处理效率低、问题定位不准确、人力成本高三大痛点,将人工智能与运维相结合,由AI逐步取代人力决策,通过机器学习方法,快速给出决策建议或提前规避故障,实现网云业务智能分析和优化,从而极大提高运维生产力。总体来说智能运维比传统运维方式效率高,数据采集更准确,更智能。原创 2023-02-21 21:48:45 · 2993 阅读 · 0 评论 -
超全面,盘点14 种数据异常值检验方法
本文收集整理了公开网络上一些常见的异常检测方法(附资料来源和代码)。不足之处,还望批评指正。基于正态分布,3sigma准则认为超过3sigma的数据为异常点。图1: 3sigma2. Z-scoreZ-score为标准分数,测量数据点和平均值的距离,若A与平均值相差2个标准差,Z-score为2。当把Z-score=3作为阈值去剔除异常点时,便相当于3sigma。3. boxplot箱线图时基于四分位距(IQR)找异常点的。图2: boxplot4. Grubbs假设检验Grubbs’Tes原创 2023-02-03 23:35:30 · 1555 阅读 · 0 评论 -
2023 年你应该知道的所有机器学习算法
在过去的几年里,根据自己的工作经验,整理了我认为最重要的机器学习算法。通过这个,我希望提供一个工具和技术的存储库,以便您可以解决各种数据科学问题!原创 2023-01-15 08:59:31 · 7523 阅读 · 0 评论 -
时间序列分析中最值得推荐的10个 Python 库
Python中有许多可用的时间序列预测库(比我们在这里介绍的更多)。每个库都有自己的优缺点,因此根据自己的需要选择合适的是很重要的。如果你有什么更好的推荐,请留言告诉我们。原创 2022-10-10 21:42:28 · 3303 阅读 · 2 评论 -
效率倍增啊,20个面向数据科学家的自动机器学习(AutoML)库来了
AutoML是指自动机器学习。它说明了如何在组织和教育水平上自动化机器学习的端到端过程。机器学习模型基本上包括以下步骤:数据读取和合并,使其可供使用。数据预处理是指数据清理和数据整理。优化功能和模型选择过程的位置。将其应用于应用程序以预测准确的值。最初,所有这些步骤都是手动完成的。但是现在随着AutoML的出现,这些步骤可以实现自动化。AutoML当前分为三类:用于自动参数调整的AutoML(相对基本的类型)用于非深度学习的AutoML,例如AutoSKlearn。原创 2022-09-20 23:25:31 · 1099 阅读 · 1 评论 -
效率倍增,推荐10个好用到爆的Jupyter Notebook插件
大家好,今天我来给大家介绍几个在jupyter notebook中被广泛用到的插件,能够更好地帮助到大家进行数据分析与可视化,极大地提高日常的工作效率。准备工作首先我们先下载好插件选择的工具栏,通过pip install来进行下载即可pip install jupyter_contrib_nbextensions然后我们将这个插件选项的工具栏添加到jupyter notebook的页面当中,运行下面这个的命令行jupyter contrib nbextension install我们打开ju原创 2022-01-30 08:17:01 · 3510 阅读 · 2 评论 -
推荐3个特别实用的 Python 模块,值得收藏
大家好,今天给大家介绍3个特别好用的Python模块,知道的人可能不多,但是特别的好用。PsutilPendulumPyfigletPsutilPython当中的Psutil模块是个跨平台库,它能够轻松获取系统运行的进程和系统利用率,包括CPU、内存、磁盘、网络等信息,它的安装也非常的简单,命令行pip install psutil这里因为整体的篇幅有限,小编就暂时只罗列几个常用的方法,例如我们想要查看一下CPU的利用率psutil.cpu_percent()返回的结果原创 2022-01-29 08:27:04 · 1788 阅读 · 0 评论 -
这9个特征工程的使用技巧,解决90%机器学习问题
特征是什么?为什么需要工程设计?基本上,所有机器学习算法都是将一些输入数据转化为输出。这些输入数据包括若干特征,通常是以由列组成的表格形式出现。而算法往往要求输入具有某些特性的特征才能正常工作。因此,出现了对特征工程的需求。特征工程至少有两个目标,构建适合机器学习算法要求的输入数据。改善机器学习模型的性能。根据《福布斯》的一项调查,数据科学家把 80% 左右的时间花在数据收集、清晰以及预处理等数据准备上。这点显示了特征工程在数据科学中的重要性。因此有必要整理一下特征工程的主要技术。原创 2022-01-28 16:38:02 · 3365 阅读 · 0 评论 -
这份 pip 使用方法,应该算是全网最全了
Python 之所以如此受欢迎,能够在众多高级语言中,脱颖而出,除了语法简单,上手容易之外,更多还要归功于 Python 生态的完备,有数以万计的 Python 爱好者愿意以 Python 为基础封装出各种有利于开发的第三方工具包。说到 pip ,大家都不会陌生。但我相信不少人,只是熟悉几个常用的用法,而对于其他几个低频且实用的用法,却知之甚少,这两天,我把这些用法整理了一下,应该是网络上比较全的介绍。原创 2021-12-08 14:20:38 · 2437 阅读 · 0 评论 -
Virtualenv:手把手帮你打 Python 虚拟环境
在Github上 git clone到本地的项目中,一般都会有一个requirement.txt。这个文件是用来保存项目所需要的python扩展库版本的。不同项目使用的python和扩展库的版本之间存在着各种差异。也就是说,git clone到本地的项目用你本地的环境可能运行不起来。那怎么才能把python环境同步呢?那就是利用虚拟环境了。在虚拟环境中,可以配置此项目需要的python环境和对应的扩展库(开辟一个独立干净的空间进行开发)这样的虚拟环境与本地的python环境完全隔离。在python有多种配置原创 2021-12-08 13:59:20 · 1165 阅读 · 0 评论 -
20 条重要法则,让你轻松学会数据可视化
如今,商业领域的决策越来越重视数据驱动,数据可视化已经是当今的潮流。高质量的数据可视化能帮助人们更好地解读数据的意义,发掘数据背后的价值。但是我们发现,实践中很多图表并不容易让人理解,甚至会产生误导。因此本文列出如下20条优化建议,希望能够帮助你实现更好的数据可视化。欢迎收藏学习,喜欢点赞支持。注:文末提供数据可视化交流群01. 选择正确的图表类型如果选择了错误的图表类型,或只是默认使用最常见的图表类型,可能会使用户感到困惑,或对数据的意义产生误解。一个数据集可以用很多种方式来表述,具体采用哪种方原创 2021-12-07 09:26:09 · 382 阅读 · 0 评论 -
dtreeviz:一款超级棒的决策树可视化和模型可解释性工具
决策树是梯度提升机和随机森林的基本构建块,在学习这些模型的工作原理和模型可解释性时,可视化决策树是一个非常有帮助。不过,当前的可视化包还很初级,对新手没有多少帮助。最近逛 Github 时,发现一款非常棒的 dtreeviz 工具库:它用于决策树可视化和模型解释。使用 dtreeviz 可以可视化特征空间如何在决策节点上分割,训练样本如何分布在叶节点中,树如何对特定观察进行预测等等。这些操作对于理解分类或回归决策树的工作方式至关重要。安装pip install dtreeviz原创 2021-12-06 21:23:08 · 5772 阅读 · 1 评论