机器学习
文章平均质量分 75
便机器学习算法、理论
sapienst
Let Data Speak
展开
-
《深度学习》花书精华理解:线性代数
1、重要名词(1)标量:scalar;(2)向量:vector(3)矩阵:matrix(4)张量:tensor(5)转置:transpose(6)主对角线:main diagonal(7)广播:broadcasting(8)矩阵乘积:matrix product(9)矩阵对应元素乘积:element-wise product(10)向量点积:dot product(11)矩阵逆:matrix inversion(12)单位矩阵:identity matrix(13)生成子空间:sp原创 2021-03-04 15:34:11 · 1139 阅读 · 0 评论 -
《深度学习》花书精华理解:引言部分中的几个重要概念
1、人工智能技术要解决的核心问题是什么?答:解决那些多人来说很容易执行、但很难形式化描述的任务(关键是如何把这些非形式化的知识传递给计算机,可理解为非形式化特征提取)。相反,抽象和形式化的任务对人类而言是最困难的脑力任务之一,但对计算机而言是属于最容易的。2、机器学习?模式识别?表示学习?答:机器学习算法的性能很大程度上依赖于给定数据的表示,它具有能够从这些原始数据中提取模式的能力(而模式识别是直接给出描述特征,缺少了从原数据中发现规律的环节)。表示识别是在机器学习的基础上更进一步,不需要人工对对象特原创 2021-03-02 22:03:30 · 226 阅读 · 0 评论 -
他山之石:网易机器学习工程师二面面经
一、说一下做的最久的项目二、过程中遇到的问题,解决的办法三、最近看了什么算法?介绍SVD和xgboost1、SVD(奇异值分解)(1)目的:提取出一个矩阵最重要的特征(2)方阵A:Av=λvAv = \lambda vAv=λv,其中vvv是特征向量(彼此正交), λ\lambdaλ是特征向量vvv对应的特征值(3)特征值分解:这里Q是矩阵A的特征向量组成的矩阵,∑\sum∑是一个对角阵,里面的特征值是由大到小排列的,这些特征值所对应的特征向量就是描述这个矩阵变化方向。(一个矩阵其实就是一个原创 2020-08-05 19:05:43 · 311 阅读 · 0 评论 -
动手学习深度学习-Pytorch:夯基础
一 随机梯度下降为什么可以代替梯度下降最终实现收敛?二 学习率为什么一般设置的比较小?可以看到只有保证(学习率*f(x))的倒数足够小的时候,才能带人泰勒展开式进行近似计算,保证损失函数在迭代过程中逐渐收敛,而当学习率太大时,使前面提到的一阶泰勒展开公式不再成立:这时我们无法保证迭代xxx会降低f(x)f(x)f(x)的值。...原创 2020-08-04 12:34:43 · 191 阅读 · 0 评论 -
面经: 腾讯机器学习算法岗
求一次函数与二次函数围成的面积程序import sysimport numpy as npfrom scipy import integrate # 计算积分def calcu_s(A, B, C): # c1是b^2, c2是4ac c1 = 4 * (A ** 2) c2 = 8 * A * B * C # 判断 b^2 - 4ac是否大于零(...原创 2020-04-27 08:28:54 · 773 阅读 · 0 评论 -
面经:阿里巴巴机器学习算法与数据挖掘岗(4)
五、ResNet什么结构决定了它可以训练更深的网络?如何实现的?残差块(瓶颈结构)可以训练更深的网络, 主要意味着解决了反向传播过程中容易出现的梯度消失问题. 那我们就来看一下ResNet的梯度是如何通过“残差块”传递的:残差块由两部分组成:(1) residual mapping结构, 输出为F(x);注意这里的residual mapping 多为 1x1, 3x3, 1x1的结构,...原创 2020-04-10 22:03:45 · 351 阅读 · 0 评论 -
面经:阿里巴巴机器学习算法与数据挖掘岗(3):牛顿法与SGD的对比
四、为什么不使用二阶导求解优化算法?它的时间复杂度是多少?4.1 最优化问题的重要性对于几乎所有机器学习算法,无论是有监督学习、无监督学习,还是强化学习,最后一般都归结为求解最优化问题(通过目标函数对原模型求解转化为求最优化问题的解)。4.2 机器学习的解决问题的步骤总体来看,机器学习的核心目标是(1) 给出一个模型(一般是映射函数);(2) 然后定义对这个模型好坏的评价函数(目标函数...原创 2020-04-10 08:06:28 · 320 阅读 · 0 评论 -
面经:阿里机器学习算法与数据挖掘(2)-机器学习优化算法
算法的发展脉络很重要, 它能让你知道后面出现新的算法是解决了前面算法的什么问题, 要将机器学习优化算法当作一部电影来记忆, 具有起承转合, 而不是一页一页的幻灯片.三、对机器学习训练的优化算法的了解, 和SGD比怎么体现优化的?我提到了Adam、RMSprop、还有动量的优化算法, 继续问我,是如何实现优化的?这里介绍Momentum、AdaGrad、RMSprop、Adam四种优化算法....原创 2020-04-09 13:49:01 · 366 阅读 · 1 评论 -
面经: 阿里机器学习算法与数据挖掘(1)——理论基础不够, 只会拿来用用
本篇内容一、为什么鞍点比局部最小值更容易出现?二、介绍批量归一化的作用?将 Batch Norm 拟合进神经网络(Fitting Batch Norm into a neural network)(《DeepLearning》3.5)为什么Batch归一化会起作用呢?测试阶段的BN最后面试官问我有没有问题要问他, 我问了两个问题:1、机器学习与数据挖掘的岗位, 对python偏开发方面的能力要...原创 2020-04-08 13:57:16 · 300 阅读 · 0 评论 -
机器学习算法钻取: PCA
一、PCA作用(意义, 为啥要提出这个东西?)大概主成分分析(Principal components analysis,以下简称PCA)是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。二、PCA核心思想最大可分性:样本点在这个超平面上的投影能尽可能的分开三、PCA算法流程1、本质上而言, PCA是一种基变换的方法, 只是在变换的时候, 对基有“最大可分性”...原创 2020-04-06 12:07:53 · 944 阅读 · 0 评论 -
机器学习算法钻取:SVM(2)-面试题汇总
前言: 问题和答案请参考链接原文, 我这里只针对部分问题有不同意见或补充一、SVM的目标(硬间隔):一句话概括支持向量机的目标: 在样本正确分类的约束条件下, 使分类超平面间隔最大化. 在高维度的希尔伯特特征空间中, 样本一定是线性可分的.约束条件yi(XiTW+b)≥1\quad y_i(X_i^TW+b) \ge 1yi(XiTW+b)≥1,是有严格的数学理论依据的.因为SVM解决的...原创 2020-04-03 10:44:47 · 110 阅读 · 0 评论 -
机器学习算法钻取: SVM(1)-从理论层面理解(真的非常清楚详细了!)
支持向量机分类(1) 当训练样本线性可分时,通过硬间隔最大化,学习一个线性分类器,即线性可分支持向量机;(2) 当训练数据近似线性可分时,引入松弛变量,通过软间隔最大化,学习一个线性分类器,即线性支持向量机;(3) 当训练数据线性不可分时,通过使用核技巧及软间隔最大化,学习非线性支持向量机。参考文章:https://zhuanlan.zhihu.com/p/76946313SVM 为什...原创 2020-04-03 07:46:07 · 423 阅读 · 0 评论 -
机器学习算法钻取: 逻辑回归
前言: 为什么“算法钻取系列”开篇讲解逻辑回归?(首先, 我是要成为数据科学家的男人)要成为一个数据科学家最重要的是学习 pipeline ,这包括获取和处理数据的过程、了解数据、建立模型、评估结果 (模型和数据处理阶段) 和产品部署。先学习逻辑回归( logistic regression )能尽快地帮助你熟悉数据科学的 pipeline ,并且不会让你一开始就因为各种高阶、花哨的算法而迷失方...原创 2020-03-31 22:29:48 · 583 阅读 · 0 评论 -
饭店流量预测-多表关联+lightgbm
几点思考:1、对pandas的使用就像是操作SQL语句, 总体说是增删改查, 但是涉及到联表, 涉及到分组,涉及到不同数据类型的操作,就有很多tricks在里面, 这些tricks是需要在不断的学习->使用中不断精进和掌握;2、特征中包含datetime类型特征的时候, 可以依此分组构造新的时序特征,(1) 是否是周末?(2) 是一个月的第几天?(3) 趋势特征(4) 其他3、...原创 2020-03-26 12:51:31 · 1698 阅读 · 4 评论 -
模型选择与参数寻优
文章知识点一、解决数据量大, 读取操作数据慢的问题二、线性模型分析三、交叉验证概念四、绘制拟合曲线五、线性模型 & 嵌入式特征选择六、模型调参1、贪心算法2、网格搜索3、贝叶斯调参一、解决数据量大, 读取操作数据慢的问题reduce_mem_usage 函数通过调整数据类型,帮助我们减少数据在内存中占用的空间, 在未调整之前, 特征的数据类型固定为int16, float32, obj...原创 2020-03-24 15:42:05 · 1543 阅读 · 0 评论 -
特征工程-决定了结果的上限
一、异常值处理# 箱线图(3-Sigma)删除异常值def outliers_proc(data, col_name, scale=3): """ 用于清洗异常值,默认用 box_plot_outliers(scale=3)进行清洗 :param data: 接收 pandas 数据格式 :param col_name: pandas 列名 :param...原创 2020-03-24 09:33:55 · 487 阅读 · 0 评论 -
特征预处理- Kaggle比赛必须了解的数据预处理
数据科学之道:数据和特征决定了模型的上限文章目录对数/指数化离散化数值化正规化(正则化) L1 L2归一化标准化对数/指数化np.log([1, 2, 3, 4])np.exp([1, 2, 3, 4])离散化import numpy as npimport pandas as pdlst = [6,8,10,15,23,24,25,40,67]#等深分箱,平均处理数据长度,缺...原创 2020-03-06 07:18:18 · 806 阅读 · 0 评论 -
pandas数据分析使用技巧
1、被下单数最多商品(item)是什么c = chipo[['item_name','quantity']].groupby(['item_name'],as_index=False).agg({'quantity':sum})c.sort_values(['quantity'],ascending=False,inplace=True)c.head()2、在item_name这一列中,...原创 2020-03-05 15:56:38 · 1287 阅读 · 0 评论 -
机器学习与统计学的区别与联系
<link rel="dns-prefetch" href="//res.wx.qq.com"><div id="js_top_ad_area" class="top_banner"></div><div class="rich_media_inner"> <d...转载 2020-02-25 07:51:01 · 2744 阅读 · 0 评论