关闭
当前搜索:

[特征工程系列三]显性特征的衍生

前一文讲的是一些特征的基础处理方式,包括怎么降维、怎么处理脏数据等等。其实特征工程真正的难点是如何结合业务需求衍生出新的特征。结合业务需求讲的是利用专家经验来提取出数据里对结果影响更大的特征,往往是原有数据字段通过加减乘除等操作生成新的字段,这些字段在结合一些线性算法做训练的时候往往能起到提升模型效果的作用,接下来就简单介绍下特征衍生。因为衍生特征这个方法是需要结合业务特点的,范围太广,所以本文就...
阅读(54) 评论(0)

[特征工程系列二]显性特征的基本处理方法

今天接着前一篇文章讲,主要分享基于显性特征工程的一些最基本的处理方法。关于显性特征是什么,大家可以去看系列文章一。关于显性特征的处理方法可以做这样的类比:不知道大家平时会不会自己做菜,我个人的话基本每周都会做。我们从菜市场买的菜,不经过处理是不能下锅的,因为需要清洗、摘取烂的叶子、切段等操作后才可以下锅。如果把机器学习整个流程比做炒一盘青菜的话,今天要介绍这些方式就有点像菜的前期处理过程。那我们就...
阅读(62) 评论(0)

[特征工程系列一] 论特征的重要性

满打满算,还有十天左右就要过年了,这些天大家或多或少都有点浮躁。反过来想,趁大家都懈怠的时候,正是学习的最佳时机。趁着这几天,也给自己加点码,去认真的再看一下特征工程。我给自己列了下面的这一份学习清单,也会在过年前后逐一分享给大家。《特征工程系列二,显性特征的基本处理方法》:讲一下如何处理数据特征,以及最基本的概念《特征工程三,显性特征的衍生》:准备通过NBA球星的数据,展示下特征的衍生的一些概念...
阅读(99) 评论(0)

深度学习实现NBA球星颜值打分完整案例(二)

已经上传了完整的代码和数据,数据比较少,大家可以帮忙补充。项目地址(记得给个start):https://github.com/jimenbian/face_rank 最近咳嗽加班比较严重,耽误了几天,今天接着之前的文章来讲。在上一篇文章中我们已经生成了预测模型,今天要做的事情很简单,就是调用这个模型针对某一张人脸图片进行分类,看看究竟把这个人按照颜值分到class1(好看的一类)还是class2...
阅读(110) 评论(0)

[置顶] 用深度学习做球星颜值打分完整案例(一)

已经上传了完整的代码和数据,数据比较少,大家可以帮忙补充。项目地址(记得给个start):https://github.com/jimenbian/face_rank先来说一下项目的背景,这次做的是一个最基础的图像识别案例,通过训练一个模型来给NBA球星的颜值打分,嗯,楼主麦迪、艾弗森球迷。选择NBA的数据是因为,NBA球星都有正装照,比较好收集。我们最终呈现的效果是这样的:先收集球星大脸照,标记...
阅读(760) 评论(0)

GPU高效通信算法-Ring Allreduce

今天介绍一种新的GPU多卡计算的通信优化算法—Ring Allreduce。先来讲一下常规的GPU多卡分布式计算的原理。第一点:我们知道GPU在矩阵并行化计算方面非常有优势,所以适合深度学习的训练。第二点:使用多个GPU卡训练同一个深度学习任务就是分布式计算。第三点:在分布式计算过程中,需要对计算任务资源进行分片,通常的方式是将完整的网络结构放到每一个GPU上,然后将训练数据进行分片分发到不同的G...
阅读(415) 评论(0)

[置顶] 深度学习RNN实现股票预测实战(附数据、代码)

背景知识最近再看一些量化交易相关的材料,偶然在网上看到了一个关于用RNN实现股票预测的文章,出于好奇心把文章中介绍的代码在本地跑了一遍,发现可以work。于是就花了两个晚上的时间学习了下代码,顺便把核心的内容翻译成中文分享给大家。 首先讲讲对于股票预测的理解,股票是一种可以轻易用数字表现律动的交易形式。因为大数定理的存在,定义了世间所有的行为都可以通过数字表示,并且存在一定的客观规律。股票也不例外...
阅读(1657) 评论(0)

机器学习入门书籍导读-工程高等代数

今天要分享的是一本叫做《工程高等代数》的书,这门课简称高工代,应该很多工科生都会要求学的吧,我看的这版我觉得应该算内容比较全的,是北邮出版的不太好找,我直接把购买链接贴到这:https://item.taobao.com/item.htm?spm=a230r.1.14.16.3a7b277aWakAbA&id=562751363364&ns=1&abbucket=4#detail推荐指数:4颗星这...
阅读(233) 评论(0)

彻底搞懂CNN

上世纪科学家们发现了几个视觉神经特点,视神经具有局部感受眼,一整张图的识别由多个局部识别点构成;不同神经元对不同形状有识别能力,且视神经具有叠加能力,高层复杂的图案可以由低层简单线条组成。之后人们发现经过conclusional的操作,可以很好反映视神经处理计算的过程,典型的是1998年LeCun发明的LeNet-5,可以极大地提升识别效果。本文主要就convolutional layer、poo...
阅读(654) 评论(0)

机器学习入门书籍导读-高等数学上

我们每周会更新一篇关于机器学习入门书籍的导读文章,会覆盖数学、编程、机器学习算法理论以及机器学习应用这四个板块。希望通过这些导读文章,可以帮助同学们更有针对性的掌握机器学习相关的内容。今天我们要讲的是我觉得整个学习体系中最重要的一本书,由同济大学数学系编制的高等数学上册,这本书非常之经典,是很多大学大一的数学入门教材,也是学习机器学习必备的一本经典书籍。难度适中,知识点齐全,强烈推荐,大家可以买一...
阅读(639) 评论(0)

TensorFlow Lite+Android,Google要搞的大事情

近日谷歌开源了TensorFlow的终端版本TensorFlow Lite,这个版本的发布其实早在预料之中,但又能从这件事看出未来谷歌整个生态版图的一些端倪,接下来就让博主为大家分析一下。首先为什么说TensorFlow Lite的发布早在意料之中呢?因为TensorFlow在之前的版本中已经发布了Android可运行的版本,我们知道Android是谷歌的另一大开源利器,也就是说谷歌从一开始就设想...
阅读(1178) 评论(0)

[置顶] 【机器学习PAI实践十二】机器学习实现双十一购物清单的自动商品标签归类

背景双十一购物狂欢节马上又要到来了,最近各种关于双十一的爆品购物列表在网上层出不穷。如果是网购老司机,一定清楚通常一件商品会有很多维度的标签来展示,比如一个鞋子,它的商品描述可能会是这样的“韩都少女英伦风系带马丁靴女磨砂真皮厚底休闲短靴”。如果是一个包,那么它的商品描述可能是“天天特价包包2016新款秋冬斜挎包韩版手提包流苏贝壳包女包单肩包”。 每个产品的描述都包含非常多的维度,可能是时间、产地、...
阅读(3675) 评论(2)

一组图诠释CNN及RNN的区别

CNN和RNN是深度学习中运用最多的两种深度学习网络结构,可能有些同学还不太清楚这两种网络的区别,今天刚好看到了一张图可以比较清楚的解释CNN及RNN的区别。  首先,CNN对于输入数据的维度约束是比较严重的,比如用CNN训练一个图像识别的model,训练的图片像素是48*48的,那么在预测的时候,也需要把所有的预测图片转成48*48。这个约束在图像识别方面可能表现的并不是那么明显,人们可以说:大...
阅读(715) 评论(0)

《机器学习实践应用》书中源代码

下载地址:https://github.com/jimenbian/GarvinBook 注:本书代码部分参考了互联网资源,已在书中注明引用。 本项目代码严格遵循MIT开源协议,请大家用于参考和学习用途,谢谢。 文件夹名对应书中章节代码。 购书链接: https://item.jd.com/12114501.html本书简介《机器学习实践应用》是人民出版社于2017年7月出版的图...
阅读(526) 评论(0)

【机器学习PAI实践十二】机器学习实现男女声音识别分类(含语音特征提取数据和代码)

背景随着人工智能的算法发展,对于非结构化数据的处理能力越来越受到重视,这里面的关键一环就是语音数据的处理。目前,许多关于语音识别的应用案例已经影响着我们的生活,例如一些智能音箱中利用语音发送指令,一些搜索工具利用语音输出文本代替键盘录入。本文我们将针对语音识别中最简单的案例“男女声音”识别,结合本地的R工具以及机器学习PAI,为大家进行介绍。通过本案例,可以将任何用户的语音数据标记出性别,并且保持高...
阅读(1343) 评论(0)

机器学习之正则化图文讲解

1. The Problem of Overfitting1还是来看预测房价的这个例子,我们先对该数据做线性回归,也就是左边第一张图。如果这么做,我们可以获得拟合数据的这样一条直线,但是,实际上这并不是一个很好的模型。我们看看这些数据,很明显,随着房子面积增大,住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。我们把此类情况称为欠拟合(underfitting),或者叫...
阅读(455) 评论(0)

揭秘IPHONE X刷脸认证的技术奥秘

苹果最新发布的Iphone X具有一个全新的功能叫做刷脸认证,背后的技术其实是生物密码的更新,通过人脸识别取代了传统的指纹识别,大家肯定对这种新技术非常感兴趣,下面我们通过这篇文章为大家介绍人脸识别的一些技术原理。  随着深度学习、神经网络和人工智能等技术的发展,生物识别技术逐渐成熟。所谓生物识别技术就是利用人体固有的、具有唯一性的先天生物生理特征,像人脸、指纹、掌纹等,和后天形成的行为习惯,如笔...
阅读(1367) 评论(0)

普通程序员如何转向AI方向

一. 目的  本文的目的是给出一个简单的,平滑的,易于实现的学习方法,帮助 “普通” 程序员踏入AI领域这个门。这里,我对普通程序员的定义是:拥有大学本科知识;平时工作较忙;自己能获取的数据有限。因此,本文更像是一篇 “from the scratch” 的AI入门教程。 二. AI领域简介  AI,也就是人工智能,并不仅仅包括机器学习。曾经,符号与逻辑被认为是人工智能实现的关键,而如今则是基于统...
阅读(713) 评论(0)

四张图揭秘中国AI人才现状

本文数据来源:领英《全球AI领域人才报告》最近有非常多的同学看了之前我们的一些文章和直播之后,多对AI领域跃跃欲试,本文我们结合一份人才报告(我个人感觉这份报告还是比较靠谱的),为大家揭秘中国AI人才现状。目前中国AI人才存量5万,根据领英的job需求显示,截止2016年AI人才需求达到44万,人才细分领域表:AI从业者学历普遍较高,研究生以上人员占比62.1%,分布如图:AI领域人才输出的top...
阅读(694) 评论(0)

阿里巴巴机器学习系列课程

亲爱的同学们,福利来临!随着机器学习领域的发展越来越火,阿里云机器学习PAI为广大机器学习爱好的学生提供免费的一站式算法平台,该平台提供上百种算法,并且兼容TensorFlow、Caffe、MXNET等深度学习框架,学生们还可以免费使用M40 GPU卡,这么好的福利到哪里去领呢?点击开通机器学习PAI:https://data.aliyun.com/product/learn【新手必读,请务必要开...
阅读(1917) 评论(16)
39条 共2页1 2 下一页 尾页
    我的微信公众号

    作者公众号:凡人机器学习

    凡人机器学习

    机器学习微信交流群
    为了方便大家学习与交流,凡人云近日已开通机器学习社群! 分享“凡人机器学习”公众号名片到40人以上的大群并截图给小助手,小助手就会拉你入群 在这里你可以得到: 1.各种学术讨论 2.最新的资料分享 3.不定期的征文以及联谊活动! 小助手微信号:meiwznn
    作者新书《机器学习实践应用》

    主要讲述算法和业务的结合,适合初学者

    机器学习实践应用

    京东地址

    个人资料
    • 访问:844001次
    • 积分:11271
    • 等级:
    • 排名:第1679名
    • 原创:236篇
    • 转载:40篇
    • 译文:0篇
    • 评论:460条
    博客专栏
    统计