[置顶] 【机器学习PAI实践十一】机器学习PAI为你自动写歌词,妈妈再也不用担心我的freestyle了(提供数据、代码

背景最近互联网上出现一个热词就是“freestyle”,源于一个比拼rap的综艺节目。在节目中需要大量考验选手的freestyle能力,freestyle指的是rapper即兴的根据一段主题讲一串rap。freestyle除了考验一个人rap的技巧,其实我觉得最难的是如何在短时间内在脑海中浮现出有韵律的歌词。 PAI平台是阿里云人工智能平台,在上面可以通过最简单的拖拉拽的方式,完成对各种结构化以及...
阅读(931) 评论(1)

[置顶] 云端TensorFlow读取数据IO的高效方式

低效的IO方式最近通过观察PAI平台上TensoFlow用户的运行情况,发现大家在数据IO这方面还是有比较大的困惑,主要是因为很多同学没有很好的理解本地执行TensorFlow代码和分布式云端执行TensorFlow的区别。本地读取数据是server端直接从client端获得graph进行计算,而云端服务server在获得graph之后还需要将计算下发到各个worker处理(具体原理可以参考视频教程...
阅读(1822) 评论(1)

[置顶] 普通程序员如何入门AI

毫无疑问,人工智能是目前整个互联网领域最火的行业,随着AlphaGo战胜世界围棋冠军,以及各种无人驾驶、智能家居项目的布道,人们已经意识到了AI就是下一个风口。当然,程序员是我见过对于新技术最敏感的一个人群,举一个例子:当TensorFlow刚刚面世的时候,几乎所有搞大数据的同学一见面就开始交流这方面的内容,仿佛所有人一夜之间成了“TFboys”(tensorflow_boys)。我觉得之所以程序员...
阅读(3448) 评论(2)

[置顶] 为什么要写《机器学习实践应用》这本书

预售地址: https://item.jd.com/12114501.html历经了10个月,《机器学习实践应用》这本书终于面世了。首先呢,因为我的工作比较忙,只能抽一些周末或者是下班以后的时间进行写作,另外书的发布流程是一个漫长的过程。所以当这本书出版的时候,我感到熟悉又陌生,熟悉是因为书中的内容经过了多次校对已经印到我的脑子中了,陌生是距离刚开始写这本书已经过去接近一年,对于当时的状态有一些陌...
阅读(1872) 评论(1)

[置顶] 【机器学习PAI实践九】如何通过机器学习实现云端实时心脏状况监测

如何通过PAI实现云端实时心脏状况监测背景我们通过之前的案例已经为大家介绍了如何通过常规的体检数据预测心脏病的发生,请见http://blog.csdn.net/buptgshengod/article/details/53609878。通过前文的案例我们可以生成一个算法模型,通过向这个模型输入用户实时的体检数据就会返回用户患有心胀病的概率。那么我们该如何搭建这套实时监测用户健康情况的服务呢?PAI...
阅读(807) 评论(0)

[置顶] 如何用PYTHON代码写出音乐

如何用PYTHON代码写出音乐什么是MIDI博主本人虽然五音不全,而且唱歌还很难听,但是还是非常喜欢听歌的。我一直在做这样的尝试,就是通过人工智能算法实现机器自动的作词和编曲(在这里预告下,通过深度学习写歌词已经实现了,之后会分享给大家),本文我们主要聊下如何写曲。 说到用代码写曲子,有一个东西大家一定要了解就是MIDI。MIDI是一种乐器数字接口,是编曲界最广泛的音乐标准格式。MIDI并不是真正...
阅读(1620) 评论(0)

[置顶] 【机器学习PAI实践八】用机器学习算法评估学生考试成绩

(本文数据为实验用例)一、背景母亲是老师反而会对孩子的学习成绩造成不利影响?能上网的家庭,孩子通常能取得较好的成绩?影响孩子成绩的最大因素居然是母亲的学历?本文通过机器挖掘算法和中学真实的学生数据为您揭秘影响中学生学业的关键因素有哪些。本文的数据采集于某中学在校生的家庭背景数据以及在校行为数据。通过逻辑回归算法生成离线模型和学业指标评估报告,并且可以对学生的期末成绩进行预测。同时,生成在线预测API...
阅读(1853) 评论(4)

[置顶] 【机器学习PAI实践七】文本分析算法实现新闻自动分类

一、背景新闻分类是文本挖掘领域较为常见的场景。目前很多媒体或是内容生产商对于新闻这种文本的分类常常采用人肉打标的方式,消耗了大量的人力资源。本文尝试通过智能的文本挖掘算法对于新闻文本进行分类。无需任何人肉打标,完全由机器智能化实现。本文通过PLDA算法挖掘文章的主题,通过主题权重的聚类,实现新闻自动分类。包括了分词、词型转换、停用词过滤、主题挖掘、聚类等流程。二、数据集介绍具体字段如下: 字...
阅读(951) 评论(0)

[置顶] 【机器学习PAI实践六】金融贷款发放预测

一、背景很多农民因为缺乏资金,在每年耕种前会向相关机构申请贷款来购买种地需要的物资,等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据,包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型,通过这个模型来预测受贷人的还款能力。 本文借助真实的农业贷款业务场景,利用回归算法解决贷款发放业务。 线性回归,是利用数理统计中回归分析,来确定两种或两种以上变量...
阅读(2602) 评论(0)

[置顶] 【机器学习PAI实践五】机器学习眼中的《人民的名义》

一、背景 最近热播的反腐神剧“人民的名义”掀起来一波社会舆论的高潮,这部电视剧之所能得到广泛的关注,除了老戏骨们精湛的演技,整部剧出色的剧本也起到了关键的作用。笔者在平日追剧之余,也尝试通过机器学习算法对人民的名义的部分剧集文本内容进行了文本分析,希望从数据的角度得到一些输入。本文使用阿里云机器学习PAI,主要针对以下几个方面进行了实验: 分词以及词频统计 每一章的关键词提取 每一章的文本摘要...
阅读(2421) 评论(1)

[置顶] 【机器学习PAI实践四】如何实现金融风控

(本文数据为虚构,仅供实验)一、背景本文将针对阿里云平台上图算法模块来进行实验。图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同,图算法需要把数据整理成首尾相连的关系图谱。图算法更多的是考虑边和点的概念。阿里云机器学习平台上提供了丰富的图算法组件,包括K-Core、最大联通子图、标签传播聚类等。 本文的业务场景如下: 下图是已知的一份人物通联关系图,每两个人之间的连线表示两人有一定...
阅读(1879) 评论(0)

[置顶] 【机器学习PAI实践三】雾霾成因分析

产品地址:https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2一、背景 如果要人们评选当今最受关注话题的top10榜单,雾霾一定能够入选。如今走在北京街头,随处可见带着厚厚口罩的人在埋头前行,雾霾天气不光影响了人们的出行和娱乐,对于人们的健康也有很大危害。本文通过爬取并分析北京一年来的真实天气数据,挖掘出二氧...
阅读(954) 评论(0)

[置顶] 【机器学习PAI实践二】人口普查统计

产品地址:https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2一、背景感谢大家关注玩转数据系列文章,我们希望通过在阿里云机器学习平台上提供demo数据并搭建相关的实验流程的方式来帮助大家学习如何通过算法来挖掘数据中的价值。本系列文章包含详细的实验流程以及相关的文档教程,欢迎大家进入阿里云数加机器学习平台体验。实...
阅读(2342) 评论(1)

[置顶] 【机器学习PAI实践一】搭建心脏病预测案例

产品地址:https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2一、背景心脏病是人类健康的头号杀手。全世界1/3的人口死亡是因心脏病引起的,而我国,每年有几十万人死于心脏病。 所以,如果可以通过提取人体相关的体侧指标,通过数据挖掘的方式来分析不同特征对于心脏病的影响,对于预测和预防心脏病将起到至关重要的作用。本文...
阅读(2311) 评论(9)

[置顶] Android系统截屏的实现(附代码)

1.背景           写博客快两年了,写了100+的文章,最火的文章也是大家最关注的就是如何实现android系统截屏。其实我们google android_screen_shot就会找到很对办法,但那些都是很多年前的了,在android4.*版本后,android对于源码进行了更正,使得以前的方法都不能够使用。       感谢cjd6568358这名网友,我们一起讨论,最终由他实现了a...
阅读(15481) 评论(43)

《机器学习实践应用》书中源代码

下载地址:https://github.com/jimenbian/GarvinBook 注:本书代码部分参考了互联网资源,已在书中注明引用。 本项目代码严格遵循MIT开源协议,请大家用于参考和学习用途,谢谢。 文件夹名对应书中章节代码。 购书链接: https://item.jd.com/12114501.html本书简介《机器学习实践应用》是人民出版社于2017年7月出版的图...
阅读(157) 评论(0)

【机器学习PAI实践十二】机器学习实现男女声音识别分类(含语音特征提取数据和代码)

背景随着人工智能的算法发展,对于非结构化数据的处理能力越来越受到重视,这里面的关键一环就是语音数据的处理。目前,许多关于语音识别的应用案例已经影响着我们的生活,例如一些智能音箱中利用语音发送指令,一些搜索工具利用语音输出文本代替键盘录入。本文我们将针对语音识别中最简单的案例“男女声音”识别,结合本地的R工具以及机器学习PAI,为大家进行介绍。通过本案例,可以将任何用户的语音数据标记出性别,并且保持高...
阅读(285) 评论(0)

机器学习之正则化图文讲解

1. The Problem of Overfitting1还是来看预测房价的这个例子,我们先对该数据做线性回归,也就是左边第一张图。如果这么做,我们可以获得拟合数据的这样一条直线,但是,实际上这并不是一个很好的模型。我们看看这些数据,很明显,随着房子面积增大,住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。我们把此类情况称为欠拟合(underfitting),或者叫...
阅读(200) 评论(0)

揭秘IPHONE X刷脸认证的技术奥秘

苹果最新发布的Iphone X具有一个全新的功能叫做刷脸认证,背后的技术其实是生物密码的更新,通过人脸识别取代了传统的指纹识别,大家肯定对这种新技术非常感兴趣,下面我们通过这篇文章为大家介绍人脸识别的一些技术原理。  随着深度学习、神经网络和人工智能等技术的发展,生物识别技术逐渐成熟。所谓生物识别技术就是利用人体固有的、具有唯一性的先天生物生理特征,像人脸、指纹、掌纹等,和后天形成的行为习惯,如笔...
阅读(502) 评论(0)

非平衡数据集的机器学习常用处理方法

定义:不平衡数据集:在分类等问题中,正负样本,或者各个类别的样本数目不一致。例子:在人脸检测中,比如训练库有10万张人脸图像,其中9万没有包含人脸,1万包含人脸,这个数据集就是典型的不平衡数据集。 直观的影响就是,用这些不平衡的数据训练出来的模型,其预测结果偏向于训练数据中数据比较多的那一类,在人脸检测的例子中,就是检测器的检测结果大部分都偏向于没有检测到人脸图像。 另外一个不平衡数据集,就是信用...
阅读(209) 评论(0)

最通俗易懂的解读比特币相关原理

周末花时间看了一些比特币原理相关的资料,虽然不敢说把每个细节都完全搞懂了,不过整体思路和关键部分的主要原理还是比较明白。写一篇文章分享给大家。这篇文章的定位会比较科普,尽量用类比的方法将比特币的基本原理讲出来。这篇文章不会涉及算法和协议中比较细节的部分,打算后面会再写一篇程序员视角下的比特币原理,那里会从技术人员的视角对比特币系统中较为关键的数据结构、算法和协议进行一些讲解。在这篇文章中我会给出一...
阅读(222) 评论(0)

如何通俗地理解 Gradle?

作者:nonesuccess链接:https://www.zhihu.com/question/30432152/answer/79547641来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。你都说了要通俗的理解,那就用不着学习什么理论了,通俗着来就是了。通俗的说:gradle是打包用的。你觉得解决你的问题了吗?如果没解决,那是你的问题提得不够好。比如我猜你应该提:为...
阅读(113) 评论(0)

普通程序员如何转向AI方向

一. 目的  本文的目的是给出一个简单的,平滑的,易于实现的学习方法,帮助 “普通” 程序员踏入AI领域这个门。这里,我对普通程序员的定义是:拥有大学本科知识;平时工作较忙;自己能获取的数据有限。因此,本文更像是一篇 “from the scratch” 的AI入门教程。 二. AI领域简介  AI,也就是人工智能,并不仅仅包括机器学习。曾经,符号与逻辑被认为是人工智能实现的关键,而如今则是基于统...
阅读(383) 评论(0)

四张图揭秘中国AI人才现状

本文数据来源:领英《全球AI领域人才报告》最近有非常多的同学看了之前我们的一些文章和直播之后,多对AI领域跃跃欲试,本文我们结合一份人才报告(我个人感觉这份报告还是比较靠谱的),为大家揭秘中国AI人才现状。目前中国AI人才存量5万,根据领英的job需求显示,截止2016年AI人才需求达到44万,人才细分领域表:AI从业者学历普遍较高,研究生以上人员占比62.1%,分布如图:AI领域人才输出的top...
阅读(291) 评论(0)

阿里巴巴机器学习系列课程

亲爱的同学们,福利来临!随着机器学习领域的发展越来越火,阿里云机器学习PAI为广大机器学习爱好的学生提供免费的一站式算法平台,该平台提供上百种算法,并且兼容TensorFlow、Caffe、MXNET等深度学习框架,学生们还可以免费使用M40 GPU卡,这么好的福利到哪里去领呢?点击开通机器学习PAI:https://data.aliyun.com/product/learn【新手必读,请务必要开...
阅读(809) 评论(15)

【转知乎】人工智能会是泡沫吗?

两个高票回答我觉得都挺有道理,周一大早可以先干杯鸡汤。1.作者:姚冬链接:https://www.zhihu.com/question/53128666/answer/208724850来源:知乎一定是泡沫,而且这个泡沫一定会破但是,最厉害的就是这个但是,泡沫破裂不表示人工智能完蛋。别的行业不太了解,至少IT行业是个经常性泡沫的行业,我们今天使用的技术产品都经历过泡沫阶段,比如 门户网站,社交网络...
阅读(730) 评论(3)

AI类人工智能产品经理的丛林法则

AI是大家都很关注的领域,然而对于大部分想要入行的同学来讲,AI的算法技术门槛相对较高,让很多空有热血但是缺少数学背景的同学望而却步。不知道什么时候,可能是“人人都是产品经理”这个论调的影响,产品经理这个岗位逐渐变成IT领域除了纯开发岗位之外的第二选择。对于AI这个领域也不例外,产品经理这样的岗位也渐渐成为竞相争取的“肥差”,刚好我也在大厂做了一段时间的人工智能品类产品的工作,结合我的经历谈一谈这方...
阅读(318) 评论(0)

【机器学习PAI实践十二】机器学习算法基于信用卡消费记录做信用评分

背景如果你是做互联网金融的,那么一定听说过评分卡。评分卡是信用风险评估领域常用的建模方法,评分卡并不简单对应于某一种机器学习算法,而是一种通用的建模框架,将原始数据通过分箱后进行特征工程变换,继而应用于线性模型进行建模的一种方法。 评分卡建模理论常被用于各种信用评估领域,比如信用卡风险评估、贷款发放等业务。另外,在其它领域评分卡常被用来作为分数评估,比如常见的客服质量打分、芝麻信用分打分等等。在本...
阅读(530) 评论(0)

【机器学习PAI实践十】深度学习Caffe框架实现图像分类的模型训练

背景我们在之前的文章中介绍过如何通过PAI内置的TensorFlow框架实验基于Cifar10的图像分类,文章链接:https://yq.aliyun.com/articles/72841。使用Tensorflow做深度学习做深度学习的网络搭建和训练需要通过PYTHON代码才能使用,对于不太会写代码的同学还是有一定的使用门槛的。本文将介绍另一个深度学习框架Caffe,通过Caffe只需要填写一些配置...
阅读(1055) 评论(0)
261条 共14页1 2 3 4 5 ... 下一页 尾页
    我的微信公众号

    作者公众号:凡人机器学习

    凡人机器学习

    作者新书《机器学习实践应用》

    主要讲述算法和业务的结合,适合初学者

    机器学习实践应用

    京东地址

    个人资料
    • 访问:718743次
    • 积分:9933
    • 等级:
    • 排名:第1872名
    • 原创:219篇
    • 转载:39篇
    • 译文:0篇
    • 评论:443条
    博客专栏
    统计