机器学习、深度学习、人工智能现在火得不得了,有必要开始储备这方面的技术技能,早日点亮自己的技术树,为以后不被时代所抛弃奠定基础。以下分几个小节概述一下
一、几个技术的关系
研究学问,首先得把概念说清楚,所谓正本清源是也。在网上常常有人工智能、机器学习、深度学习等时髦名词漫天飞,在这里有必要说说他们的关系。
首先,人工智能是个大框,其内涵相当之丰富,其定义可以包括。
「通用人工智能(General AI)」概念:借由新兴计算机构建具有人类智力特征的复杂机器。拥有人类的所有感觉(甚至可能更多)、所有理智,像人类一样思考的神奇机器。
「狭义人工智能(Narrow AI)」概念:指的是能够将特殊任务处理得同人类一样好,或者更好的技术。狭义人工智能的相关案例比如有 Pinterest 上的图像分类、Facebook 中的人脸识别。
其次,机器学习属于人工智能的一种,是人工智能的一类实现方法。即运用算法来分析数据、从中学习、测定或预测现实世界某些事。不是手动编码带有特定指令设定的软件程序来完成某个特殊任务,而是使用大量的数据和算法来「训练」机器,赋予它学习如何执行任务的能力。
然后,深度学习呢,则源于神经网络,而神经网络则属于机器学习的一种。
通过以上分析,最后你会发现,这三者关系其实是一个包含包含的关系,即人工智能包含机器学习,机器学习包含深度学习。
网上也有数据挖掘,大数据处理等新名词。所谓数据挖掘呢,简单粗暴的说就是机器学习技术+数据库技术。而大数据处理技术是当处理的数据集满足所谓5v(数量量特别大,格式形态特别多、时效性特别快、价值特别大、结果要有准确性)等特点时,出现的对数据采集、处理、分析、可视化等一系列的技术解决方案。
二、应用方向
就机器学习来说,目前常用的应用方向包括:自然语言处理、视频处理、推荐算法,量化交易等等等。
1、自然语言处理包括:信息提取,自动摘要、文本分类、文本情感分析、问答系统、语言识别等等应用,现在很火的小冰就是其经典应用之一,其背后的技术点,包括文本分词、文本标注;其基础支撑的机器学习算法包括bayes算法、马尔科夫链等。
2、视频处理包括:图像识别、视频监控等应用,比如手写识别、从图片里面识别猫之类的就是其经典应用之一,还有视频监控中对非法闯入等的识别,以及所谓替代鉴黄师工作等也是经典应用,其背后的技术点包括图像特征提取、图像变换等;其基础支撑的机器学习算法包括深度学习,各种分类算法等。
3、推荐算法包括:物品推荐、好友推荐等,比如jd上的物品推荐,社交网络上的好友推荐,听歌网站的歌曲推进啊等,其背后的技术点包括基于物品的推荐,基于评价的推荐等等,其基础支撑的机器学习算法包括各类分类、聚类算法,各类降维算法等。
4、量化交易包括:股市趋势预测等,预测股市走势、寻找买卖点都是其应用,其背后有多种股市交易策略,什么捕鱼策略、海龟交易法等等,其基础的算法包括各类机器学习算法。
总的来说,机器学习已经深入到人们生活的方方面面,正在逐渐改变着人们的生活。
三、经典书目及库
经典书目很多大致分为基础类已经专业应用类
1、程序类
《利用python进行数据分析》《Python数据分析基础教程 NumPy学习指南 》《NumPy攻略 Python科学计算与数据分析》等
还有R语言,scala等也是应该学习的东西
2、机器学习基础类
《机器学习实战》《机器学习》(西瓜书)《数据挖掘概念与技术》《神经网络与深度学习》《神经网络与机器学习》等
2、大数据类
《数据挖掘 R语言实战》《mahout算法解析与案例》《mahout实战》《大数据spark企业级实战》等
3、自然语言处理类
《统计自然语言处理》《自然语言处理原理与技术实现》《python自然语言处理》
4、视频处理类
《python计算机视觉编程》《opencv3计算机视觉:python语言实现》等
5、推荐算法类
《推荐系统实践》《集体智慧编程》
6、量化交易类
《程序化交易实战》《量化投资策略与技术》等
经典库方面主要包括python的各类库:scapy(爬虫库,收集数据),numpy、scipy、pandas(数据处理方面库),matplotlib(数据可视化库),sklearn(python机器学习库),spark mllib(spark的大数据库),mahout(大数据库)等。