机器学习入门简介

最新推荐文章于 2024-08-02 19:09:44 发布

时间_实践

最新推荐文章于 2024-08-02 19:09:44 发布

阅读量378

点赞数

本文链接：https://blog.csdn.net/qq595662096/article/details/90200270

版权

机器学习

Java、Python是一门语言，机器学习是一门技术或方法，数据挖掘是一件事情。

语言------------------------->机器学习----------------------->数据挖掘、模式识别、人工智能

也许你和这个叫『机器学习』的家伙一点也不熟，但是你举起iphone手机拍照的时候，早已习惯它帮你框出人脸；也自然而然点开今日头条推给你的新闻；也习惯逛淘宝点了找相似之后货比三家；亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩，这些功能的核心算法就是机器学习领域的内容。

什么是机器学习

机器学习的定义：

机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身。简单一点说，就是计算机从数据中学习出规律和模式，以应用在新数据上做预测的任务。近年来互联网数据大爆炸，数据的丰富度和覆盖面远远超出人工可以观察和总结的范畴，而机器学习的算法能指引计算机在海量数据中，挖掘出有用的价值，也使得无数学习者为之着迷。

机器学习是一门能够挖掘数据价值与应用的学科。

1956年AI 人工智能，机器学习就是为了解决AI中某一部分问题而提出来，后来就独立发展成为了一门学科。深度学习，Deeplearning，是更高级的机器学习方法。

数据怎么得到？

APP、网站，生活中处处都是数据，通过机器学习领域中的学习方法将这些数据转化为信息或者知识，这个过程就是我们机器学习的目的。

为什么说现在是进入机器学习领域的最佳时间？

近几年发展有了不少的成熟的机器学习库：

Python的Scikit-learn

Spark的SparkMLlib和SparkR

Java的Weka

我们不在需要一步一步的实现算法的源码，我们只需要会调用学习机器学习库中的模型或者方法即可。

机器学习关注问题

并非所有的问题都适合用机器学习解决(很多逻辑清晰的问题用规则能很高效和准确地处理)，也没有一个机器学习算法可以通用于所有问题。咱们先来了解了解，机器学习，到底关心和解决什么样的问题。

从功能的角度分类，机器学习在一定量级的数据上，可以解决下列问题：

1.分类问题

根据数据样本上抽取出的特征，判定其属于有限个类别中的哪一个。比如：

垃圾邮件识别(结果类别：1、垃圾邮件 2、正常邮件)

文本情感褒贬分析(结果类别：1、褒 2、贬)

图像内容识别识别(结果类别：1、喵星人 2、汪星人 3、人类 4、草泥马 5、都不是)。

2.回归问题

根据数据样本上抽取出的特征，预测一个连续值的结果。比如：

星爷《美人鱼》票房

帝都2个月后的房价

3.聚类问题

根据数据样本上抽取出的特征，让样本抱抱团(相近/相关的样本在一团内)。比如：

google的新闻分类

用户群体划分

我们再把上述常见问题划到机器学习最典型的2个分类上。

分类与回归问题需要用已知结果的数据做训练，属于“监督学习。

聚类的问题不需要已知标签，属于“非监督学习”。

如果在IT行业(尤其是互联网)里溜达一圈，你会发现机器学习在以下热点问题中有广泛应用：

1.计算机视觉

典型的应用包括：人脸识别、车牌识别、扫描文字识别、图片内容识别、图片搜索等等。

2.自然语言处理

典型的应用包括：搜索引擎智能匹配、文本内容理解、文本情绪判断，语音识别、输入法、机器翻译等等。

3.社会网络分析

典型的应用包括：用户画像、网络关联分析、欺诈作弊发现、热点发现等等。

4.推荐

典型的应用包括：虾米音乐的“歌曲推荐”，某宝的“猜你喜欢”等等。

机器学习需要具备的知识

『数学基础』『典型机器学习算法』『编程基础』

有无数激情满满大步向前，誓要在机器学习领域有一番作为的同学，在看到公式的一刻突然就觉得自己无望了。是啊，机器学习之所以相对于其他开发工作，更有门槛的根本原因就是数学。每一个算法，要在训练集上最大程度拟合同时又保证泛化能力，需要不断分析结果和数据，调优参数，这需要我们对数据分布和模型底层的数学原理有一定的理解。所幸的是如果只是想合理应用机器学习，而不是做相关方向高精尖的research，需要的数学知识啃一啃还是基本能理解下来的。

3.1.1 微积分

微分的计算及其几何、物理含义，是机器学习中大多数算法的求解过程的核心。比如算法中运用到梯度下降法、牛顿法等。如果对其几何意义有充分的理解，就能理解“梯度下降是用平面来逼近局部，牛顿法是用曲面逼近局部”，能够更好地理解运用这样的方法。

凸优化和条件最优化的相关知识在算法中的应用随处可见，如果能有系统的学习将使得你对算法的认识达到一个新高度。

3.1.2 线性代数

大多数机器学习的算法要应用起来，依赖于高效的计算，这种场景下，程序员GG们习惯的多层for循环通常就行不通了，而大多数的循环操作可转化成矩阵之间的乘法运算，这就和线性代数有莫大的关系了

向量的内积运算更是随处可见。

矩阵乘法与分解在机器学习的主成分分析（PCA）和奇异值分解（SVD）等部分呈现刷屏状地出现。

3.1.3 概率与统计

从广义来说，机器学习在做的很多事情，和统计层面数据分析和发掘隐藏的模式，是非常类似的。

极大似然思想、贝叶斯模型是理论基础，朴素贝叶斯(Na?ve Bayes )、语言模型(N-gram)、隐马尔科夫（HMM）、隐变量混合概率模型是他们的高级形态。

常见分布如高斯分布是混合高斯模型(GMM)等的基础。

3.3.1 python

python有着全品类的数据科学工具，从数据获取、数据清洗到整合各种算法都做得非常全面。

网页爬虫: scrapy

数据科学处理框架:

pandas：模拟R，进行数据浏览与预处理。

numpy：数组运算。

scipy：高效的科学计算。

matplotlib：非常方便的数据可视化工具。

机器学习:

scikit-learn：远近闻名的机器学习package。未必是最高效的，但是接口真心封装得好，几乎所有的机器学习算法输入输出部分格式都一致。而它的支持文档甚至可以直接当做教程来学习，非常用心。对于不是非常高纬度、高量级的数据，scikit-learn胜任得非常好(有兴趣可以看看sklearn的源码，也很有意思)。

libsvm：高效率的svm模型实现(了解一下很有好处，libsvm的系数数据输入格式，在各处都非常常见)

keras/TensorFlow：对深度学习感兴趣的同学，也能很方便地搭建自己的神经网络了。

自然语言处理:

nltk：自然语言处理的相关功能做得非常全面，有典型语料库，而且上手也非常容易。

交互式环境：

ipython notebook：能直接打通数据到结果的通道，方便至极。强力推荐。

3.3.2 R

R最大的优势是开源社区，聚集了非常多功能强大可直接使用的包，绝大多数的机器学习算法在R中都有完善的包可直接使用，同时文档也非常齐全。常见的package包括：RGtk2, pmml, colorspace, ada, amap, arules, biclust, cba, descr, doBy, e1071, ellipse等等。另外，值得一提的是R的可视化效果做得非常不错，而这对于机器学习是非常有帮助的。