机器学习课程学习随笔

本文来源

本博客 是通过学习亚马逊的官方机器学习课程的随笔。
课程参考链接https://edu.csdn.net/course/detail/37264
课程目前更新了3小节，感触是官方的文档还是挺好看的，比较简练，可读性较好，有较好的发挥空间。

机器学习简介

机器学习流程

机器学习的过程包括：

提供数据
对数据进行processing处理建模，建模中要与数据中的结果进行比较，获得较好的模型
建模后进行预测。

机器学习可以完成如下功能：

机器学习可以完成如下功能:

前文说的预测:谁是世界杯冠军这种
优化：
提取隐藏的数据中的模式：从生物医学数据中提取隐藏的模式和证据,否则可以通过人工完成以节省大量时间，包括蛋白质结构堆叠
数据分类：这本书是什么类型的书籍，这份邮件是否为垃圾邮件等

机器学习应用场景

参考:浅析机器学习算法的应用场景！

金融领域

金融领域使用机器学习建模最多的场景就是风控。当然风控也要进行细分，主要应用机器学习建模的细分场景如下：
信用卡交易反欺诈：分类任务，GBDT算法+LR逻辑回归;
信用卡申请反欺诈：分类任务，GBDT算法+LR逻辑回归;
贷款申请反欺诈：分类任务，GBDT算法+LR逻辑回归;
反洗钱：分类任务，GBDT算法+LR逻辑回归;

目前看起来GBDT+LR是金融风控领域的常用算法。

零售领域

在零售领域，使用机器学习建模最多的场景也是推荐场景和搜索场景中的排序。APP上购物车页面提交订单时为用户推荐相似商品、推荐可能感兴趣的商品，以及针对什么样的用户推荐什么样的优惠券等等。
推荐：协同过滤CF算法、FM算法+LR排序模型、深度学习模型目前在推荐领域使用也十分广泛了。
除去推荐，零售领域还有一个使用机器学习建模比较多的场景，就是对某类商品进行销量预测，根据预测量来调整商品的供给。
销量预测：目前基本都转用LightGBM算法了；

这里附上之前Kaggle里面关于销量预测的case，排名第一的将自己的源码share出来的，感兴趣的可以自行下载研究。https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47582

零售领域还有一个应用非常多的场景，就是做供应链优化，物流调度，给外卖骑手配单等。但这部分不能算作机器学习，更多是运筹学的知识。目前国内做的比较好的是杉数科技。
供应链优化：运筹学的知识

机器学习分类

可以根据是否含有标签，把机器学习分为有监督和无监督问题，外加现在强化学习。

机器学习实现

基于python等代码自己实现

#Import Library
#Import other necessary libraries like pandas, numpy...
from sklearn import linear_model
#Load Train and Test datasets
#Identify feature and response variable(s) and values must be numeric and numpy arrays

x_train=input_variables_values_training_datasets
y_train=target_variables_values_training_datasets
x_test=input_variables_values_test_datasets

# Create linear regression object
linear = linear_model.LinearRegression()

# Train the model using the training sets and check score
linear.fit(x_train, y_train)
linear.score(x_train, y_train)

#Equation coefficient and Intercept
print('Coefficient: \n', linear.coef_)
print('Intercept: \n', linear.intercept_)

#Predict Output
predicted= linear.predict(x_test)

基于百度，华为的服务实现

基于亚马逊的AWS EMR 实现