分享
不埋雷的探长
深耕BigData技术，专注于大数据技术领域的知识分享。CSDN认证博客专家，目前就职于腾讯，内推可私聊~ 热爱软件，喜欢编程的阳光小伙子~ 千万千万不要放弃学习，千万千万要搞好人际关际，共勉~
展开
-
机器学习 —— 聚类算法--商业选址案例
一、聚类算法描述聚类是一个将数据集中在某些方面相似的数据成员进行分类组织的过程。二、聚类算法特点聚类算法就是一种发现这种内在结构的算法，聚类算法是一种无监督学习算法，其特点如下：1、是一种无监督学习，只有数据，没标签y 2、试图通过数据间的关系发现一定的模式 3、可以作为监督学习中稀疏特征的预处理（聚类算法一般用于辅助监督学习方法，提供基础数据）三、场景实例1、基于用户位置信息的商业选址 2、生物种群固有结构认知 3、电商用户聚类四、算法 - KmeansK-means算原创 2020-11-16 12:23:44 · 2978 阅读 · 2 评论 -
机器学习 —— 回归算法--共享单车案例
目录一、介绍线性回归（linear least squares）【重要】二、回归模型应用场景三、Spark Mllib两大回归模型3.1 线性模型：最小二乘回归模型（LinearRegressionWithSGD）3.2 决策树模型：决策树回归（DecisionTree#trainRegressor）四、回归模型会产生的问题4.1 欠拟合（underfitting）或 高偏差4.2过拟合（overfitting）或 高方差（variance）4.3过拟合什么时候会出现..原创 2020-11-07 15:46:20 · 4931 阅读 · 11 评论 -
机器学习 —— 多分类算法--鸢尾花案例
一、需求说明通过鸢尾花的花萼和花瓣的长度和宽度，预测出鸢尾花的类别。二、目的鸢尾花的特征数据5.0,3.3,1.4,0.2 ====》多分类算法进行训练====》多分类算法模型=====》进行预测三、思路加载数据 将鸢尾花的花萼和花瓣的长度和宽度作为特征封装到 向量Vector(Array(5.0,3.3,1.4,0.2)) 将鸢尾花的字符串类别转换成标签数据Map("Iris-setosa"->0,"Iris-versicolor"->1,"Iris-virginic.原创 2020-11-04 09:14:10 · 2093 阅读 · 4 评论 -
机器学习 —— 二分类算法（Titanic号乘客生存预测）
目录二分类情景说明机器学习流程1-of-K（哑编码）处理特别特征数据，将其转换成向量A.性别类别(非数值类型)特征转换成特征向量B. 对Age特征的特征向量处理C. 分类算法介绍代码实现及运行二分类情景说明预测Titanic 号上的乘客生存概率预测乘客是否遇难，是一个二分类问题，所以我们可以使用二分类来分解乘客是否生存，可以看成是乘客的标签 乘客的基本信息，可以看成是乘客的特征 目标：通过乘客的特征，来预测乘客的生存状况，即预测乘客的标签（生存/遇难）..原创 2020-09-13 11:31:36 · 1052 阅读 · 1 评论 -
机器学习 —— 深度技术博客链接
Spark 机器学习概述【理清什么是机器学习，它能做什么】 机器学习 —— 预测评价指标RMSE、MSE、MAE、MAPE、SMAPE 机器学习 —— 基于Spark ML 的文本分类实现语境分类【实用】 机器学习 —— 推荐系统【含示例源码】文章最后，给大家推荐一些受欢迎的技术博客链接：JAVA相关的深度技术博客链接 Flinak 相关技术博客链接 Spark核心技术链接 设计模式 —— 深度技术博客链接 机器学习 —— 深度技术博客链接 Hadoop相关技术博客链接..原创 2020-09-05 12:21:12 · 592 阅读 · 0 评论 -
机器学习 —— 推荐系统【含示例源码】
目录一、推荐系统概述二、推荐系统的组成三、推荐方法四、推荐系统产品五、Spark MLlib协同过滤推荐算法ALS六、矩阵分解七、基于MoiveLens电影评分数据集推荐案例八、模型评估九、Spark mllib基于MoiveLens电影评分数据集推荐案例代码9.1 Spark mllib Java版本9.2Spark mllib Scala版本一、推荐系统概述推荐系统：通过探寻不同物品/产品（Item、Product）之间或者不同用户之间喜好的联系，..原创 2020-09-01 23:36:34 · 1467 阅读 · 1 评论 -
机器学习 —— 预测评价指标RMSE、MSE、MAE、MAPE、SMAPE
假设：预测值：yˆ={y1ˆ,y2ˆ,...,ynˆ}真实值：y={y1,y2,...,yn}MSE均方误差（Mean Square Error）MSE=1n∑ni=1(yˆi−yi)2MSE=\frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2MSE=n1i=1∑n(y^i−yi)2范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。RMSE均方根误差（Root Mean Square Error）原创 2020-09-01 12:24:10 · 7857 阅读 · 0 评论 -
机器学习 —— 基于Spark ML 的文本分类实现语境分类【实用】
前提了解，为什么会有文本分类？什么是 Word Embedding ？在说明 Word2vec 之前，需要先解释一下 Word Embedding。 它就是将“不可计算”“非结构化”的词转化为“可计算”“结构化”的向量。将现实问题转化为数学问题只是第一步，后面还需要求解这个数学问题。所以 Word Embedding 的模型本身并不重要，重要的是生成出来的结果——词向量。因为在后续的任务中会直接用到这个词向量。什么是 Word2vec ？Word2vec 是 Word Embedding 的原创 2020-07-27 10:21:16 · 467 阅读 · 0 评论 -
程序员们，AI来了，机会来了，危机也来了
本文转自http://blog.csdn.net/myhaspl/article/details/74928747?ref=myread程序员们，AI来了，机会来了，危机也来了1.人工智能真的来了 纵观古今，很少有计算机技术能有较长的发展寿命，大部分昙花一现，比如：昔日的DOS、windows3.2、foxpro、delphi、80x8转载 2017-07-16 10:23:43 · 4171 阅读 · 7 评论 -
Spark 机器学习概述【理清什么是机器学习，它能做什么】
一、什么是人工智能人工智能（Artificial Intelligence），英文缩写为AI，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器（让机器实现原来只有人类才能完成的任务其核心是算法），该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应该领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智能的原创 2020-09-01 09:53:37 · 626 阅读 · 1 评论