机器学习
文章平均质量分 53
机器学习相关文档。
z5241248
这个作者很懒,什么都没留下…
展开
-
Spark——ALS代码及注解
一、简介ALS即协同过滤,ALS属于数据挖掘,可以做推荐系统,比如电影推荐,商品推荐,广告推荐等。对于给各个指标进行判定、加权重,然后将这些训练集输入ALS,包括其他的参数,内部进行矩阵相乘,根据这些权重,给用户对未知商品也给一个分数,就是喜好程度.。把喜好程度高的商品推荐给用户,假如用户不喜欢,从线上观察效果不好,那这个模型就有问题,需要修改参数,修改权重,或者添加权重,使之达到一个理想的效果。二、代码1、数据以下是示例数据,对应字段分别为用户id、电影id、评分、时间戳。该数据下载地址.原创 2021-05-18 17:09:35 · 488 阅读 · 0 评论 -
Spark决策树代码及注解
一、简介决策树是一种简单但广泛使用的分类器,它通过训练数据构建决策树,对未知的数据进行分类。二、示例1、数据以下是示例数据,该数据下载地址:机器学习文件数据包。0 128:51 129:159 130:253 131:159 132:50 155:48 156:238 157:252 158:252 159:252 160:237 182:54 183:227 184:253 185:252 186:239 187:233 188:252 189:57 190:6 208:10 209:6.原创 2021-05-18 16:13:19 · 240 阅读 · 0 评论 -
Spark逻辑回归代码及注解
一、简介逻辑回归是用于处理因变量为分类变量的回归问题,常见的是二分类或二项分布问题,也可以处理多分类问题,它实际上是属于一种分类方法。二、示例1、数据以下是示例数据,该数据下载地址:机器学习文件数据包。0 128:51 129:159 130:253 131:159 132:50 155:48 156:238 157:252 158:252 159:252 160:237 182:54 183:227 184:253 185:252 186:239 187:233 188:252 189:.原创 2021-05-18 16:07:16 · 288 阅读 · 0 评论 -
TF-IDF代码及注解
一、简介TF-IDF(Term Frequency-inverse Document Frequency)是一种针对关键词的统计分析方法,用于评估一个词对一个文件集或者一个语料库的重要程度。 一个词的重要程度跟它在文章中出现的次数成正比,跟它在语料库出现的次数成反比。 这种计算方式能有效避免常用词对关键词的影响,提高了关键词与文章之间的相关性。对于上述解释,还需要通俗说明一下。TF是指词频,一篇文章中的某个词与出现次数越多,那就说明这个词的重要性越强。TF = 某词在文档中出现的次数 / 文档的总词.原创 2021-05-13 23:14:01 · 837 阅读 · 0 评论 -
Spark——SVM代码及注解
一、简介SVM(支持向量机)把分类问题转化为寻找分类平面的问题,并通过最大化分类边界点距离分类平面的距离来实现分类。二、示例1、数据PS:以下是一部分,文件名为sample_svm_data.txt,下载地址:机器学习文件数据包。2、代码package com.svmimport org.apache.spark.mllib.classification.SVMWithSGDimport org.apache.spark.mllib.evaluation.BinaryClassifi.原创 2021-05-12 17:14:36 · 541 阅读 · 0 评论 -
Spark——KNN代码及注解
一、简介KNN及K邻近分类算法,通过搜索K个最相似的实例(邻居)的整个训练集并总结那些K个实例的输出变量,对新数据点进行预测。而寻找邻近点的距离公式一般使用欧式距离公式。二、示例1、数据该数据是根据鸢尾花特征来区分种类的数据。前四个特征为花萼长度,花萼宽度,花瓣长度,花瓣宽度,最后一个为种类。该数据分为训练数据与测试数据。训练数据5.1,3.5,1.4,0.2,setosa4.9,3,1.4,0.2,setosa4.7,3.2,1.3,0.2,setosa4.6,3.1,1.5,.原创 2021-05-12 14:20:08 · 470 阅读 · 0 评论 -
Spark朴素贝叶斯预测代码及注解
一、简介贝叶斯算法常用于分类,它通过预测一个给定的元组属于一个特定类的概率,来进行分类。朴素贝叶斯分类法假定一个属性值在给定类的影响独立于其他属性的一类条件独立性。二、示例1、数据PS:以下是一部分,文件名为SMSSpamCollection.txt,下载地址:机器学习文件数据包。下载后,我对其中的数据进行了处理。将ham和spam的后面都分别加上了//(双斜杠),以便在后续切分数据时方便。如下所示。......ham // Dear how is chechi. Did you ta.原创 2021-05-11 17:02:00 · 699 阅读 · 0 评论 -
使用Excel和Jupyter绘制线性走势图
一、简介使用Excel可以绘制线行走势图,并且还可以简单预测未来的走势。Jupyter基于pysaprk更是将这一功能发挥到了极致(但是本文仅使用了Excel预测走势,并没有使用Jupyter预测的教程)。二、Excel对于一组数据,包含时间和值。比如下列数据包含时间和展示广告数据。2021/3/8 6713332021/3/9 1531622021/3/10 1770092021/3/11 375552021/3/12 521622021/3/13 437742021/3/14 3.原创 2021-05-10 15:08:04 · 2921 阅读 · 0 评论 -
Spark线性回归预测代码及注解
一、简介线性回归使用数据的特征进行训练,以构建出一个模型(方程式)用来拟合训练的数据(最好事先判断一下这些特征和预测的结果能够真正能够存在线性关系)。然后使用该模型,输入相同的数量的特征,预测未来的走势。二、示例1、数据PS:以下是一部分,文件名为lpsa.txt,网上很容易下载到。该数据的第一列为标签(label),也可以理解成最终得到的值;而后面的8位都属于特征值,也就是用来建模的值。-0.4307829,-1.63735562648104 -2.00621178480549 -1..原创 2021-05-09 22:17:22 · 1700 阅读 · 0 评论 -
Spark GraphX图计算实例
航空数据简单计算数据格式dom – 月中第几天 (day of month)dow – 周中第几天 (day of week)carrier – 航空公司tail_num – 飞机注册号fl_num – 航班号origin_id – 起飞机场编号origin – 起飞机场dest_id – 到达机场编号dest – 到达机场crs_dep_time – 预计起飞时间d...原创 2019-12-19 21:03:10 · 448 阅读 · 0 评论 -
几种常见距离公式
一、欧式距离简介: 欧式距离是指m维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离)。计算公式1、二维表示2、推广到n维用例在非监督机器学习算法K-means算法以及KNN算法中中,使用的就是欧式距离,算法会自己进行分类、计算距离、重新选举的重复流程,来将不同的数据进行分类。二、曼哈顿距离简介: 曼哈顿距离使用在几何度量空间的几何学用语,用以标明两个点在标准坐标系上的绝对轴距总和。它又被称为出租车距离,这是因为在像纽约曼哈顿区这样的地区有很多由横平竖直的街道所切成.原创 2021-05-07 11:47:53 · 5709 阅读 · 0 评论 -
快速理解机器学习中的常用算法
一、算法类型分类算法KNN逻辑回归(虽然是说的回归,但是和线性回归不一样,它属于分类算法)决策树朴素贝叶斯SVM向量机回归算法(回归分析是确定两种或两种以上变量关系的一种统计分析方法)KNN线性回归岭回归lasso回归决策树SVM向量机聚类算法K-means(K均值算法)二、快速查阅算法类型是否监督简介朴素贝叶斯分类是贝叶斯分类法是基于贝叶斯定定理的统计学分类方法。它通过预测一个给定的元组属于一个特定类的概率,来进行分类。朴素贝叶斯分类.原创 2021-05-06 17:58:13 · 432 阅读 · 1 评论