![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 77
skynumone
专注云计算和大数据领域,主要涉及的技术有openstack,hadoop,spark,机器学习等,希望能够一起交流学习!!!
展开
-
Spark 机器学习-实例演示-协同过滤《三》
协同过滤 1.简介 协同过滤常被应用于推荐系统。这些技术旨在补充用户 - 商品关联矩阵中所缺失的部分。 MLlib 当前支持基于模型的协同过滤,其中用户和商品通过一小组隐性因子进行表达,并且这些 因子也用于预测缺失的元素。 MLLib 使用交替最小二乘法 ( ALS ) 来学习这些隐性因子。 在 MLlib 中的实现有如下的参数 : – numBlocks原创 2015-01-20 11:43:18 · 1526 阅读 · 2 评论 -
shark 部署与演示《二》
1.spark0.9.1安装 (1)首先安装对应版本的hive(在这里是0.11) (2)安装包安装spark0.9.1 解压缩 修改目录用户权限,用户hadoop登录 修改配置文件 //slaves hadoop1 hadoop2 hadoop3 //spark-env.sh export SPARK_MASTER_IP=hadoop1 expor原创 2015-01-21 11:27:06 · 584 阅读 · 0 评论 -
Spark 机器学习-实例演示- 线性回归《四》
线性回归 1.简介 线性回归是利用称为线性回归方程的函数对一个或多个自变量和 因变量之间关系进行建模的各种回归分析 只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归 2.基本过程 构造预测函数(h函数) •构造cost函数 •利用梯度下降(上升)法来计算 的最小值 •梯度下降(上升)计算的向量化 3.基本理论 h函数:原创 2015-01-21 10:50:00 · 1593 阅读 · 0 评论 -
Spark 机器学习《一》
1.机器学习 (1)介绍 机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中 改善具体算法的性能。 机器学习是对能通过经验自动改进的计算机算法的研究。 机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。 A computer program is said to learn from experience E with respect to原创 2015-01-20 09:24:40 · 1404 阅读 · 0 评论 -
Spark 机器学习-实例演示- K-Means《二》
1.K-Means简介 K-Means 是聚类的一个算法,是一个无监督学习,目标是将一部分实体根据某种意义上的相似度 和另一部分实体聚在一起。聚类通常被用于探索性的分析。 K-Means将n个观察实例分类到k个聚类中,以使得每个观察实例 距离它所在的聚类的中心点比其他的聚类中心点的距离更近。所 以它是一种基于距离的迭代式算法。 算法: 1 选择 K 个点作为初始中心原创 2015-01-20 10:17:22 · 4836 阅读 · 0 评论 -
运行第一个spark程序
运行第一个spark程序---Wordcount 首先在IDE中创建工程 代码如下: package cn.sjzc/** * Created by shaokai on 2014/12/27. */import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.SparkContext._ob原创 2015-01-19 18:09:32 · 764 阅读 · 0 评论 -
Spark1.0.2-standalone部署
Hadoop2.2.0-Spark1.0.2-standalone部署原创 2015-01-19 17:01:15 · 580 阅读 · 0 评论 -
Spark 运行架构和解析《二》
1.实例解析 val lines = ssc.textFile(args( 1 )) // 输入 val w ords = lines.flatMap(x =>x.split( " " )) w ords.cache() // 缓存 val w ordCounts = w ords.map(x => (x, 1) ) val red = w ordCounts.reduce B yKey原创 2015-01-19 17:42:32 · 485 阅读 · 0 评论 -
Spark 运行架构和解析《一》
Spark 运行架构和解析原创 2015-01-19 17:26:22 · 688 阅读 · 0 评论 -
shark 原理和架构《一》
1.shark简介 shark在spark中的位置: 2.shark 运行架构 shark对hive架构进行了修改,主要修改了内存管理,物理执行计划,执行器;使其能够运行在spark上。 在使用shark的时候要注意版本与hive版本的对应(shark0.92对应hive0.11) 3.性能对比(shark vs hive)原创 2015-01-21 11:12:14 · 1090 阅读 · 0 评论