大数据
Walker_zmc
Java开发
展开
-
Spark之路(3、RDD常用Transformation函数)
参考https://blog.csdn.net/lovehuangjiaju/article/details/48603009 RDD 常用Transformation函数 (1)union union将两个RDD数据集元素合并,类似两个集合的并集 union函数参数: /** * Return the union of this RDD and another one. Any...转载 2019-10-15 19:05:06 · 163 阅读 · 0 评论 -
Hadoop学习之路(一、入门demo)
参考https://www.jianshu.com/p/35ef70dfb651?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation 一、用idea建一个普通maven项目 二、添加pom依赖 <dependencies> ...原创 2019-10-15 17:17:45 · 208 阅读 · 0 评论 -
Spark之路(1、入门demo)
参考https://blog.csdn.net/u012373815/article/details/53266301 https://blog.csdn.net/lovehuangjiaju/article/details/48580863 一、Spark重要的概念 (1)Spark运行模式 目前最为常用的Spark运行模式有: - local:本地线程方式运行,主要用于开发调试Spar...转载 2019-10-14 19:55:06 · 270 阅读 · 0 评论 -
Window下Spark安装
参考https://www.cnblogs.com/twodoge/p/10740791.html 将下载的文件解压到一个目录,注意目录不能有空格 将spark的bin路径添加到path中 cmd输入spark-shell,成功安装啦,有个报错是因为还没安装Hadoop, 如果是安装了hadoop的话,加下以下两个变量 ...转载 2019-10-14 18:07:20 · 134 阅读 · 0 评论 -
Window上安装Hadoop
本文参考文章:https://www.cnblogs.com/chevin/p/9090683.html 在此十分感谢文章作者 1.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如Program Files,将在后面的配置中报错!) 假设JAVA_HOME路径为C:\Java\jdk1.8.0_73 2.下载hadoop。下载地址:http://hadoop.apac...转载 2019-10-14 17:11:37 · 243 阅读 · 0 评论