![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 56
Aime_Perfect
明日复明日,明日何其多?
展开
-
Spark简介以及Spark standalone的搭建
Spark 介绍------------------------------- 1.spark处理大数据的统一分析计算引擎; a.速度:在迭代循环的计算模型下,spark比Hadoop快100倍; b.易用性:spark提供多种语言的API,如Java、Python、Scala、R、SQL等 c.扩展性:在spark RDD基础上,提供一整套的分...原创 2018-08-27 14:33:41 · 384 阅读 · 0 评论 -
Hive和Spark设置队列的方法
Hive和Spark设置队列的方法Hive提供三种可以改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。 方法一: 在Hive中,所有的默认配置都在${HIVE_HO...原创 2018-08-27 19:19:37 · 12660 阅读 · 0 评论 -
Spark的常见问题解析
1.输入这句话可以成功:①scala> val lines = sc.textFile("file:///home/hyxy/README.md")但是输入:②scala> lines.count 为什么会报错抛异常呢?Caused by: java.io.FileNotFoundException: File file:/home/hyxy/README.md doe...原创 2018-08-27 22:00:11 · 395 阅读 · 0 评论