![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
k55
这个作者很懒,什么都没留下…
展开
-
centos安装spark
前提使用的环境是centos7.2,已经安装了jdk 1.8 和hadoop2.7.1,三个服务器节点master,salve1,slave21、安装scala1)下载scala下载地址https://www.scala-lang.org/download/我这里下载了scale 2.11版本上传压缩包到centos,然后解压tar -zxvf scala-2.11.6.tgz...原创 2019-06-16 23:27:15 · 3073 阅读 · 1 评论 -
安装hadoop后启动hive正常,安装spark后,启动hive报错,spark-assembly-*.jar: No such file or directory
我是先安装的hadoop,后安装了hive,启动hive正常,但是安装了spark之后启动hive出现以下异常启动hive 报错,spark-assembly-.jar: No such file or directory原因: 我用的spark版本是2.3.3,在spark2以上的版本,在spark2之前的lib中可以找到spark-assembly-.jar,但是在spark2之后lib...原创 2019-06-16 23:58:03 · 694 阅读 · 0 评论 -
hadoop和spark的区别和联系
1、hadoop1)hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapRed...原创 2019-06-23 18:34:19 · 14763 阅读 · 0 评论