![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
机智帅气的葫芦娃
机智帅气的葫芦娃
展开
-
problem: ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state
当jdk版本是1.8时常常会出现这个问题,就直接改hadoop中yarn-site.xml的配置 yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false之后保存,重新格式化,重启进程即可。原创 2017-08-11 10:52:54 · 5464 阅读 · 2 评论 -
spark
spark是基于内存,是云计算领域继Hadoop之后最热门的并行计算框架,支持Interactive Query、流计算、图计算等。特别适用于需要多次迭代的算法,具有容错性、调度机制、运行稳定的特点。 spark具有很好的易用性。发展理念是通过一个计算框架集合SQL、Machine Learning、Graph Computing、Streaming Computing等多种功能于一个项目中。原创 2017-08-21 10:05:43 · 260 阅读 · 0 评论 -
spark indexedRDD
之前一直不是很了解RDD是啥现在我就开始学习和自我总结一下,以供以后参考。spark RDD只提供了一种基于迭代器、批量更新的接口。具有只读不可修改的特性,就是说如果想要更新或删除RDD里面的数据,就要遍历整个RDD进行操作,并生成一个新的RDD。所以基于RDD出现了一种改良版叫做IndexedRDD的东西。它是高效、基于RDD开发的键值对存储,扩展自RDD,为高效的Join操作、点查询操作、原创 2017-08-24 08:51:56 · 325 阅读 · 0 评论 -
在Scala项目中java文件无法运行,报错:Error: Could not find or load main class GenerateXML
主要是因为在Scala项目中没有设置java所在目录为source folder,因此会出现上述错误。我通常出现这个错误是因为在给文件用sbt clean assembly打包之后,java所在的目录就不是source folder了,即使我之前设置的是source folder形式,我也不知道为什么?有知道的大牛可以评论告诉我为什么。所以现在列出设置source folder的方法步骤。 ...原创 2018-05-18 08:13:49 · 1719 阅读 · 0 评论 -
配置hadoop环境时,centos防火墙设置和常见错误
在配置hadoop环境时,时常会出现(mainSlave:8088)在网址中打不开。其中主要原因是因为防火墙没有关闭。首先进行防火墙状态的查看:systemctl status firewalld关闭防火墙: systemctl stop firewalld.service关机开机启动:bin/hadoop dfs -put /home/wangrui/data/data.scaler.svm /...原创 2018-07-11 11:41:01 · 975 阅读 · 0 评论 -
scala sbt assembly安装
1.首先我的sbt环境是1.2.0,可以通过以下指令可以查看自己的版本。sbt sbtVersion2.我的scala版本是2.11.8。可以通过在命令行输入以下指令进行查看。scala3.在ideaij中添加scala和sbt依赖包。(我使用的服务器版本是centos 7)。之前也写过基于sbt的scala项目。但是由于这些环境配置随着比如spark版本不一致,而显示出来一定...原创 2019-04-17 11:19:37 · 2308 阅读 · 0 评论