spark
Allen-Y
这不是一个只谈技术的博客,这里记录我成长的点点滴滴,coding、riding and everthing!
展开
-
spark中的dataframe与sparksql的实例
本文中的project是做了两方面的工作,首先是读取netcdf文件,并将其转成.CSV格式的数据(此处省略)。下面主要介绍的是如何利用scala开发spark程序,实现sparksql数据表的读取。 下面附上工程中所使用的.csv文件如下: 1.NELE_POINT.csv 2.NODE.csv 假设你已经下载或者配置好scala,在IDEA下新建一个scala工程,并将spark原创 2015-07-12 18:55:21 · 1422 阅读 · 0 评论 -
Spark WARN cluster.ClusterScheduler: Initial job has not accepted any resources;check your cluster
在Spark集群模式执行以下命令时: root@master:/home/hadoop/spark/bin# ./spark-shell –master spark://master:7077 –jars xxxxx –class xxx.xxxxx –driver-memory 3g –execute-memory 3g …出现了这个错误: WARN cluster.ClusterSchedul原创 2015-07-22 23:33:22 · 668 阅读 · 0 评论