spark
zgjdzwhy
这个作者很懒,什么都没留下…
展开
-
The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-
It is easy to follow the instructions on http://spark.apache.org/docs/latest/ and download Spark 1.6.0 (Jan 04 2016) with the “Pre-build for Hadoop 2.6 and later” package type from http://spark.apac原创 2017-05-01 17:00:06 · 7924 阅读 · 1 评论 -
spark 批量提交依赖包命令
/spark-submit --class com.ec.SparkConsumer –jars $(echo /home/rowen/libs/*.jar | tr ' ' ',') -- master spark://ip:7077 ./main.jar ./config.properties原创 2017-06-06 12:20:06 · 941 阅读 · 0 评论 -
spark sql 读取指定json字段
spark sql读取json的问题 Spark sql虽然支持了json作为数据源,但由于json是松散的数据结构,而sql需要确定的数据结构,所以spark sql在读取json的时候会将整个json完整遍历得到一个最大的schema,这在数据量很小的时候貌似没啥问题,可一旦数据量过大,那么在选择一些limit的时候会失效,所以我们需要在用spark sql读取json的时候提供一份转载 2017-06-06 12:22:05 · 4941 阅读 · 0 评论 -
Spark应用远程调试
转载来源^^ https://blog.csdn.net/u013468917/article/details/51087473 本来想用Eclipse的,然而在网上找了一圈,发现大家都在说IntelliJ如何如何好。我也受到了鼓舞,遂决定在这台破机器上鼓捣一次IntelliJ吧。 Spark程序远程调试,就是将本地IDE连接到Spark集群中,让程序一边运行,一边通过debuger实时...转载 2018-08-13 16:54:17 · 1664 阅读 · 0 评论