调整Apache Spark应用程序的Java垃圾收集

调整Apache Spark应用程序的Java垃圾收集 王道远黄洁 由王道远和黄杰 发表于公司博客 2015年5月28日 这是来自英特尔SSG STO大数据技术小组的朋友的客座文章。 来源地址: https://databricks.com/blog/2015/05/28/tuning-java-...

2019-01-31 18:20:41

阅读数 95

评论数 0

spark中cogroup用法

spark中cogroup用法 cogroup:对两个RDD中的KV元素,每个RDD中相同key中的元素分别聚合成一个集合。与reduceByKey不同的是针对两个RDD中相同的key的元素进行合并。 [root@node111 ~]# spark-shell 28 一月 10:20:56 ...

2019-01-28 10:33:04

阅读数 188

评论数 0

JAVA实现空间GeoHash 的几个地址url

GeoHash算法原理及实现方式 https://blog.csdn.net/universe_ant/article/details/74785989 JAVA实现空间索引编码(GeoHash) https://blog.csdn.net/xiaojimanman/article/details...

2019-01-25 17:28:35

阅读数 79

评论数 0

转 GeoMesa 索引概述

GeoMesa 索引概述 来源地址:https://blog.csdn.net/xinlingjun2007/article/details/81737379 GeoMesa使用许多不同的索引来满足各种搜索谓词。每个索引都有一个标识符,用于在配置选项中引用它。GeoMesa将为给定的SimpleF...

2019-01-25 16:51:08

阅读数 108

评论数 0

转 姚期智院士专访:量子计算的未来 |《国家科学评论》

姚期智院士专访:量子计算的未来 |《国家科学评论》 转自地址:http://blog.sciencenet.cn/blog-528739-1150370.html 撰文 | 蒲慕明 王玲 翻译 | 余其身 校译 | 史聪一 近年来,量子计算和量子计算机在科学界和工业界都引起了大量关注。科...

2019-01-24 15:26:45

阅读数 159

评论数 0

执行spark报错EOFException Kryo和SerializedLambda问题的解决办法

执行spark报错EOFException Kryo和SerializedLambda问题的解决办法 EOFException Kryo问题解决办法: 发布到spark的worker工作机的项目依赖库中删除底版本的kryo文件,如下: 在执行环境中删除kryo-2.21.jar文件和保留kr...

2019-01-07 12:00:09

阅读数 151

评论数 0

基于命令行执行jar的外放配置文件的执行方法

基于命令行执行jar的外放配置文件的执行方法 配置文件在工程目录存放位置: src/conf/application.properties 打包生成sproutgis-exec.jar文件 拷贝到/usr/test目录下,目录内容: #--------------------------...

2019-01-04 11:01:13

阅读数 185

评论数 0

spark-shell启动报错解决办法

spark-shell启动报错解决办法: scala版本不兼容问题 这是因为加入了项目依赖库到/usr/cwgis/app/spark/jars/lib/中 删除相关的scala开头的jar文件即可启动spark-shell [root@node111 ~]# runCmd.sh &...

2019-01-03 16:48:19

阅读数 351

评论数 0

基于js和openlayer计算2个经纬度点之间的距离

基于js和openlayer计算2个经纬度点之间的距离 //计算2个经纬度点之间的距离 //Haversine formula 算法 var harvensin=function() { this.earch_radius=6371008.8; // 地球半径 平均值 米 t...

2019-01-02 16:59:14

阅读数 342

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭