Spark
柯西Cauchy
这个作者很懒,什么都没留下…
展开
-
在Ubuntu中安装Spark2.2.1
测试一个开源项目需要使用Ubuntu系统,在虚拟机中搭建Spark前置条件 1、安装jdk并配置环境变量 2、安装所需要的包原创 2018-08-22 14:32:33 · 443 阅读 · 0 评论 -
ClassNotFoundException Failed to find data source: org.elasticsearch.spark.sql
将elasticsearch-spark-20_2.11-6.4.1.jar放到Spark的jars目录下原创 2018-12-11 16:23:38 · 2771 阅读 · 0 评论 -
Spark采坑系列
日期转时间戳计算必须要加日期格式,不然返回为null unix_timestampSELECT unix_timestamp('2016-04-08', 'yyyy-MM-dd'); 1460041200原创 2019-03-20 16:33:38 · 192 阅读 · 0 评论 -
Scala Jedis mget传入数组
前言在实现客户需求的时候遇到一个问题,需要在SparkStreaming 中关联一些维表 ,但是需要做到秒级运算,于是我想到把维表放到Redis中,在foreach中进行jedis.get的操作实在太慢了,于是我想到使用mgetJedis源码 @Override public List<String> mget(final String... keys) { ret...原创 2019-04-04 11:30:08 · 1641 阅读 · 0 评论 -
AnalysisException: Detected cartesian product for INNER join between logical plans
添加config(“spark.sql.crossJoin.enabled”, “true”)原创 2019-03-28 16:41:21 · 3959 阅读 · 0 评论