java-spark
花与少年°
Break through 30
展开
-
Spark Executor heartbeat timed out
spark任务报错,排查记录。原创 2022-05-28 00:01:31 · 1368 阅读 · 0 评论 -
【java-spark】sparksql入门小例子
TestData.json{"regNo": "1237855","sortTime": 1511402600000,"pname": "北京服装有限公司","brandRank": "服装-羽绒服"}{"regNo": "2236811","sortTime": 1461404600000,"pname": "上海市器械有限公司","brandRank": "运动球类球"}{"regNo": "3337815","sortTime": 1411401600000,"pname": "泉州奇鹭物联网科原创 2022-04-06 11:22:06 · 2047 阅读 · 0 评论 -
spark异常:Consider boosting spark.yarn.executor.memoryOverhead
记录spark运行task数据倾斜问题Container killed by YARN for exceeding memory limits…Consider boosting spark.yarn.executor.memoryOverhead内存溢出,百度了好多,都说调整这个那个参数,都未成功。后发现是数据倾斜问题造成解决:根据提示代码1040行定位到原因,某个rdd groupBy的key全为空,导致数据倾斜...原创 2021-11-09 18:51:10 · 3777 阅读 · 0 评论 -
【java-spark】入门
java-spark入门:文本转RDDRDD转ListRDD转其他数据类型import java.util.List;import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.j原创 2021-06-28 16:21:23 · 269 阅读 · 0 评论 -
【java-spark】Hbase数据发送kafka生产者、消费者
一、生产者主类:读取hbase数据发送kafka消息import java.io.IOException;import java.util.HashMap;import java.util.Iterator;import java.util.concurrent.Future;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apa原创 2021-02-22 15:41:10 · 487 阅读 · 0 评论 -
【java-spark】获取数据
获取es数据、插入Hbaseimport static org.elasticsearch.spark.rdd.api.java.JavaEsSpark.esRDD;import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.转载 2021-02-08 15:05:31 · 529 阅读 · 0 评论 -
【java-spark】hbase2hbase
package com.test.toHbase;import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.CompareOperator;im.原创 2020-11-09 16:01:38 · 141 阅读 · 0 评论 -
Hbase过滤器
单列列值过滤器代码含义:查询TCL列族,flag列字段,值为N的数据SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter("TCL".getBytes(),"flag".getBytes(), CompareOperator.EQUAL, new SubstringComparator("N"));//Bytes.toBytes("N")singleColumnValueFilter.set.原创 2020-11-09 14:09:08 · 157 阅读 · 0 评论 -
【java-spark】mysql2hbase:读取mysql数据插入hbase
环境:jdk1.8、eclipse、maven、spark2.4.0import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import org.apache.commons.lang3.ObjectUtils;import org.apache.h原创 2020-11-05 14:52:40 · 429 阅读 · 0 评论 -
【java-spark】mysql2mysql
testcc表数据新建表testcc_testCREATE TABLE `testcc_test` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c` varchar(255) DEFAULT NULL, `mark` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;运行代码,插入数据结果如下图原创 2020-09-14 15:50:51 · 191 阅读 · 0 评论