- 博客(89)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【java-spark】sparksql入门小例子
TestData.json{"regNo": "1237855","sortTime": 1511402600000,"pname": "北京服装有限公司","brandRank": "服装-羽绒服"}{"regNo": "2236811","sortTime": 1461404600000,"pname": "上海市器械有限公司","brandRank": "运动球类球"}{"regNo": "3337815","sortTime": 1411401600000,"pname": "泉州奇鹭物联网科
2022-04-06 11:22:06
2060
原创 获取kafka队列中待消费Lag
获取kafka中消费者某个topic主题待消费数据量import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.apache.kafka.clients.consumer.Of
2022-01-25 17:21:40
2845
原创 【IDEA/eclipse】svn导出maven多模块项目
IDEA/eclipse - 从snv导出maven多模块项目File - New - Project from Version Control …找到项目 - check out@Slf4j中log报错，百度说少插件，Setting-plugins 安装即可二、eclipse从snv导出maven多模块项目新建一个workset，放多模块项目右击-new-other-java working set输入working set name 点击finish右
2021-12-23 17:12:14
673
2
原创 BasicDBObject单字段多条件
mongodb查询条件：单个字段多条件查询BasicDBObject args = new BasicDBObject();//栏目Idargs.append("menuId", "test_lanmu");//创建时间args.append("createYMD", "20211122");# cleanState不等于2、不等于19List<BasicDBObject> neList=new ArrayList<>();neList.add(new BasicD
2021-11-22 14:36:13
1067
原创 spark异常：Consider boosting spark.yarn.executor.memoryOverhead
记录spark运行task数据倾斜问题Container killed by YARN for exceeding memory limits…Consider boosting spark.yarn.executor.memoryOverhead内存溢出，百度了好多，都说调整这个那个参数，都未成功。后发现是数据倾斜问题造成解决：根据提示代码1040行定位到原因，某个rdd groupBy的key全为空，导致数据倾斜...
2021-11-09 18:51:10
3871
原创 HDFS解压targz格式
import java.io.*;import java.util.LinkedList;import java.util.List;import java.util.Map;import java.util.zip.*;import org.apache.commons.compress.archivers.ArchiveException;import org.apache.commons.compress.archivers.ArchiveInputStream;import org..
2021-11-02 14:09:40
1527
原创 hive语句记录
group by后根据count排序select name,count(*) pc from crv.credit_xuke where cast(createtime as bigint)>1603641600000 group by name order by pc desc
2021-10-26 09:34:33
675
原创 根据frm\ibd恢复mysql数据
windows系统为例，linux系统步骤类似一、恢复表结构首先需要mysql版本一致 select version();查看mysql data目录：show variables like ‘datadir’在本机mysql建个库、建表：表名和恢复的表名一致CREATE TABLE `COMPANY_CODE` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, PRIMARY KEY
2021-09-16 11:14:08
443
原创 【java-spark】入门
java-spark入门：文本转RDDRDD转ListRDD转其他数据类型import java.util.List;import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.j
2021-06-28 16:21:23
284
原创 【elasticsearch7.x】获取数据（游标）
import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.LinkedHashMap;import java.util.List;import java.util.Map;import java.util.concurrent.TimeUnit;import org.elasticsearch.action.search.SearchRequest;imp..
2021-05-28 17:28:21
466
原创 Eclipse搭建SSM框架
File->new->other->maven Project->next 新建一个maven web项目（Catalog默认All Catalogs我这里是空，运行mvn archetype:generate 参考百度经验点我）新建完成之后项目报错项目右击—>properties—>java build pathjre修改Add Library—>选中Server Runtime—>Next—>选中本机tomcat—>Fini.
2021-03-26 16:50:37
369
原创 【elasticsearch】设置索引刷新时间refresh_interval
批量索引修改刷新时间配置：import org.elasticsearch.action.admin.indices.settings.put.UpdateSettingsRequest;import org.elasticsearch.client.RequestOptions;import org.elasticsearch.common.settings.Settings;import org.elasticsearch.common.settings.Settings.Builder;.
2021-03-15 14:32:42
6496
原创 【java-spark】Hbase数据发送kafka生产者、消费者
一、生产者主类：读取hbase数据发送kafka消息import java.io.IOException;import java.util.HashMap;import java.util.Iterator;import java.util.concurrent.Future;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apa
2021-02-22 15:41:10
499
转载 【java-spark】获取数据
获取es数据、插入Hbaseimport static org.elasticsearch.spark.rdd.api.java.JavaEsSpark.esRDD;import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.
2021-02-08 15:05:31
548
原创 【elasticsearch7.x】获取数据
import java.io.IOException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.List;import java.util.Map;import java.util.concurrent.TimeUnit;import org.elasticsearch.action.get.GetRequest;import org.elasticsearch.action.g.
2021-01-21 11:21:49
561
原创 hbase shell复制表
查询版本verson清空数据：truncate 't1' 删除表：disable 't1' drop 't1'克隆表：复制表A快照hbase表：SV:MN_CHUFAsnapshot 'SV:MN_CHUFA' , 'SNAPSHOT_MN_CHUFA_20210112'从快照克隆一个表clone_snapshot 'SNAPSHOT_MN_CHUFA_20210112','SV:MN_CHUFA_PRO'...
2021-01-12 17:09:13
630
原创 java8-lambda表达式
import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.stream.Collectors;import java.util.stream.Stream;public class Test { public static void main(String[] args) { List<Company> c..
2021-01-05 16:34:22
148
原创 【elasticsearch7.x】增删改&批量
一、新增数据：单条先创建一个es测试表test_wd插入一条数据import java.io.IOException;import java.util.Date;import java.util.HashMap;import java.util.Map;import org.elasticsearch.action.index.IndexRequest;import org.elasticsearch.action.index.IndexResponse;import org
2020-12-21 15:35:59
1388
原创 【elasticsearch7.x】创建索引、获取索引配置信息
package com.es.fixData.get;import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Set;import org.elasticsearch.ResourceAlreadyExistsException;import org.elasticsea
2020-12-18 15:41:54
1904
1
原创 【elasticsearch7.x】9200、9300client
环境：es7.9版本、maven、eclipseelasticsearch 9200、9300的区别a. 9200是http协议的RESTful 接口 【RestHighLevelClient】b. 9300是tcp协议，es集群之间通过9300通讯【TransportClient】- es升级迭代逐渐将9300淘汰9300连接代码<dependency> <groupId>org.elasticsearch.client</groupId>
2020-12-16 15:52:48
897
原创 【java-spark】hbase2hbase
package com.test.toHbase;import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.CompareOperator;im.
2020-11-09 16:01:38
157
原创 Hbase过滤器
单列列值过滤器代码含义：查询TCL列族，flag列字段，值为N的数据SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter("TCL".getBytes(),"flag".getBytes(), CompareOperator.EQUAL, new SubstringComparator("N"));//Bytes.toBytes("N")singleColumnValueFilter.set.
2020-11-09 14:09:08
173
原创 【java-spark】mysql2hbase：读取mysql数据插入hbase
环境：jdk1.8、eclipse、maven、spark2.4.0import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import org.apache.commons.lang3.ObjectUtils;import org.apache.h
2020-11-05 14:52:40
441
原创 java-mysql-jdbc
批量插入、修改：传入sqlprivate void deal(List<String> datali) { try { Connection conn = MysqlConnPool_Idcard.getInstance().getConnection(); conn.setAutoCommit(false); PreparedStatement psm; psm = conn.prepareStatement(""); for (String sql : d
2020-10-21 15:15:43
129
原创 【java-spark】mysql2mysql
testcc表数据新建表testcc_testCREATE TABLE `testcc_test` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c` varchar(255) DEFAULT NULL, `mark` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;运行代码，插入数据结果如下图
2020-09-14 15:50:51
206
原创 jodadate线程安全
org.joda.time.format.DateTimeFormatter yyyyMMdd = DateTimeFormat.forPattern("yyyyMMdd"); DateTime parse = DateTime.parse("20191022",yyyyMMdd); System.out.println(parse.toDate()); DateTime dateTime = new DateTime(new Date()); String dateFormat ..
2020-08-24 15:38:07
334
原创 es9300修改数据
package com.z_esData;import java.util.concurrent.ExecutionException;import org.elasticsearch.action.admin.indices.mapping.put.PutMappingRequest;import org.elasticsearch.action.index.IndexResponse;import org.elasticsearch.action.search.SearchResponse.
2020-07-14 11:14:31
688
原创 Hive相关
一.建表（分区、分桶）1.建普通表a.语句CREATE table dtjd.atest (userid int,sex string)row FORMAT DELIMITED fields TERMINATED BY '\001' STORED AS TEXTFILEb. desc 查看表结构2.建分区表a.语句CREATE table dtjd.atestuser (userid int,sex string) PARTITIONED BY (username string)
2020-06-29 18:39:44
1269
原创 读取excel
package com.fh.util;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;import java.util.List;import.
2020-05-29 13:53:35
197
1
原创 csv转excel
package com.haha.util;import java.io.BufferedReader;import java.io.File;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.FileReader;import java.io.IOException;import java.io.OutputStream;import java.util.ArrayLis
2020-05-29 11:46:17
589
原创 ESBulkManager批量工具类
ESBulkManager批量工具类符合条件（100条、1000条自己设置）自动提交工具类package com.yb.esBulk;import org.apache.commons.lang3.StringUtils;import org.apache.log4j.LogManager;import org.apache.log4j.Logger;import org.elasticsearch.action.bulk.BulkProcessor;import org.elastics
2020-05-22 15:21:53
320
原创 maven Implementing class
记录一次 java.lang.IncompatibleClassChangeError: Implementing class这个原因造成，该项目依赖了另一个项目，我把另一个项目的类复制过来了，造成该问题！
2020-05-09 18:06:04
770
原创 linux服务器运行mysql语句
1.进入mysql模式执行a. mysql -u root -pb. 输入密码c. use database 切换数据库d. source /home/yb//sql/test.sqltest.sql内容use database；-- 切换数据库insert into ....; -- 需要执行的sql2.后台运行 &语句： mysql -u用户名 -p密码 -D ...
2020-04-30 17:15:18
848
原创 【es5.x】查询、修改
private void doWork1(String weidu) { BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder(); // 查询该字段是否为空 missing 关键字,【为空用mustNot】 Boolean exists=true; if(exists){ ExistsQueryBuilder e...
2020-04-17 11:59:51
556
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人