- 博客(12)
- 收藏
- 关注
RSS订阅原创 Java 多线程 AQS 之 CountDownLatch
部分锁释放，部分没有释放，await 会一直等待全部锁释放 static void work(CountDownLatch lock) { System.out.println(Thread.currentThread().getName() + " 释放1把锁"); lock.countDown(); } /** * 部分锁释放，部分没有释放，await 会一直等待全部锁释放 */ /* private...
2021-04-05 21:55:20
167
1
原创 java 多线程 AQS 之 信号量 semaphore
import java.util.concurrent.Semaphore;import java.util.concurrent.TimeUnit;public class SemaphoreTest { static Semaphore semaphore = new Semaphore(3); static void task(int sec) { try { semaphore.acquire(); S...
2021-04-05 17:24:49
177
2
原创 java 多线程 Thread join
Thread.join() public static void joinTest1() throws InterruptedException { System.out.println("start"); Thread t = new Thread(() -> { try { TimeUnit.SECONDS.sleep(3); System.out.println(T
2021-04-05 00:16:35
132
1
原创 Java synchronized 方法的执行顺序
public void noSync() { try { for (int i = 0; i < 5; i++) { Thread.sleep(100); System.out.println(Thread.currentThread().getName()); } } catch (InterruptedException e) { ...
2021-04-04 08:28:16
541
2
原创 数据分片，多线程处理
场景：mysql有100w条数据，要根据id更新到Elasticsearch。处理方式：100w 条数据分页查询，每次查询1w条数据，再将这1w条数据分成10个分片，每个分片1000条数据，每个分片的1000数据由一条线程去执行处理，相当于10个分片由10个线程处理。线程池工具类/** * 线程池工具类 */public class ThreadUtil { /** * 线程池实例 */ private static ThreadPoolExec.
2021-04-03 23:47:20
1406
原创 Elasticsearch 索引
索引删除，更新#查看全部索引GET _cat/indices#查看索引结构GET /inspection#删除索引DELETE /lib# 原子修改别名#索引 my_index_v1 移除别名 my_index#索引 my_index_v2 添加别名 my_indexPOST /_aliases{ "actions": [ { "remove": { "index": "my_index_v1", "alias": "my_index" }},
2021-04-01 23:31:34
84
原创 datax transformer dx_groovy 去除html标签
{ "job": { "setting": { "speed": { "channel": 1 }, "errorLimit": { "record": 0 } }, "content": [ { "reader": { .
2021-04-01 22:05:02
819
原创 加载mongo数据到hive
#以json格式导出mongo 数据mongoexport -h hadoop102:27017 -d mydb -c mycoll -f "name,title,value" --type=json -o ./test.json#创建表CREATE TABLE t1(line STRING) ROW FORMAT DELIMITED LINES TERMINATED BY '\n'STORED AS TEXTFILE;#加载（复制）文件到表的路径下load data local i.
2021-03-19 23:01:50
67
原创 hive 加载json 文件
方式1mongoexport -h hadoop102:27017 -d mydb -c mycoll -f "_id,name,title,value" --type=json -o ./test.jsonCREATE TABLE t1(line STRING) ROW FORMAT DELIMITED LINES TERMINATED BY '\n'STORED AS TEXTFILE;load data local inpath '/opt/module/data/test.js
2021-03-16 00:06:44
313
原创 hive 解析 string json, array json
相关函数#解析array json方式1，去除方括号select regexp_replace('[{"id":"1","name":"tom"},{"id":"2","name":"tim"}]', '\\[|\\]', '');{"id":"1","name":"tom"},{"id":"2","name":"tim"}方式2，去除方括号select regexp_extract('[{"id":"1","name":"tom"},{"id":"2","name":"tim"}]'.
2021-03-15 23:48:17
1687
原创 hive函数
#COALESCE由左到右，返回第一个非空值select coalesce(1,2,3);select coalesce(null,2,3);select coalesce(1,null,3);select coalesce(null,null,3);select coalesce(null,null,null);#EXPLODE一进多出 属于udtf函数，能将map, array 拆成多行select explode(array('A','B','C'));select expl.
2021-03-15 23:26:06
62
原创 Maven打包后，获取Resource 路径下的文件
参考 org.springframework.core.io源码，从类加载器获取输入流。import java.io.FileNotFoundException;import java.io.IOException;import java.io.InputStream;/** * @Author: Zjm * @Date: 2021/2/24 9:24 */public class ClassPathResource { private final String pat...
2021-03-08 23:23:18
1626
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人