代码示例
shy_snow
这个作者很懒,什么都没留下…
展开
-
shell监控目录下新增的文件并进行处理
用户每天上传文件到指定目录,通过shell脚本尽快识别到新上传的文件已经上传完成,然后就处理新上传的文件。通过文件的大小变化判断新增文件是否上传完成,连续10秒大小不变就认为上传完成了。通过ls记录文件名列表到临时文件中,然后通过diff比较识别新增的文件;每分钟检查一次,循环运行一天后退出,然后通过crontab脚本每天拉起。原创 2024-01-26 14:46:13 · 531 阅读 · 0 评论 -
使用curl发送时间参数
【代码】使用curl发送时间参数。原创 2024-01-13 09:34:58 · 595 阅读 · 0 评论 -
原生js获取时间毫秒数
【代码】原生js获取时间毫秒数。原创 2024-01-03 12:53:24 · 329 阅读 · 0 评论 -
讯飞星火大模型api调用
讯飞星火大模型,通过websocket方式通信传递协议要求的报文,然后将流式返回的报文拼接为完整的响应内容,status=2时是最后一条消息。因为是websocket方式所以是异步响应的,如果想要同步需要使用CountDownLatch控制下线程等待最后一条消息处理完再继续往下走。星火不同版本稍微有一些差异,具体以官网提供的demo为准。原创 2023-12-16 14:30:21 · 1780 阅读 · 0 评论 -
百度千帆大模型文心一言api调用
创建应用成功后,可以获取到API Key和Secret Key。然后获取token后使用http方式调用即可。curl -XPOST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions?access_token=[调用接口获取的access_token]' -d '{ "messages": [ {"role":"user","content":"介绍一下你自己"} ]}'原创 2023-09-11 15:07:13 · 2646 阅读 · 0 评论 -
Spark读取jdbc
【代码】Spark读取jdbc。原创 2023-07-27 17:45:00 · 252 阅读 · 0 评论 -
格里高利历Calendar获取偏移日期
时间,来源于运动;一日就是地球自转一周,一年就是地球公转一周。日历,是用来描述这种运行的,有阴历和阳历。国际通用的是格里高利历,由意大利医生兼哲学家里利乌斯(Aloysius Lilius)改革儒略历制定的历法,由教皇格列高利十三世在1582年颁行。在java中为Calendar, 可以add,set其中的年月日等属性之后获取到偏移后的年月日属性。原创 2023-03-09 18:36:43 · 193 阅读 · 0 评论 -
java正则表达式匹配替换大括号变量${}和替换${}变量的值
java正则表达式替换“$ {}”特殊字符并还原,以及java正则表达式替换${}变量为变量的值这两种操作的代码示例。"(\\$\\{(.+?)\\})" 特殊字符匹配时要转义。正则表达式(regular expression)描述了一种字符串匹配的模式,可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。原创 2023-03-09 05:11:39 · 7715 阅读 · 0 评论 -
hdfs-over-ftp使用说明
hdfs-over-ftp可以将hdfs文件系统通过ftp服务方式暴露出来,可以通过ftp客户端下载和上传hadoop文件。原创 2022-12-08 09:07:40 · 1172 阅读 · 0 评论 -
java执行shell并获取shell输出日志
获取shell输出日志需要java使用两个线程分别接受shell的标准输入流和错误流并打印出来。原创 2022-09-16 18:00:00 · 2383 阅读 · 2 评论 -
根据jar生成pom
基本上就是获取jar中的信息替你去网上查询下,解析返回值,把可能的groupId,version等信息拼接一下原创 2022-09-14 17:41:15 · 1540 阅读 · 3 评论 -
shell脚本使用sftp上传文件
shell脚本使用sftp上传文件sftp ${SFTP_HOST}:${PORT}原创 2022-09-01 16:57:20 · 6537 阅读 · 4 评论 -
WordCount 官方源码解读及工程代码
通过解读WordCount代码可以了解MapReduce计算的基本思想,类和接口。Map实现键值映射,将hadoop分配的输入按实现逻辑处理为规定的键值对格式输出。Reduce实现业务处理逻辑。在这里对相同键进行词频统计的累加,输出结果键值对。.........原创 2022-08-31 10:27:56 · 1470 阅读 · 0 评论 -
java本地运行spark代码示例
spark本地运行代码示例原创 2022-08-10 09:05:57 · 1010 阅读 · 0 评论 -
redis分布式锁代码示例
加锁 jedis.set(String key, String value, String nxxx, String expx, int time)解锁使用lua脚本"if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end"原创 2022-08-09 15:02:18 · 306 阅读 · 0 评论 -
jdbc读大量数据导致内存溢出
jdbc查询大量数据到内存时会导致内存溢出,需要设置结果集只读并分批次获取数据原创 2022-07-03 21:22:05 · 1424 阅读 · 0 评论 -
flink同步mysql数据到ES
org.apache.flink flink-connector-elasticsearch6_2.11 1.13.6原创 2022-06-20 17:32:04 · 1789 阅读 · 0 评论 -
Jedis连接redis集群并可在主从切换后自动恢复连接
redis cluster集群会在主节点不可达超时之后自动将从节点切换为主节点。连接到故障节点连接对象将无法使用,必须对连接对象进行检查并重新建立到新节点的连接, 连接池的poolConfig.setTestOnBorrow(true);可以在使用前做这种检查,在集群的主从切换完成后,会自动建立新连接到新的主节点。.........原创 2022-06-15 16:48:07 · 2451 阅读 · 0 评论 -
lettuce-core连接redis集群示例代码
package com.iteye.yuanyuan7891.lettuce;import java.text.MessageFormat;import java.util.ArrayList;import java.util.Map;import io.lettuce.core.RedisURI;import io.lettuce.core.cluster.ClusterClientOptions;import io.lettuce.core.cluster.RedisClusterCl.原创 2020-07-08 16:08:52 · 2514 阅读 · 0 评论 -
批量写入tidb提高写入效率
在url中增加allowMultiQueries=true&rewriteBatchedStatements=true&useConfigs=maxPerformance&useServerPrepStmts=true开启批量提交sql,并在代码中使用批量提交的方式提高写入效率; ps.addBatch(); if (i % batchSize == 0) { ps.executeBatch(); ...............原创 2022-05-30 15:27:26 · 2875 阅读 · 0 评论 -
flinkCdc捕获postgresql增量日志
import com.ververica.cdc.connectors.postgres.PostgreSQLSource;import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.streaming.api.datastream.DataStreamS原创 2022-05-16 15:01:30 · 1500 阅读 · 0 评论 -
java使用JDBC连接hive
import java.sql.SQLException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.Statement;import java.sql.DriverManager; public class HiveServer2Connect { private static String driverName = "org.apache.hive.jdbc.HiveDriver";原创 2022-05-06 09:54:23 · 1932 阅读 · 0 评论