- 博客(83)
- 收藏
- 关注
原创 win10 升级win11 报错 0xc1900101
管理员权限打开powershell,然后执行以下语句:net stop wuauservnet stop cryptSvcnet stop bitsnet stop msiserverren C:\\Windows\SoftwareDistribution SoftwareDistribution.oldren C:\\Windows\System32\catroot2 catroot2.oldnet start wuauservnet start cryptSvcnet start bi
2021-09-18 18:26:00 2736
原创 Spring JPA创建时间,更新时间
@Entity(name = "test")@Data@AllArgsConstructor@NoArgsConstructor@Builderpublic class Test{ @Id @GeneratedValue(strategy = GenerationType.IDENTITY) @Column(name = "id") private int id; @Column(name = "create_time",updatable = false)
2021-09-01 15:50:23 803
原创 list分组去重
public static void main(String[] args) { WxResult wxResult1= WxResult.builder().phone("1").time(1).uli("10").build(); WxResult wxResult2= WxResult.builder().phone("1").time(2).uli("10").build(); WxResult wxResult3= WxResult.bu...
2021-06-04 12:43:42 390
原创 高效判断Java数组是否包含某个值
假设存在目标值arr,源数据j,判断J中的每个元素是否都在arr中出现过本文测试了loop、List、Set、org.apache.commons.lang3.ArrayUtils、java.util.Arrays、布隆过滤器的查询效率。import com.google.common.hash.BloomFilter;import com.google.common.hash.Funnels;import java.util.*;public class Test3 { pub.
2021-06-04 10:12:26 510
原创 linux 一些脚本
日期循环start=20200930end=20201001while [ $start -le $end ]do echo $start start=$(date -d "1 days $start" +"%Y%m%d")done
2021-04-02 17:26:46 104
原创 HIVE删除__HIVE_DEFAULT_PARTITION__
因为脏数据的写入导致hive产生了__HIVE_DEFAULT_PARTITION__的分区通过alter table tmp.test drop partition(eventdate>20210329) 来删除会报错hive 版本:1.1.0CDH:5.13.0数据库找到对应分区登录hive的元数据库select * from PARTITIONS where PART_NAME like '%__HIVE_DEFAULT_PARTITION__%';PART_IDC.
2021-04-01 21:29:14 3594 1
原创 常用的Spark脚本
日常用到的spark脚本,便于日常粘贴写ESval options = Map("es.index.auto.create" -> "true","es.nodes.wan.only" -> "true","es.nodes" -> "192.168.3.1:9200","es.port" -> "9200","es.mapping.id" -> "id")import org.apache.spark.sql.SaveMode.withColumn("i.
2021-03-23 17:18:30 975
原创 IP地址点分十进制格式 与 数值格式 相互装换
scala 版本 def ip2Int(ipString: String): Int = { // 取 ip 的各段 val ipSlices = ipString.split("\\.") var rs = 0 for (i <- 0 until ipSlices.length) { // 将 ip 的每一段解析为 int,并根据位置左移 8 位 val intSlice = ipSlices(i).toInt << 8 * i //
2021-03-01 18:08:53 407
原创 Spring spel 动态参数配置
@KafkaListener(topics = "#{'${topics}'.split(',')}",concurrency = "#{'${concurrency}'}") public void processCdrPersonData(ConsumerRecord<byte[], byte[]> record) { //toDo }
2020-11-05 14:32:41 648
原创 python ftp操作
import osimport sysfrom ftplib import FTPclass FTPClient(FTP): """ FTP 客户端 """ def ftplogin(self, host, port, username, password): """ 登录 """ self.connect(host, port) self.login(username, password) def downloadfil
2020-10-14 11:20:08 276
原创 VSFTP配置
1. 新建宿主用户useradd vsftpd -d /opt/data6/ftp/ -s /bin/false #设置无法使用binmkdir /opt/data6/ftp/myuser #设置文件夹chown -R vsftpd:vsftpd /opt/data6/ftp/2. 建立虚拟用户vim virtusers# 填写虚拟用户myuserpassword3. 修改配置文件vim vsftpd.confanonymous_enable=NO#设成YES,允许匿名用户登陆
2020-09-26 11:35:42 275
原创 JAVA 列表引用的一个测试
public static void main(String[] args) { List<byte[]> list=new ArrayList<>(); byte[] s=new byte[1]; for(int i=0;i<3;i++){ s[0]=(byte)i; list.add(s); } list.forEach(System.out::.
2020-07-30 11:30:06 170
原创 Flink 侧路输出
DataStream<String> text = env.socketTextStream(hostname, port, "\n");text.filter(e->Integer.parseInt(e)>20).print();text.filter(e->Integer.parseInt(e)>10).print();env.execute();执行图如下 DataStream<String> text = env.socketTextS
2020-07-11 17:05:03 232
原创 工具类--hdfs小文件合并
package cn.ac.iieimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.{FileStatus, Path}import org.apache.spark.sql.SparkSessionobject MergerFile { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSessio
2020-06-22 21:05:22 677
原创 ssh连接很慢故障处理
由于系统调整关闭了集群的kerberos服务,之后使用ssh连接目标机器时出现了连接时间过长的问题。执行命令 ssh -v node2a1查看到Cannot contact any KDC for realm 'JS.HADOOP.COM'原因是无法解析KDC realm修复办法是vim /etc/ssh/ssh_conf修改以下两个配置项GSSAPIAuthenticatio...
2020-04-17 09:59:37 452
原创 简化java项目部署流程
<plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> ...
2020-02-20 11:11:44 440
原创 spark自定义函数
参考:1. https://spark.apache.org/docs/latest/sql-getting-started.html#untyped-user-defined-aggregate-functions2.https://spark.apache.org/docs/latest/sql-getting-started.html#type-safe-user-defined-agg...
2019-08-26 22:08:38 399
原创 spark读写HBASE
环境配置scala -> 2.11.12spark->2.2.0HBASE ->1.4.0 注意:用2.0的jar包写入不进去,但也不报错/** * spark直接读写Hbase,已测试 * @Author: stsahana * @Date: 2019-8-21 18:27 **/object HbaseDemo { def main(ar...
2019-08-26 21:51:31 420
原创 地图坐标系统转换
import mathx_pi = 3.14159265358979324 * 3000.0 / 180.0pi = 3.1415926535897932384626 # πa = 6378245.0 # 长半轴ee = 0.00669342162296594323 # 扁率def gcj02_to_bd09(lng, lat): """ 火星坐标系(GCJ-...
2019-08-12 18:20:28 454
原创 Mysql动态SQL语句
示例1:调用语句call agm('a3 desc',0,5)CREATE PROCEDURE `agm`(IN order_param varchar(10),IN anchor int,IN size int)BEGIN set @s = concat("select * from test1 order by ",order_param," limit ",anchor,",",si...
2019-08-06 18:47:15 1739
原创 Linux简易进度条与启动脚本
1.使用ANSI实现进度条控制参考文章:https://my.oschina.net/jcseg/blog/178047#!/bin/bashecho ''for i in {1..100}do x=`awk 'BEGIN{OFS="#";NF="'${i}'";print}'` echo -e "\033[41m\033[1m ${i}% ${x} \0...
2019-08-02 21:31:43 228
原创 MYSQL 8.0 新特性-递归CTE
直接生成连续的数字WITH recursive a (x) AS ( SELECT 1 UNION ALLSELECT x + 1 FROM a WHERE x < 10 ) SELECT * FROM a;层级查询测试数据示例图形展示如下数据库数据如下idnameparent_id1a2b13c14d2...
2019-08-01 17:21:39 1178
原创 Mariadb(MYSQL)窗口函数-排序
测试表testclassnamescore1张一1001张二991张三991张四981张五972李一1002李二992李三982李四972李五96排序(rank,dense_rank)在 8.0 版本之前,参考了https://segmentfault.com/q/1...
2019-08-01 16:35:19 725
原创 JAVA反射
参考的慕课网Cedar老师的反射课程java中静态成员、普通数据类型不是对象。一个类只可能是Class类的一个实例对象,可以理解为在虚拟机中只有一个同名类对象。三种方式获取类类型://编译时刻加载类是静态加载类、运行时刻加载类是动态加载类//new 创建对象是静态加载类,在编译时可就需要加载所有的可能需要的类。Foo foo=new Foo();Class c1=Foo.clas...
2019-07-02 23:58:00 164
原创 springboot中使用spring integeration连接MQTT
订阅消息的工具类import cn.ac.iie.securer.bean.properties.SubscriberConfiguration;import cn.ac.iie.securer.util.AESUtil;import lombok.extern.slf4j.Slf4j;import org.eclipse.paho.client.mqttv3.MqttConnectO...
2019-05-23 20:21:12 1219
原创 restTemplate http线程池
需要额外添加http-client依赖/** * Http连接池 * @Author: stsahana * 摘自https://www.cnblogs.com/zhangzhi19861216/p/8594674.html * @Date: 2019-5-21 17:31 **/@Configurationpublic class RestTemplateConfig { ...
2019-05-23 20:07:55 5218 2
原创 restTempate使用
下载图片 RestTemplate restTemplate=new RestTemplate(); ResponseEntity<Resource> forObject = restTemplate.getForEntity( "http://127.0.0.1:8030/images/1.jpg", Resource.class); ...
2019-05-23 20:02:08 746
原创 Sprint boot+Mybatis配置多数据源
t1为mysql数据源,t2为sqlserver数据源通过配置,使com.example.demo.mapper.mysql下MYSQL的Mapper与classpath:mapper/mysql/.xml形成映射。com.example.demo.mapper.mssql下MSSQL的Mapper与classpath:mapper/mssql/.xml形成映射。配置文件a’p’pl...
2019-03-29 21:29:12 356 2
原创 使用canal监视mysql库表变化并发布到kafka
参考官方文档https://github.com/alibaba/canal/wiki/QuickStarthttps://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart本地测试环境mariadb: 5.5.60kafka: 2.1.0canal: 1.1.2kafka安装测试环境为单机版本,解...
2019-01-12 17:32:47 2798
原创 MySQL 查询一串连续字符串
参考:https://blog.csdn.net/qiuli_liu/article/details/81707562SELECT @xi := @xi + 1 AS xc FROM ( SELECT 1 UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5 ) xc1, ( SELECT 1 UNION SELECT 2...
2018-12-08 15:38:30 855
原创 Spring Boot整合Spring Security
添加依赖 &lt;dependency&gt; &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt; &lt;artifactId&gt;spring-boot-starter-security&lt;/artifactId&gt; &lt;/dependenc
2018-11-01 16:39:55 181
原创 Spring Boot文件上传
spring boot 2.0.5配置静态文件路径application.propertiesuploadPath=/opt/data1/uploads/spring.resources.static-locations=classpath:/META-INF/resources/, classpath:/resources/, classpath:/static/, classpat...
2018-11-01 16:23:15 203
原创 mosquitto MQTT安装测试
测试环境为centOS 7#安装libwebsocketswget https://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/l/libwebsockets-1.7.5-1.el7.x86_64.rpmrpm -ivh libwebsockets-1.7.5-1.el7.x86_64.rpm#安装mosquittowget ht...
2018-11-01 16:05:10 562
原创 centOS下SQL SERVR的安装
#参考链接:http://blog.51cto.com/gaowenlong/1903477#首先再https://packages.microsoft.com/config/rhel/找到对应岑田OS版本的仓库配置文件curl https://packages.microsoft.com/config/rhel/7/mssql-server-2017.repo > /etc/yum.r...
2018-10-11 14:19:44 396
原创 Xmanager远程连接服务器
服务端 以cenos7为例,其他系统请见https://www.netsarang.com/faq/xmanager/list将桌面转换成lightdm安装依赖yum install lightdm如果安装失败,可以先尝试下面的命令再安装yum install http://download.netsarang.com/files/etc/epel-releas...
2018-03-28 19:58:04 1968
原创 C语言读取JSON文件
用来读取json文件并赋值给对象,使用了cJSONtypedef struct { cJSON *url; char path[100]; char app_name[100];} Enter;int main(){ FILE *f;//输入文件 long len;//文件长度 char *content;//文件内容 cJ...
2018-03-21 13:49:41 16249 6
原创 使用libnids嗅探TCP流
/*Copyright (c) 1999 Rafal Wojtczuk <nergal@7bulls.com>. All rights reserved.See the file COPYING for license details.*//*在原示例代码的基础上做了修改,使得可以一次性打印一个TCP流的数据。*/#include <sys/types.h>...
2018-03-16 18:33:06 1089
原创 libnids学习笔记
学习资料[1]下载包内的doc/API.html,version:1.24[2]http://blog.csdn.net/ningxiaowei2013/article/details/53035976简介 libnids(Network Intrusion Detection System Library),网络入侵监测系统函数库。具有重组TCP数据段、处理IP分片包和...
2018-03-09 17:53:06 5278
原创 使用libpcap抓取所有的http包
/* Simple Raw Sniffer */ /* Author: Luis Martin Garcia. luis.martingarcia [.at.] gmail [d0t] com *//* To compile: gcc httpsniffer.c -o httpsniffer...
2018-03-08 17:11:28 2684
原创 Libpcap学习笔记
参考[1]http://www.tcpdump.org/pcap.html[2]http://blog.csdn.net/lsg_down/article/details/78486614[3]http://e-ghost.deusto.es/docs/2005/conferencias/pcap.pdf[4]wiki[5]API简单介绍 libpcap(Packe...
2018-03-08 17:04:23 1020
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人