stSahana-CSDN博客

原创 win10 升级win11 报错 0xc1900101

管理员权限打开powershell，然后执行以下语句：net stop wuauservnet stop cryptSvcnet stop bitsnet stop msiserverren C:\\Windows\SoftwareDistribution SoftwareDistribution.oldren C:\\Windows\System32\catroot2 catroot2.oldnet start wuauservnet start cryptSvcnet start bi

2021-09-18 18:26:00 2623

原创 Spring JPA创建时间，更新时间

@Entity(name = "test")@Data@AllArgsConstructor@NoArgsConstructor@Builderpublic class Test{ @Id @GeneratedValue(strategy = GenerationType.IDENTITY) @Column(name = "id") private int id; @Column(name = "create_time",updatable = false)

2021-09-01 15:50:23 737

原创 list分组去重

public static void main(String[] args) { WxResult wxResult1= WxResult.builder().phone("1").time(1).uli("10").build(); WxResult wxResult2= WxResult.builder().phone("1").time(2).uli("10").build(); WxResult wxResult3= WxResult.bu...

2021-06-04 12:43:42 358

原创高效判断Java数组是否包含某个值

假设存在目标值arr，源数据j，判断J中的每个元素是否都在arr中出现过本文测试了loop、List、Set、org.apache.commons.lang3.ArrayUtils、java.util.Arrays、布隆过滤器的查询效率。import com.google.common.hash.BloomFilter;import com.google.common.hash.Funnels;import java.util.*;public class Test3 { pub.

2021-06-04 10:12:26 477

原创 linux 一些脚本

日期循环start=20200930end=20201001while [ $start -le $end ]do echo $start start=$(date -d "1 days $start" +"%Y%m%d")done

2021-04-02 17:26:46 92

原创 HIVE删除__HIVE_DEFAULT_PARTITION__

因为脏数据的写入导致hive产生了__HIVE_DEFAULT_PARTITION__的分区通过alter table tmp.test drop partition(eventdate>20210329) 来删除会报错hive 版本:1.1.0CDH:5.13.0数据库找到对应分区登录hive的元数据库select * from PARTITIONS where PART_NAME like '%__HIVE_DEFAULT_PARTITION__%';PART_IDC.

2021-04-01 21:29:14 3321 1

原创常用的Spark脚本

日常用到的spark脚本，便于日常粘贴写ESval options = Map("es.index.auto.create" -> "true","es.nodes.wan.only" -> "true","es.nodes" -> "192.168.3.1:9200","es.port" -> "9200","es.mapping.id" -> "id")import org.apache.spark.sql.SaveMode.withColumn("i.

2021-03-23 17:18:30 936

原创 IP地址点分十进制格式与数值格式相互装换

scala 版本 def ip2Int(ipString: String): Int = { // 取 ip 的各段 val ipSlices = ipString.split("\\.") var rs = 0 for (i <- 0 until ipSlices.length) { // 将 ip 的每一段解析为 int，并根据位置左移 8 位 val intSlice = ipSlices(i).toInt << 8 * i //

2021-03-01 18:08:53 387

原创 Spring spel 动态参数配置

@KafkaListener(topics = "#{'${topics}'.split(',')}",concurrency = "#{'${concurrency}'}") public void processCdrPersonData(ConsumerRecord<byte[], byte[]> record) { //toDo }

2020-11-05 14:32:41 620

原创 python ftp操作

import osimport sysfrom ftplib import FTPclass FTPClient(FTP): """ FTP 客户端 """ def ftplogin(self, host, port, username, password): """ 登录 """ self.connect(host, port) self.login(username, password) def downloadfil

2020-10-14 11:20:08 252

原创 VSFTP配置

1. 新建宿主用户useradd vsftpd -d /opt/data6/ftp/ -s /bin/false #设置无法使用binmkdir /opt/data6/ftp/myuser #设置文件夹chown -R vsftpd:vsftpd /opt/data6/ftp/2. 建立虚拟用户vim virtusers# 填写虚拟用户myuserpassword3. 修改配置文件vim vsftpd.confanonymous_enable=NO#设成YES,允许匿名用户登陆

2020-09-26 11:35:42 250

原创 JAVA 列表引用的一个测试

public static void main(String[] args) { List<byte[]> list=new ArrayList<>(); byte[] s=new byte[1]; for(int i=0;i<3;i++){ s[0]=(byte)i; list.add(s); } list.forEach(System.out::.

2020-07-30 11:30:06 143

原创 Flink 侧路输出

DataStream<String> text = env.socketTextStream(hostname, port, "\n");text.filter(e->Integer.parseInt(e)>20).print();text.filter(e->Integer.parseInt(e)>10).print();env.execute();执行图如下 DataStream<String> text = env.socketTextS

2020-07-11 17:05:03 211

原创工具类--hdfs小文件合并

package cn.ac.iieimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.{FileStatus, Path}import org.apache.spark.sql.SparkSessionobject MergerFile { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSessio

2020-06-22 21:05:22 619

原创 ssh连接很慢故障处理

由于系统调整关闭了集群的kerberos服务，之后使用ssh连接目标机器时出现了连接时间过长的问题。执行命令 ssh -v node2a1查看到Cannot contact any KDC for realm 'JS.HADOOP.COM'原因是无法解析KDC realm修复办法是vim /etc/ssh/ssh_conf修改以下两个配置项GSSAPIAuthenticatio...

2020-04-17 09:59:37 405

原创简化java项目部署流程

<plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> ...

2020-02-20 11:11:44 398

原创 spark自定义函数

参考：1. https://spark.apache.org/docs/latest/sql-getting-started.html#untyped-user-defined-aggregate-functions2.https://spark.apache.org/docs/latest/sql-getting-started.html#type-safe-user-defined-agg...

2019-08-26 22:08:38 372

原创 spark读写HBASE

环境配置scala -> 2.11.12spark->2.2.0HBASE ->1.4.0 注意：用2.0的jar包写入不进去，但也不报错/** * spark直接读写Hbase,已测试 * @Author: stsahana * @Date: 2019-8-21 18:27 **/object HbaseDemo { def main(ar...

2019-08-26 21:51:31 390

原创地图坐标系统转换

import mathx_pi = 3.14159265358979324 * 3000.0 / 180.0pi = 3.1415926535897932384626 # πa = 6378245.0 # 长半轴ee = 0.00669342162296594323 # 扁率def gcj02_to_bd09(lng, lat): """ 火星坐标系(GCJ-...

2019-08-12 18:20:28 420

原创 Mysql动态SQL语句

示例1：调用语句call agm('a3 desc',0,5)CREATE PROCEDURE `agm`(IN order_param varchar(10),IN anchor int,IN size int)BEGIN set @s = concat("select * from test1 order by ",order_param," limit ",anchor,",",si...

2019-08-06 18:47:15 1713

原创 Linux简易进度条与启动脚本

1.使用ANSI实现进度条控制参考文章：https://my.oschina.net/jcseg/blog/178047#!/bin/bashecho ''for i in {1..100}do x=`awk 'BEGIN{OFS="#";NF="'${i}'";print}'` echo -e "\033[41m\033[1m ${i}% ${x} \0...

2019-08-02 21:31:43 203

原创 MYSQL 8.0 新特性-递归CTE

直接生成连续的数字WITH recursive a (x) AS ( SELECT 1 UNION ALLSELECT x + 1 FROM a WHERE x < 10 ) SELECT * FROM a;层级查询测试数据示例图形展示如下数据库数据如下idnameparent_id1a2b13c14d2...

2019-08-01 17:21:39 1121

原创 Mariadb（MYSQL）窗口函数-排序

测试表testclassnamescore1张一1001张二991张三991张四981张五972李一1002李二992李三982李四972李五96排序（rank，dense_rank）在 8.0 版本之前,参考了https://segmentfault.com/q/1...

2019-08-01 16:35:19 690

原创 JAVA反射

参考的慕课网Cedar老师的反射课程java中静态成员、普通数据类型不是对象。一个类只可能是Class类的一个实例对象，可以理解为在虚拟机中只有一个同名类对象。三种方式获取类类型://编译时刻加载类是静态加载类、运行时刻加载类是动态加载类//new 创建对象是静态加载类，在编译时可就需要加载所有的可能需要的类。Foo foo=new Foo();Class c1=Foo.clas...

2019-07-02 23:58:00 148

原创 springboot中使用spring integeration连接MQTT

订阅消息的工具类import cn.ac.iie.securer.bean.properties.SubscriberConfiguration;import cn.ac.iie.securer.util.AESUtil;import lombok.extern.slf4j.Slf4j;import org.eclipse.paho.client.mqttv3.MqttConnectO...

2019-05-23 20:21:12 1169

原创 restTemplate http线程池

需要额外添加http-client依赖/** * Http连接池 * @Author: stsahana * 摘自https://www.cnblogs.com/zhangzhi19861216/p/8594674.html * @Date: 2019-5-21 17:31 **/@Configurationpublic class RestTemplateConfig { ...

2019-05-23 20:07:55 5172 2

原创 restTempate使用

下载图片 RestTemplate restTemplate=new RestTemplate(); ResponseEntity<Resource> forObject = restTemplate.getForEntity( "http://127.0.0.1:8030/images/1.jpg", Resource.class); ...

2019-05-23 20:02:08 718

原创 Sprint boot+Mybatis配置多数据源

t1为mysql数据源，t2为sqlserver数据源通过配置，使com.example.demo.mapper.mysql下MYSQL的Mapper与classpath:mapper/mysql/.xml形成映射。com.example.demo.mapper.mssql下MSSQL的Mapper与classpath:mapper/mssql/.xml形成映射。配置文件a’p’pl...

2019-03-29 21:29:12 337 2

原创使用canal监视mysql库表变化并发布到kafka

参考官方文档https://github.com/alibaba/canal/wiki/QuickStarthttps://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart本地测试环境mariadb: 5.5.60kafka: 2.1.0canal: 1.1.2kafka安装测试环境为单机版本，解...

2019-01-12 17:32:47 2759

原创 MySQL 查询一串连续字符串

参考：https://blog.csdn.net/qiuli_liu/article/details/81707562SELECT @xi := @xi + 1 AS xc FROM ( SELECT 1 UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5 ) xc1, ( SELECT 1 UNION SELECT 2...

2018-12-08 15:38:30 829

原创 Spring Boot整合Spring Security

添加依赖 &lt;dependency&gt; &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt; &lt;artifactId&gt;spring-boot-starter-security&lt;/artifactId&gt; &lt;/dependenc

2018-11-01 16:39:55 165

原创 Spring Boot文件上传

spring boot 2.0.5配置静态文件路径application.propertiesuploadPath=/opt/data1/uploads/spring.resources.static-locations=classpath:/META-INF/resources/, classpath:/resources/, classpath:/static/, classpat...

2018-11-01 16:23:15 186

原创 mosquitto MQTT安装测试

测试环境为centOS 7#安装libwebsocketswget https://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/l/libwebsockets-1.7.5-1.el7.x86_64.rpmrpm -ivh libwebsockets-1.7.5-1.el7.x86_64.rpm#安装mosquittowget ht...

2018-11-01 16:05:10 518

原创 centOS下SQL SERVR的安装

#参考链接：http://blog.51cto.com/gaowenlong/1903477#首先再https://packages.microsoft.com/config/rhel/找到对应岑田OS版本的仓库配置文件curl https://packages.microsoft.com/config/rhel/7/mssql-server-2017.repo > /etc/yum.r...

2018-10-11 14:19:44 366

原创 Xmanager远程连接服务器

服务端以cenos7为例，其他系统请见https://www.netsarang.com/faq/xmanager/list将桌面转换成lightdm安装依赖yum install lightdm如果安装失败，可以先尝试下面的命令再安装yum install http://download.netsarang.com/files/etc/epel-releas...

2018-03-28 19:58:04 1924

原创 C语言读取JSON文件

用来读取json文件并赋值给对象,使用了cJSONtypedef struct { cJSON *url; char path[100]; char app_name[100];} Enter;int main(){ FILE *f;//输入文件 long len;//文件长度 char *content;//文件内容 cJ...

2018-03-21 13:49:41 16049 6

原创使用libnids嗅探TCP流

2018-03-16 18:33:06 1057

原创 libnids学习笔记

学习资料[1]下载包内的doc/API.html，version:1.24[2]http://blog.csdn.net/ningxiaowei2013/article/details/53035976简介 libnids（Network Intrusion Detection System Library）,网络入侵监测系统函数库。具有重组TCP数据段、处理IP分片包和...

2018-03-09 17:53:06 5213

原创使用libpcap抓取所有的http包

/* Simple Raw Sniffer */ /* Author: Luis Martin Garcia. luis.martingarcia [.at.] gmail [d0t] com *//* To compile: gcc httpsniffer.c -o httpsniffer...

2018-03-08 17:11:28 2631

原创 Libpcap学习笔记

参考[1]http://www.tcpdump.org/pcap.html[2]http://blog.csdn.net/lsg_down/article/details/78486614[3]http://e-ghost.deusto.es/docs/2005/conferencias/pcap.pdf[4]wiki[5]API简单介绍 libpcap（Packe...

2018-03-08 17:04:23 982

空空如也

空空如也