自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Flink 侧路输出

DataStream<String> text = env.socketTextStream(hostname, port, "\n"); text.filter(e->Integer.parseInt(e)>20).print(); text.filt...

2020-07-11 17:05:03 8 0

原创 工具类--hdfs小文件合并

package cn.ac.iie import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileStatus, Path} import org.apache.spark.sql.SparkSessio...

2020-06-22 21:05:22 55 0

原创 ssh连接很慢故障处理

由于系统调整关闭了集群的kerberos服务,之后使用ssh连接目标机器时出现了连接时间过长的问题。 执行命令 ssh -v node2a1 查看到 Cannot contact any KDC for realm 'JS.HADOOP.COM' 原因是无法解析KDC rea...

2020-04-17 09:59:37 68 0

原创 简化java项目部署流程

<plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>...

2020-02-20 11:11:44 111 0

原创 spark自定义函数

参考:1. https://spark.apache.org/docs/latest/sql-getting-started.html#untyped-user-defined-aggregate-functions 2.https://spark.apache.org/docs/latest/s...

2019-08-26 22:08:38 63 0

原创 spark读写HBASE

环境配置 scala -> 2.11.12 spark->2.2.0 HBASE ->1.4.0 注意:用2.0的jar包写入不进去,但也不报错 /** * spark直接读写Hbase,已测试 * @Author: stsahana * @Date: 2019-...

2019-08-26 21:51:31 193 0

原创 地图坐标系统转换

import math x_pi = 3.14159265358979324 * 3000.0 / 180.0 pi = 3.1415926535897932384626 # π a = 6378245.0 # 长半轴 ee = 0.00669342162296594323 # 扁率 ...

2019-08-12 18:20:28 70 0

原创 Mysql动态SQL语句

示例1: 调用语句call agm('a3 desc',0,5) CREATE PROCEDURE `agm`(IN order_param varchar(10),IN anchor int,IN size int) BEGIN set @s = concat("...

2019-08-06 18:47:15 826 0

原创 Linux简易进度条与启动脚本

1.使用ANSI实现进度条控制 参考文章:https://my.oschina.net/jcseg/blog/178047 #!/bin/bash echo '' for i in {1..100} do x=`awk 'BEGIN{OFS="...

2019-08-02 21:31:43 51 0

原创 MYSQL 8.0 新特性-递归CTE

直接生成连续的数字 WITH recursive a (x) AS ( SELECT 1 UNION ALL SELECT x + 1 FROM a WHERE x < 10 ) SELECT * FROM a; 层级查询 测试数据示例 图形展示如下 数据库数据如下 ...

2019-08-01 17:21:39 410 0

原创 Mariadb(MYSQL)窗口函数-排序

测试表test class name score 1 张一 100 1 张二 99 1 张三 99 1 张四 98 1 张五 97 2 李一 100 2 李二 99 2 李三 98 2 李四 97 2 李五 96 排序(rank,dense...

2019-08-01 16:35:19 205 0

原创 JAVA反射

参考的慕课网Cedar老师的反射课程 java中静态成员、普通数据类型不是对象。 一个类只可能是Class类的一个实例对象,可以理解为在虚拟机中只有一个同名类对象。 三种方式获取类类型: //编译时刻加载类是静态加载类、运行时刻加载类是动态加载类 //new 创建对象是静态加载类,在编译时可就需...

2019-07-02 23:58:00 31 0

原创 springboot中使用spring integeration连接MQTT

订阅消息的工具类 import cn.ac.iie.securer.bean.properties.SubscriberConfiguration; import cn.ac.iie.securer.util.AESUtil; import lombok.extern.slf4j.Slf4j; ...

2019-05-23 20:21:12 646 0

原创 restTemplate http线程池

需要额外添加http-client依赖 /** * Http连接池 * @Author: stsahana * 摘自https://www.cnblogs.com/zhangzhi19861216/p/8594674.html * @Date: 2019-5-21 17:31 **/ ...

2019-05-23 20:07:55 2816 2

原创 restTempate使用

下载图片 RestTemplate restTemplate=new RestTemplate(); ResponseEntity<Resource> forObject = restTemplate.getForEntity( "http://12...

2019-05-23 20:02:08 367 0

原创 Sprint boot+Mybatis配置多数据源

t1为mysql数据源,t2为sqlserver数据源 通过配置,使com.example.demo.mapper.mysql下MYSQL的Mapper与classpath:mapper/mysql/.xml形成映射。 com.example.demo.mapper.mssql下MSSQL的Map...

2019-03-29 21:29:12 204 2

原创 使用canal监视mysql库表变化并发布到kafka

参考官方文档 https://github.com/alibaba/canal/wiki/QuickStart https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart 本地测试环境 mariadb: 5....

2019-01-12 17:32:47 2070 0

原创 MySQL 查询一串连续字符串

参考:https://blog.csdn.net/qiuli_liu/article/details/81707562 SELECT @xi := @xi + 1 AS xc FROM ( SELECT 1 UNION SELECT 2 UNION SELECT 3 UNION SELECT...

2018-12-08 15:38:30 331 0

原创 Spring Boot整合Spring Security

添加依赖 &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.springframework.boot&amp;lt;/groupId&amp;gt; &amp;lt;ar...

2018-11-01 16:39:55 79 0

原创 Spring Boot文件上传

spring boot 2.0.5 配置静态文件路径 application.properties uploadPath=/opt/data1/uploads/ spring.resources.static-locations=classpath:/META-INF/resources/, c...

2018-11-01 16:23:15 72 0

原创 mosquitto MQTT安装测试

测试环境为centOS 7 #安装libwebsockets wget https://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/l/libwebsockets-1.7.5-1.el7.x86_64.rpm rpm -ivh libwebs...

2018-11-01 16:05:10 240 0

原创 centOS下SQL SERVR的安装

#参考链接:http://blog.51cto.com/gaowenlong/1903477 #首先再https://packages.microsoft.com/config/rhel/找到对应岑田OS版本的仓库配置文件 curl https://packages.microsoft.com/c...

2018-10-11 14:19:44 187 0

原创 Xmanager远程连接服务器

服务端 以cenos7为例,其他系统请见https://www.netsarang.com/faq/xmanager/list 将桌面转换成lightdm 安装依赖 yum install lightdm 如果安装失败,可以先尝试下面的命令再安装 yum install ...

2018-03-28 19:58:04 1051 0

原创 C语言读取JSON文件

用来读取json文件并赋值给对象,使用了cJSON typedef struct { cJSON *url; char path[100]; char app_name[100]; } Enter; int main(){ FILE *f;//输入文件 ...

2018-03-21 13:49:41 7520 4

原创 使用libnids嗅探TCP流

/* Copyright (c) 1999 Rafal Wojtczuk &lt;nergal@7bulls.com&gt;. All rights reserved. See the file COPYING for license details. */ /* 在原示例代码的基...

2018-03-16 18:33:06 725 0

原创 libnids学习笔记

学习资料 [1]下载包内的doc/API.html,version:1.24 [2]http://blog.csdn.net/ningxiaowei2013/article/details/53035976 简介 ​ libnids(Network Intrusion Detect...

2018-03-09 17:53:06 3792 0

原创 使用libpcap抓取所有的http包

/* Simple Raw Sniffer */ /* Author: Luis Martin Garcia. luis.martingarcia [.at.] gmail [d0t] com ...

2018-03-08 17:11:28 1634 0

原创 Libpcap学习笔记

参考 [1]http://www.tcpdump.org/pcap.html [2]http://blog.csdn.net/lsg_down/article/details/78486614 [3]http://e-ghost.deusto.es/docs/2005/conferencia...

2018-03-08 17:04:23 737 0

转载 java中double类型的内存表示

转自[http://bbs.csdn.net/topics/260050279] 浮点数保存的字节格式如下: 地址 +0 +1 +2 +3 内容 SEEE EEEE EMMM MMMM MMMM MMMM MMMM MMMM 这里 S 代表符号位,1是负,0是正 E 偏移127的幂,二...

2018-03-06 17:58:44 992 0

原创 GnuPG加密解密

GnuPG加密解密 本文使用Gnupg CommandLine,GnuPG在windows平台上有图形化界面程序Gpg4win可用。 需要查看文件的一方 gpg --gen-key #输入用户名(可选)、邮箱(可选)、密码 gpg -a --output public.asc...

2018-02-05 16:01:20 184 0

原创 XML to JSON

xml to json ,依赖:fastjson、dom4j private JSONObject readExtract(String file){ SAXReader reader = new SAXReader(); Document document = n...

2017-12-28 20:43:34 288 0

原创 hive简易配置

需要提前配置好hadooptar -zxvf apache-hive-2.3.1-bin.tar.gz mv apache-hive-2.3.1-bin /usr/local/hive echo export HIVE_HOME=/usr/local/hive>>~/.bashrc ...

2017-11-28 16:20:23 134 0

原创 Hadoop 伪分布式环境搭建

参考网址: http://hadoop.apache.org/docs/r2.8.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation 需提前配置好java环境,下载安装包并...

2017-11-12 23:15:04 159 0

原创 centos 7 minimal 网络配置问题

entOS 7 minimal版本,安装完成后网络默认不开启。如果需要使用ssh连接,就需要开启网络服务。 另一种解决办法是在vmware新建虚拟机时把网络打开 vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 # 将ONBOO...

2017-11-12 21:14:31 634 0

原创 log4j2示例

log4j2.xml 示例 &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;configuration status="error"&gt;...

2017-09-26 17:20:58 171 0

原创 Gitlab安装

entOS7安装gitlab测试,参考地址https://about.gitlab.com/installation/#centos-7安装依赖shell sudo yum install -y curl policycoreutils openssh-server openssh-client...

2017-09-18 14:03:48 363 0

原创 日常踩坑

之前开发中遇到的一些小问题,解决方法很简单可能就一两行代码的问题,单独写一篇博客篇幅过小,文章列表显得散乱又不好查找。所以开一篇新的博客集中记录一下踩到的坑,今后持续更新。 SS服务 https://hacpai.com/article/1491382329320 Maven项目指定运行...

2017-05-23 01:18:05 254 0

原创 OpenSips使用说明

OpenSips使用说明 安装MYSQL 安装及初始化下载地址:http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz # 解压移动tar -zxvf mysql-5.7.17-l...

2017-01-03 09:17:56 4459 0

原创 Spring执行mongoDB存储过程

Spring-data-mongoDB执行mongoDB存储过程spring-data-mongoDB 从1.7开始支持mongoDB的存储过程,因此需要导入spring-data-mongoDB 1.7版本以上的包。调用远程服务器脚本 服务器端脚本如下,因为本文的重点在调用上,使用的脚本很简单/...

2016-11-24 10:51:22 2286 1

原创 spring+quartz实现定时任务

导入jar包<dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifactId> <version>2.2.3</...

2016-11-22 15:54:07 199 0

提示
确定要删除当前文章?
取消 删除