- 博客(108)
- 资源 (45)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 baomidou.mybatisplus对查询结果进行分页
在springboot中，要使用baomidou.mybatisplus对查询结果进行分页的逻辑过程maven依赖<!--mybatis--><dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</a...
2020-02-27 17:30:07
6215
1
原创 自定义ResponseResult在controller响应信息主体和自定义全局及局部异常中的实现
前言：在controller及hanlder的消息返回给客户端的json对象信息，一般是自定义的，输出格式是json格式！自定义详细编号HttpEnum/** * <b><code>HttpEnum</code></b> * <p> * Description * </p> * <b>Cre...
2020-02-27 16:20:51
4306
8
原创 webSocket与redis结合，和客户端交互及统计在线人数的实现
前提实现对客户端的在线统计，及与客户端的交互和接受redis的消息设置spring上下文import org.springframework.beans.BeansException;import org.springframework.context.ApplicationContext;import org.springframework.context.Applicatio...
2020-02-27 15:20:52
1674
6
原创 在springboot引入redis及redis的工具类的运用
1、在maven中，添加依赖<!--reids--><dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.7.3</version></dependency&g...
2020-02-27 10:58:41
1001
2
原创 spring中的aop实现各个类方法的日志拦截
spring中的aop实现各个类方法的日志拦截。1、编写SysLogAspect类@Slf4j@Aspect@Configurationpublic class SysLogAspect { private static final Logger logger = LoggerFactory.getLogger(SysLogAspect.class); @Aro...
2020-02-26 16:06:36
903
原创 连接获取上传sftp远程目录信息的工具类FtpsFileList
连接获取上传sftp远程目录信息的工具类import com.jcraft.jsch.Channel;import com.jcraft.jsch.ChannelSftp;import com.jcraft.jsch.JSch;import com.jcraft.jsch.Session;import org.slf4j.Logger;import org.slf4j.Logger...
2020-02-26 15:35:08
720
原创 全角与半角字符串或字符之间的转换Java工具类BCConvert
全角与半角字符串或字符之间的转换Java工具类public class BCConvert { /** * ASCII表中可见字符从!开始，偏移位值为33(Decimal) */ static final char DBC_CHAR_START = 33; // 半角! /** * ASCII表中可见字符到~结束，偏移位值为126(Decimal) */ stat...
2020-02-26 13:18:26
436
原创 接口的http请求，获取json数据格式的工具类HttpPost
接口的http请求，获取json数据格式的工具类工具类HttpPostimport java.io.BufferedReader;import java.io.DataOutputStream;import java.io.IOException;import java.io.InputStreamReader;import java.net.HttpURLConnection;...
2020-02-26 12:29:57
624
原创 对接HttpPost.httpUrlConnectionPost的json数据，定时写入txt文档
1、需要导入的类import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import java.io.BufferedWriter;import java.io.File;import java.io.FileWrite...
2020-02-26 12:17:40
633
4
原创 基于common-io自动监控文件及文件变化和同步文件的工具类SynFile
基于common-io自动监控文件及文件变化和同步文件的工具类import java.io.File;import java.io.FileFilter;import java.util.concurrent.ConcurrentLinkedQueue;import org.apache.commons.io.filefilter.FileFilterUtils;import org...
2020-02-26 11:44:53
467
原创 执行shell脚本，并返回筛选结果的多功能Java工具类LinuxCmdUtils
执行shell脚本，并返回筛选结果的多功能Java工具类import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.LineNumberReader;import java.io.PrintStream;import org.slf4...
2020-02-26 11:39:11
468
原创 含有压缩等最全功能的文件及文件夹处理工具类FileUtil
最全功能的文件及文件夹处理工具类import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileOutpu...
2020-02-26 11:31:23
433
原创 sftp批量上传及批量下载等最全功能的工具类SFTPUtils
sftp批量上传及批量下载等最全功能的工具类import com.jcraft.jsch.Channel;import com.jcraft.jsch.ChannelSftp;import com.jcraft.jsch.ChannelSftp.LsEntry;import com.jcraft.jsch.JSch;import com.jcraft.jsch.JSchExcepti...
2020-02-26 11:28:05
1543
原创 各种要求的时间处理的date工具类DateUtil
各种要求的时间处理的date工具类import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;public class DateUtil{ public static final String DEFAULT_FORMAT_STR = "yyyyMMddHHmmss"; ...
2020-02-26 11:10:12
855
原创 建造者模式遇到大数据SparkSession，使链式函数编程再次流行
前言在过去，最流行的后台代码开发模式是工厂模式，工厂方法，装饰模式等，但是随着大数据时代的到来，及spark2.0的引入，建造者模式，也流行起来，尤其是链式函数方法的使用！建造者模式的原理一个构建者模式的实例demopackage com.enu.test.ne;/** * 缺点：先构造一个builder对象，再根据builder生成目标类 好处：保证了目标类的不可变性。 ...
2020-02-23 22:48:37
555
原创 新装Centos系统服务器升级Linux内核至3.0.88
前言对于项目的采集层，如果要使用万兆网卡进行原始信令的采集处理，需要使用netmap对万兆网卡的数据包做采集。经过测试，netmap依赖的linux内核是3.0.88，所以所有的采集服务器，内核必须安装|升级到3.0.88。新装服务器升级Linux内核至3.0.88目前centos 6.4的内核是2.6.32，后续10GE采集需要用的netmap模块加载需要升级内核只3.0.88(...
2020-02-22 21:21:34
622
原创 Windows7系统安装oracle12c的全过程
前言安装包下载地址:http://www.oracle.com/technetwork/cn/database/enterprise-edition/downloads/index.html如果之前安装过了的，但是想要再重新安装,请确保之前的安装已经卸载干净了卸载过程地址: https://blog.csdn.net/xqf222/article/details/64129040(它还少说...
2020-02-22 17:51:33
931
原创 MySql出现中文乱码问题的解决方案
1.登录mysql，查看数据库的整体编码mysql> show variables like 'character%';+--------------------------+----------------------------+| Variable_name | Value | +--------------------------+-------------------...
2020-02-21 12:55:31
332
原创 SpringBoot整合XssFilter，Jsoup等实现请求参数的过滤，处理Xss攻击及sql注入
前言SpringBoot整合XssFilter，Jsoup等实现请求参数的过滤，处理Xss攻击及sql注入，以下是涉及的主要类：原理过程Springboot中会使用FilterRegistrationBean来注册Filter，Filter是Servlet规范里面的，属于容器范围，Springboot中没有web.xml，那Springboot中，不用管Filter是如何交给Ser...
2020-02-09 01:31:55
2155
1
原创 阿里FastJson2JsonRedisSerializer.java作为内部类强化RedisConfig的序列化实现
任何存储都需要序列化任何存储都需要序列化。只不过常规你在用DB一类存储的时候，这个事情DB帮你在内部已经实现了（直接把SQL带有类型的数据转换成内部序列化的格式，存储；读取时再解析出来）。而Redis并不会帮你做序列化这个事情。当你用Redis的key和value时，value对于redis来讲就是个byte array，需要把需要的数据结构转换成byte array，存储，等读取时再读出...
2020-02-07 20:22:03
3867
1
原创 mysql，及postgresql 等SQL语句优化和大表优化解决方案
前言当单表记录数过大时，增删改查性能都会急剧下降，可能原因：没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) 、I/O吞吐量小，形成了瓶颈效应、没有创建计算列导致查询不优化、内存不足、网络速度慢 、查询出的数据量过大（可以采用多次查询，其他的方法降低数据量）、锁或者死锁(这也是查询慢最常见的问题，是程序设计的缺陷) 、sp_lock,sp_who,活动的用户查看,原因是...
2020-02-04 03:02:32
4609
3
原创 安装Kubernetes的轻量集群minikube
前言Minikube是一种方便在本地运行Kubernetes的工具，Minikube是可以在VM中运行单节点的Kubernetes集群，Minikube是为了开发或测试在本地启动一个节点的kubernetes集群。特点：不能启动生产集群，没有高可用性的单节点机器，可以工作在Windows，Linux，MacOS下，先决条件需要安装VirtualBox。安装minikube[roo...
2020-02-22 04:46:27
345
原创 百度地图求点和双向曲线的最短距离的优化方案及建议
前言首先，我们都知道，点和直线最短的距离就是点到直线的垂直距离。我们用直角三角板的直角边，画出的直线即为所求，那么，曲线呢？问题转化我们把曲线切割成直线，那么两两的最短距离就是那些直角边画出来的集合，因此，我们可以通过比较这些集合，求出相关的距离。可是，这在百度地图中，却不是最好的方案。解决方案将问题简单化，百度地图的曲线可以看成按某种精度连接起来的点集，我们可以通过求球体比较...
2020-02-22 04:32:20
869
原创 Cloudera集群在运行中常见的问题，及解决方案
1、某台datanode机器启动不起来某台datanode机器启动不起来，报错信息如下具体问题Failed to analyze storage directories for block pool BP-177636967-192.168.2.14-1502791129465 java.io.IOException: BlockPoolSliceStorage.recoverT...
2020-02-21 13:23:42
775
原创 用自定义Key生成策略解决SpringBoot 启用了ehcache缓存后不能正确的返回数据的问题
前言今天在项目启用了ehcache缓存，但是某些方法使用缓存后不能正确的返回数据，抛出了类型转换异常，找了一番资料后发现是缓存的key生成策略问题，在此将此问题及解决办法记录一下。spring cache缓存的keyspring cache缓存的key默认是通过KeyGenerator生成的，其默认生成策略如下： 如果方法没有参数，则使用0作为key。 如果只有一个...
2020-02-21 00:12:56
731
原创 PostgreSQL表分区和Oracle表分区对比，主表只存储近7天的数据，7天之前的数据删掉的sql实现
业务背景最近需求要求统计DNS近7天每天的解析情况。数据量相对大，所以我这边对表进行分区。对每天的数据进行分区存储。主表只存储近7天的数据，7天之前的数据删掉。所以我这边会对第8天的数据删除，删除第8天的分区表即可。PostgreSQL分区表跟Oracle分区表对比这里对PostgreSQL分区表跟Oracle分区表对比一下：1、分区类型PostgreSQL分区类型有范围分区...
2020-02-19 02:11:40
960
原创 在离线环境下，利用pip工具，安装Python项目的依赖文件requirements.txt
由于项目上的需要通过离线的方式来安装Python项目，所以总结出以下步骤。一、更新pip版本1.下载pippython3.6自带pip，可以不用再安装pip，而python2.7安装时是不带有pip的，从官网下载提供的编译好的包最新版本pip-8.1.2-py2.py3-none-any.whl和wheel-0.29.0-py2.py3-none-any.whl,离线安装pip时，...
2020-02-18 21:52:14
1212
原创 jdk动态代理实现过程，及spring中AOP和事务控制的原理应用讲解
jdk动态代理好处在于我们可以把功能性的代码实现更好的封装，把公共性的代码抽取出来，由代理类去完成。而被代理实体只注重关键功能的实现，好处在于同一类业务的所有类，都可以交由代理类去代理，我们只需要注重关键代码的开发(例如日志，事务回滚)。注意：jdk动态代理类是基于接口生成的，所以说我们的被代理实体必须要继承一个接口原生的jdk实现动态代理的代码实现。编写被代理类接口publ...
2020-02-18 18:40:08
300
原创 Centos7安装和部署Docker教程,及镜像加速
一.前提条件目前，CentOS 仅发行版本中的内核支持 Docker。* Docker 运行在 CentOS 7 上，要求系统为64位、系统内核版本为 3.10 以上。* Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上，要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。二.安装Docker1.检查CentOS系统版本和内核版本查...
2020-02-17 01:37:09
639
原创 编写Dockerfile打包镜像需要注意的地方
1、使用官方仓库认证过的基础镜像在打包镜像时候，使用的基础镜像，不要随便使用一个私人仓库的镜像。尽量使用官方仓库认证过的基础镜像，不然在打包自己项目镜像时候，很难打包成功。2、写上jdk中java二进制的绝对路径构建有java环境变量的镜像，在使用命令 java -jar XXXX.jar 运行某一个jar包时，若报错找不到java的二进制文件，可以尝试将写上jdk中java二进制...
2020-02-17 01:24:16
753
原创 前端组件代码以“scope”的形式将组件或包发布到 npmjs 或 nexus的解决方案
1、引言多人、多组织或多组件发布 npm 包到同一个仓库时，可能出现命名冲突问题。为了解决这个问题，npm 引入了“scope”（范围）概念。在 Angular 项目中，我们通常可以看到“@angular/core”、“@angular/common”等以“@”符号开头、“/”间隔形式的依赖包，其中“@”和“/”之间的部分就是“scope”，类似编程环境中的“命名空间”。包含“scope...
2020-02-16 11:20:41
487
原创 Spark job提交时，spark-submit的主要参数的解析及建议
前言说spark之前，先提一下MapReduce： 最本质的两个过程就是Map和ReduceMap的应用在于我们需要数据一对一的元素的映射转换，比如说进行截取，进行过滤，或者任何的转换操作，这些一对一的元素转换就称作是Map； Reduce主要就是元素的聚合，就是多个元素对一个元素的聚合，比如求Sum等，这就是Reduce。Mapreduce是Hadoop1.0的核心，Spa...
2020-02-16 11:06:37
726
原创 修改git上的branch名称,set-upstream进行提交
背景： 在开发项目V1.1版本的时候，命名了一个release-1.1的branch。经检测，是不太符合项目需求的。需要进行重新命名。考虑到已经有实现代码在上面进行提交，所以需要用rename的方式来处理。解决：git branch -m old_branch new_branch # Rename branch locallygit push origin :old...
2020-02-16 03:20:32
1114
原创 项目上兼容Oracle与PG遇到问题的解决方案
一、Oracle与PG在mybatis的sql配置文件中的不同在mybatis的sql配置文件中，如果是单独的sql语句，就是不是存储过程，写的sql语句是不能使用分号做结尾的，不然程序运行的时候会报ora-00911: 无效字符.如:注意：但是数据库使用PG是可以带分号的，具体原因是Oracle数据库接口对书写格式要求更加严格，即使多加一个空格、逗号、分号、回车都不行。二、Ora...
2020-02-16 03:13:53
783
原创 PG批量赋权技巧，实现对表权限的控制，以期减少使用所有者登录，误操作，造成删表的危险
一般公司研发规定：每个项目应该有三类账号应用账号: 命名规则pg{project_name}a 只读账号: 命名规则pg{project_name}r 调试账号: 命名规则pg{project_name}s各种账号对应的权限应该不一样:应用账号: 用于设置与应用内部, 供应用操作数据库只用. 只读账号: 用于只读的查询, 供开发测试人员检查数据时使用. 调试账号: 用...
2020-02-16 02:50:03
771
原创 CSS文本超出显示要求的字符数，就隐藏后面的内容，并且显示省略号
前言：首先，要知道css的三条属性。overflow:hidden; //超出的文本隐藏 text-overflow:ellipsis; //溢出用省略号显示 white-space:nowrap; //溢出不换行这三个是css的基础属性，需要记得。但是第三条属性，只能显示一行，不能用在这里，那么如果显示多行呢？解决：css3解决了这个问题，解决方法如下：displa...
2020-02-16 02:33:40
1155
原创 Jsoup解析HTML页面，进行网页爬取数据时遇到的坑
问题一：当我使用doc.getElementsByClass(“class的值”)对以下带有#空格#（多值的）的块，进行获取数据的时候，发现获取不到任何数据。解决过程：使用其它的方法替换它，使用Elements 的select(String cssQuery)Elements elements = elementsRoot.get(0).select(searchbar.sear...
2020-02-16 02:22:06
3017
原创 解决CDH内嵌Spark版本不支持spark-sql的方案
1.概述CDH内嵌Spark版本不支持spark-sql,因为cloudera在推自己的impala，但是有些场景需要用到Spark-sql时，比如Kylin企业版想要加快构建需要用到SparkSQL，大概的思路就是换jar包，很多资料，千篇一律是要加入hive&hivethriftserver重新编译源码再打成jar才能支持，其实我们只需要到官网去把编译好的spark包下下来，直接替...
2020-02-15 20:43:54
2978
原创 在开发spark程序中，sqlContext函数不能完全实现业务逻辑，所以会引入hiveContext，解决TOP_N问题
异常报错：问题描述：在开发spark程序中，sqlContext函数不能完全实现业务逻辑，所以会引入hiveContext，（用hiveContext中的开窗函数TOP-N）。原因分析：在SQLContext上下文是不支持开窗函数的，用他来解决TOP-N问题，写的sql有点复杂，执行效率相对较低，可使用HiveContext,使用row_number() over(par...
2020-02-15 02:31:25
329
原创 针对生产环境无法联网的前提,离线部署Rancher + K8S
前言针对生产环境无法联网的前提，离线部署Rancher + K8S 。 主要思路是1、搭建本地私有仓库（nexus） 2、离线部署好各服务器的docker 后，指定镜像源为本地仓库（register） 3、上传所有rancher、rancher-rke等相关镜像（务必收集齐全） 4、docker pull rancher / rke工具离线部署k8s集群官方文档：https://r...
2020-02-15 01:10:53
1139
实际WEB项目整合 Shiro 以及 LDAP 方案.docx
2020-02-11
springboot后端实现防御xSRF攻击的策略代码.zip
2020-02-10
SpringBoot整合XssFilter，Jsoup等实现请求参数的过滤，处理Xss攻击及sql注入.zip
2020-02-09
在使用netty进行网络通信协议传输使用protobuf时protobuf编译.proto文件生成JAVA类.zip
2020-02-09
ApacheJMeter安装及对postgresql数据库压测过程.zip
2020-02-09
基于Jenkins+SonarQube+Nosetests+Coverage的Python项目持续集成.jpg
2020-02-07
tmux安装文件及配置.zip
2020-02-06
Kettle分享.pptx
2020-02-04
利用kettle运行job，完成以上的两个过程.mp4
2020-02-04
利用kettle运行transformation，完成数据库表到数据库表的ETL过程.mp4
2020-02-04
利用kettle运行transformation，完成从Excel表到数据库表的ETL过程.mp4
2020-02-04
table-copy-update.ktr
2020-02-04
nux-dextop-release-0-2.el6.nux.noarch.rpm
2020-02-04
mysql-to-hive.ktr
2020-02-04
构建通用Docker基础镜像.zip
2020-02-03
nmon_x86_64_centos7
2020-02-01
ideaeclipse-java-formatters_1.0.0.xml
2020-01-31
git-lfs-windows-v2.10.0.exe
2020-01-28
powa-install-packages.tar.gz
2020-01-28
DateUtil.java
2020-01-22
HttpRequestConvert.java
2020-01-22
最透彻的的Netty高性能原理和框架架构解析.docx
2020-01-22
文件上传的相关工具包.rar
2021-02-05
flannel和etcd.zip
2020-11-25
docker离线安装包，及相关依赖
2020-11-25
kafka-eagle-web-2.0.2-bin.tar.gz
2020-09-29
rpm_yum.tar.gz
2020-09-17
SSD在分布式文件系统中的应用场景及方案对比.pdf
2020-06-16
应用层PostgreSQL数据库安装步骤.zip
2020-03-07
postgres及min数据库的的表结构及触发器.txt
2020-03-07
PostgreSQL表分区的所有表结构和表分区及触发器.zip
2020-02-19
PostgreSQL表分区和子表及删除所有的数据库表.zip
2020-02-19
用Tableau 制图甘肃省地图的详细过程.zip
2020-02-19
导入Python的依赖openpyxl，xlrd，解决execl按某列条件，修改另一列的值.py
2020-02-12
LIUNX环境合规修复shell脚本.zip
2020-02-10
upgrade_ssh.zip
2020-02-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人