java
k55
这个作者很懒,什么都没留下…
展开
-
BLOB/TEXT column ‘sup_content‘ used in key specification without a key length
如果想用索引,建议使用varchar类型,并且指定长度小于255(需要注意当数据长度大于255的时候varchar会自动转成smalltext类型,这时候对此字段索引也会爆出。Mysql数据库对于BLOB/TEXT这样类型的数据结构只能索引前N个字符,所以没有设置长度的。不能用来做索引或者指定唯一性,如果对。mysql数据建表使用了。原创 2022-10-01 18:04:02 · 658 阅读 · 1 评论 -
在excel文件上设置下拉选项
最近做个excel导入文档,需要下拉选项,于是研究了下一般从第二行开始,第一行标题不做下拉选项。将鼠标放在F列的第二行按住原创 2022-06-24 08:52:03 · 2111 阅读 · 0 评论 -
JSONObject获取Date类型(getSqlDate)报错
JSONObject的getSqlDate报错:java.lang.Object cannot be converted to java.util.Date原创 2022-06-21 10:33:55 · 1313 阅读 · 0 评论 -
idea如何配置tomcat
Tomcat安装,以及idea配置Tomcat教程原创 2022-06-07 13:20:23 · 34760 阅读 · 4 评论 -
springboot集成邮件功能
我这里使用qq邮箱和企业qq邮箱做演示1.导入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-mail</artifactId> </dependency>2.设置基本配置 1).企业原创 2022-04-02 18:58:40 · 1527 阅读 · 1 评论 -
记一次数据库排序利用索引优化
order by也可以利用最左前缀KEY abc_index (a,b,c)以下可以使用最左前缀索引order by aorder by a,border by a,b,cwhere a=x order by b,cwhere a=x and b=y order by b,cwhere a=x and b>y order by b,cwhere a=x and b>y and b<z order by b,cwhere a=x and b>y and b<z原创 2021-12-24 17:48:40 · 457 阅读 · 0 评论 -
shiro的anon部分失效
公司项目使用了shiro做了登录认证,直接从公司以前的shiro模块直接复制过来用。所有气象接口无需登录,于是做了过滤配置,但是后来发现部分气象接口依然需要登录,没有过滤掉,anon失效了anon表示无需认证即可访问authc:需要认证才可访问authc要放在最后,anon放在authc之前后来我查看了代码发现是HashMap的问题,改成LinkedHashMap就可以了,否则anon可能不起作用简单看了一下源码此方法需要的就是LinkedHashMapLinkedHashMap保证了原创 2021-12-16 16:24:43 · 968 阅读 · 0 评论 -
jenkins启动项目报错(your Apache Maven build is setup to use a config with id XX but can not find the conf)
异常: jekins启动项目爆出了以下错误,此错误表示你的此id的maven配置找不到解决步骤:1、为jekins添加maven配置,点击左上角的Jekins大字进入jekins根目录,选择Manage Jekins2、选择Managed files3、添加一个maven配置,然后点击Submit4、然后将自己的setting.xml复制过来,或者在原有的配置上修改,然后Submit5、可以看到自己刚刚添加的maven配置6、开始进入项目的Configure中7、找到build原创 2021-11-24 16:57:46 · 967 阅读 · 0 评论 -
jekins升级遇到的坑(maven 3.8.1的报错 Blocked mirror for repositories)
前言最近jekins节点满了,需要重装一个jekins(公司的jekins使用docker安装),安装完毕后配在setting.xml配置了阿里镜像以及公司的私有仓库,但是在本地运行项目没有任何异常,一旦使用jekins部署就发现了异常Blocked mirror for repositories,从公司的私有仓库无法拉取依赖。顺带提一下jekins容器setting.xml的位置 /var/jenkins_home/tools/hudson.tasks.Maven_MavenInstallation原创 2021-10-10 16:20:26 · 7768 阅读 · 0 评论 -
maven导入第三方jar依赖
前言本项目是多module的springcloud的项目,因为需要依赖第三方jar包,而客户的部署环境异常无法成功依赖导第三方jar包,所以需要自身项目带上jar包。本项目的hwyg-sms模块(为jar)依赖一些短信的jar,现将第三方的短信jar直接下载放到hwyg-sms模块中。1、在模块中导入jar2、配置pom <dependency> <groupId>org.springframework.boot</groupId>原创 2021-10-09 11:01:07 · 765 阅读 · 0 评论 -
java调用Python函数
前提公司渔船轨迹混乱,需要算法修正,算法用Python开发,java代码需要调用Python函数,于是我就研究了一下如何通过java使用Python,以下就是一些调用Python的步骤。本文以springboot项目为案例简述调用Python的方式1、引入依赖 <dependency> <groupId>org.python</groupId> <artifactId>jython-standalone</artifact原创 2021-04-23 16:07:54 · 1278 阅读 · 3 评论 -
配置静态文件,并将文件挂载到k8s
本项目部署在k8s系统上,图片、文件等都是挂载到k8s的nfs系统上的,也就是让/home/oss挂载到nfs/k8s/oss上,然后文件上传到/home/oss上。1、配置静态文件配置静态文件,这样就可以通过链接访问上传到/home/oss上的文件。访问http://ip:port/image/xxx.jpg,就能访问到上传到/home/oss上的文件了@Configuration@EnableControllerAdvicepublic class ConsoleConfiguration原创 2021-01-22 17:50:51 · 1539 阅读 · 0 评论 -
Shiro授权流程
shiro是如何进行权限验证的呢?1、原创 2021-01-14 15:10:50 · 834 阅读 · 0 评论 -
shiro登陆认证过程原理
问题: shiro到底是如何认证的呢,原理是啥呢?1、在登录页面开始登录 输入用户名和密码2、后台接收到了登录请求,执行以下代码登录的过程将用户名和密码传入token原创 2021-01-13 19:54:18 · 1031 阅读 · 2 评论 -
Failed to load property source from location ‘classpath:/bootstrap.yaml‘
问题描述:本地启动springcloud多模块项目报错,并报以下错误ERROR org.springframework.boot.SpringApplication - Application run failedFailed to load property source from location 'classpath:/bootstrap.yaml'while scanning for the next token found character '@' that cannot start a原创 2021-01-13 11:46:07 · 1438 阅读 · 1 评论 -
linux安装cdo
cdo: 强大的气象类数据处理软件。1、数据的提取合并(提取特定时间、空间、经纬度等等)2、数据的简单运算(加减乘除、方差、均方差、和、最值、滑动均值、滑动方差、滑动最值、区域平均、区域方差、区域最值等等)3、数据的统计运算(相关、线性回归、EOF、滤波、水平插值、垂直插值等等)4、数据的转换(binary转nc、HDF转nc等等)5、各种气候指数的运算(极端有关的指数等等)我这里主要用到cdo去裁剪气象文件(后缀名为.nc的文件),按照经纬度裁剪,只留下广东省的气象数据。要安装cdo,就要先原创 2020-12-15 15:50:16 · 7454 阅读 · 4 评论 -
搭建高可用消息队列
1、消息队列 (1)、使用消息队列的作用:解耦、异步、削峰 (2)、使用消息队列的缺点: 如果消息队列挂了,系统部分业务就异常了 消息队列的异步会导致部分数据延迟2、常用的消息队列对比吞吐量延迟可靠性是否提供高可用是否可以分布式应用场景RabbitMq万级微妙级一般高(主从模式)否性能好、延迟低、适合中小型项目,但是不适合分布式扩展,吞吐量一般RocketMQ万级毫秒级一般非常高(分布式)支持接口简单、原创 2020-11-17 01:45:25 · 141 阅读 · 0 评论 -
java项目的分布式、高并发方案
一、设计高并发的技术方案:1、扩容:垂直扩容:提高服务器性能水平扩容:增加服务器数量,线性扩充系统性能2、消息队列:Kafka、RabitMQ、RocketMQ等。对高并发请求进行晓峰、异步3、缓存:redis、Memcache。部分请求通过缓存获取4、微服务:springcloud或者dubbo5、数据库:采用分库分表,主库用于写数据,从库用于读取数据,技术:MYCAT、Sharding-Sphere6、限流:Guava RateLimiter7、全文搜索和分析引擎:elasticser原创 2020-11-16 11:03:19 · 1632 阅读 · 0 评论 -
mysql读写分离
1、读写分离就是一个主库和几个从库,主库负责写,从库负责读取数据,主库的数据会被主从复制到从库。2、为啥要读写分离为啥要使用数据库的读写分离呢,那是因为数据库写入效率要低于读取效率,一般系统中数据读取频率高于写入频率,单个数据库实例在写入的时候会影响读取性能,同时配置多个从库去读取可以大大提高读取的效率。3、支持主从或者读写分离的mysql框架MyCat、DDL、sharding-jdbc4、mysql主从复制原理当向主库写入数据的时候,工作线程也将增删改等操作的数据库语句写入了binlog原创 2020-11-13 18:22:40 · 151 阅读 · 0 评论 -
数据库分库分表
试试水原创 2020-11-13 17:19:37 · 159 阅读 · 0 评论 -
分布式Session的方案
对于单服务来说,session存储不是什么问题,但是对于分布式来说,尤其实现单点登录的系统,登录其中部署在A服务的网页后,那么在同一个浏览器打开部署在B服务器的另一个业务网页也应该能够显示登录,这就是session的共享要解决的问题,那如何解决session共享的问题呢,大致有两个方案:tomcat+redis 或者Spring session+redis1、tomcat + redis这个方案就是利用tomcat和redis去共享session。sessionid是一个会话的key,浏览器第一次原创 2020-11-13 01:27:53 · 152 阅读 · 0 评论 -
分布式下的事务方案
java高并发图原创 2020-11-12 18:07:27 · 86 阅读 · 0 评论 -
CAS原理
CAS是什么:CAS是CPU并发原语,由于CAS是系统原语,由若干条指令组成,而且原语在执行的过程中必须是一致的,所以CAS是线程安全的。CAS算法是一种无锁算法,但是CAS可以理解成不同于synchronouse的乐观锁。CAS基本原理:CAS有3个操作数,内存值V,旧的预期值A,要修改的新值B。当且仅当预期值A和内存值V相同时,将内存值V修改为B,否则什么都不做。//代码模拟简易过程AtomicInteger atomicInteger = new AtomicInteger(10);//原创 2020-07-01 16:52:07 · 954 阅读 · 0 评论 -
centos下设置docker自动重启
公司服务器有一段时间总是断电,那么最好给docker设置个自动重启服务设置docker开机启动systemctl enable docker设置docker的容器自启动docker update --restart=always id/namedocker run -d --restart=on-failure:3 id/name** --restart后面的参数**no 默认策略,在容器退出时不重启容器on-failure 在容器非正常退出时(退出状态非0),才会重启容器on-failu原创 2020-06-28 16:55:48 · 1596 阅读 · 0 评论 -
Spring Cloud之Eureka
随着微服务兴起,传统的微服务数量多起来后无法集中管理,它们相互之间调用混乱,也难以实现负载均衡,如果其中一个服务器挂了会造成较大的影响。而基于zookeeper的微服务,如果leader节点挂了就要重新选举,而选举的时间过长,可用性被降低。Eureka 是实现服务注册和发现的工具,各种服务都可以向Eureka注册,Eureka集中管理这些服务,Eureka的各个服务都是平等的,其中注册中心挂了也不会影响其正常工作,其它注册中心依然可以提供注册功能(只不过次注册中心的注册信息可能不是最新的),如果有客户端在9原创 2020-06-21 18:02:21 · 153 阅读 · 0 评论 -
springcloud之zuul的原理
zuul就是个servlet应用,zuul是集合了过滤、代理、路由三大功能,zuul在登录认证、权限验证、错误捕捉、反向代理、限流、统计、动态路由、压力测试、负载均衡起到了很好的作用。zuul的原理:1、zuul的过滤zuul的核心局势filter过滤机制,请求都会被控制器ZuulControoler拦截,由ZuulServlet来处理。先看一下zuul过滤的流程:...原创 2020-06-20 01:04:41 · 706 阅读 · 0 评论 -
springcloud之zuul的配置及优化
zuul 是netflix开源的一个网关服务器,本质就是个servelet服务,它的两大功能,其一是过滤功能,其二是路由功能。原创 2020-06-18 16:52:39 · 2158 阅读 · 0 评论 -
java项目k8s配置
1、在项目根目录加上DockerfileDockerfile内容FROM tomcat#VOLUME ["/home/data/sts/media","/usr/data/sts/media"]#定义时区参数ENV TZ=Asia/Shanghai#设置时区RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime \ &am...原创 2020-04-22 11:12:07 · 1157 阅读 · 0 评论 -
git使用命令小结
以下是git的命令的一些备忘录,比较杂乱只是做备忘而已git常规用法克隆(如果执行此命令那就不要初始化了项目了 git init)git clone 远程仓库地址初始化 (到根目录下)git init配置远程的git仓库链接git remote add origin 仓库地址加入缓存 .代表全部git add .提交本地仓库 -m后面写上说明,不能为空git commit -...原创 2020-04-21 18:32:26 · 162 阅读 · 0 评论 -
jenkins配置java项目自动打包、vue自动打包、配置k8s
1、进入jenkins配置界面2、配置svn配置项目的来源,可以使git或者svn,本公司使用svn,我这里就是使用svn做演示。配置好项目的地址和相关的账号密码即可。3、配置java打包本项目采用springboot或者springcloud做框架,采用mvn做包依赖4、配置vue自动打包先看一下我的项目目录配置node.js环境,如果不配置npm运行不了5、保存配置...原创 2020-03-06 18:12:39 · 928 阅读 · 0 评论 -
使用jxls生成多个excel并压缩打包自动下载
需求: 选择不同的时间段从数据库中获取报表文件的数据,生成对应的多个excel,然后把这些excel压缩打包下载下来。过程大致如下面三幅图所示:jxls官方英文教程一、生成excel1、导入依赖<!--excel生成工具--> <dependency> <groupId>org.jxls</group...原创 2019-12-27 15:26:36 · 1782 阅读 · 1 评论 -
搭建maven多module项目
1、打开idea,新建项目删除src文件夹2、新建个jar的module我们创建了common的module项目我们再跟项目的pom文件中能够看到系统自动加入了common这个module我们进入common模块的pom文件,引入根项目的pom2、新建个war的module我们勾选上create form archetype选项我们再跟项目的pom文件的modu...原创 2019-06-10 13:35:56 · 1173 阅读 · 0 评论 -
docker安装分布式hadoop
工作环境都是在多台服务器上安装hadoop集群的,但是对于个人未必会购买多台服务器。在服务器上安装虚拟机是可以虚拟多台服务器的,但是虚拟机比较耗性能,其实可以使用docker去安装hadoop镜像,使用hadoop镜像也可以实现hadoop集群。1、安装hadoop镜像1)在docker中查找hadoop 镜像docker search hadoop2)拉取镜像我们选择star数量最多...原创 2019-06-10 23:36:02 · 1859 阅读 · 2 评论 -
使用docker安装分布式hadoop(阿里hadoop镜像)
工作环境都是在多台服务器上安装hadoop集群的,但是对于个人未必会购买多台服务器。在服务器上安装虚拟机是可以虚拟多台服务器的,但是虚拟机比较耗性能,其实可以使用docker去安装hadoop镜像,使用hadoop镜像也可以实现hadoop集群。1、安装hadoop镜像1)拉取镜像拉取阿里的hadoop镜像docker pull registry.cn-hangzhou.aliyuncs....原创 2019-06-11 01:17:14 · 32357 阅读 · 14 评论 -
centos7搭建hadoop
系统centos71、安装jdk1)下载jdk(1)下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html(2)安装lrzszyum installl -y lrzsz上传安装包rz(3)解压安装包tar -zxvf jdk-8u25-linux-x64.t...原创 2019-06-12 00:53:08 · 229 阅读 · 0 评论 -
java连接hadoop报错: Caused by: java.lang.IllegalArgumentException: LoggerFactory is not a Logback Logger
Caused by: java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing implementation (class org.slf4j.impl...原创 2019-06-27 16:53:58 · 11215 阅读 · 0 评论 -
MySql将查询的出来的字段进行转换
使用mysql 查询出来的字段并不是前端想要的,可能需要一些转换,那么怎么办呢我们可以使用case a when 条件 then ‘输出’end来解决1表示渡口工作人员,2表示微信用户,那么我们查询之后想把1和2转化成相应的文字说明select *,(case when ts.reciever like '%,%' then '全部人员' when find_in_set('1'...原创 2019-07-04 17:46:59 · 10489 阅读 · 0 评论 -
netty原理分析
1. Netty简介简而言之,Netty就是一个高性能、异步事件驱动的NIO框架,基于JAVA NIO提供的API实现。Netty是典型的Reactor模型结构。Reactor模式首先是事件驱动的。2. 四种io的简单区别通常io操作分为以下步骤:发起IO请求和IO操作。如果发起IO请求被阻塞那就是阻塞IO;如果不阻塞,那么就是非阻塞IO。如果IO读写阻塞请求进程,那么就是同步IO,而操...原创 2019-08-20 20:13:44 · 278 阅读 · 0 评论 -
docker教程、docker搭建Tomcat容器
认识docker docker是一个开源的应用容器引擎,docker利用Linux内核虚拟机化技术(LXC),提供轻量级的虚拟化隔离进程和资源。LXC不是硬件的虚拟化,它是Linux内核的级别的虚拟机化,相对于传统的虚拟机,节省了很多硬件资源。docker可以让开发者将应用方便的打包到一个可移植、轻量的容器中,简单快捷。容器之间采用沙箱机制,相互直接相对封闭,容器的性能开销很低。优点:1)...原创 2019-06-08 13:53:20 · 691 阅读 · 0 评论