- 博客(53)
- 收藏
- 关注
RSS订阅原创 sqoop client 异常:CLIENT_0004
org.apache.sqoop.common.SqoopException: CLIENT_0004:Unable to find valid Kerberos ticket cache (kinit) at org.apache.sqoop.client.request.ResourceRequest.doHttpRequest(ResourceRequest.java:159) at o...
2019-12-09 17:11:52
384
原创 datax从hive导数据到mysql时hadoop版本不兼容异常
异常原因java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get(Lorg/apache/hadoop/conf/Configuration;Ljava/lang/String;)Lorg/apache/hadoop/tracing/SpanReceiverHost; at org.apache.ha...
2019-12-09 09:52:05
1109
原创 Java集成datax编写从hive到mysql数据同步的json
从hive里找一张测试用表在测试mysql数据库建立一张相同的表编写转换json{“job”: {“setting”: {“speed”: {“channel”: 3}},“content”: [{“reader”: {“name”: “hdfsreader”,“parameter”: {“path”: “/metastore/table/spider_test/...
2019-12-06 15:16:04
868
原创 Sqoop could not create link解决方法
做一个hive到mysql 的数据的job,在创建mysql-link的时候报错,经过查看日志得出是因为:有道翻译一下就是:不建议在没有服务器身份验证的情况下建立SSL连接。根据MySQL 5.5.45+、5.6.26+和5.7.6+的要求，如果没有设置显式选项，则默认情况下必须建立SSL连接。您需要通过设置useSSL=false显式禁用SSL，或者设置useSSL=true并为服务器证书...
2019-12-05 15:46:36
586
原创 关于ProceedingJoinPoint获取目标方法的参数为空的异常
上周我遇到这个问题之后,冥思苦想处理了将近整整一天,最后发现,是我对args数组进行遍历处理的时候,将数组中的object对象进行了tostring后报错了,令我以为是切点切入的时候没获取到目标方法的参数值…如果大家遇到了这种问题,我这种也未尝不是一种解决的方法,可以试一下....
2019-12-02 14:05:30
4467
原创 SpringAop切面编程简单应用整合Redis
系统上需要一个需求，在请求的时候直接从redis中获取值返回，并在后台同时更新redis缓存，这种对于系统实时性要求不高的，可以用切面的方法实现。定义一个注解定义一个切面详细代码：package com.wudiqiang.aspect;import com.wudiqiang.utils.RedisUtil;import org.aspectj.lang.ProceedingJ...
2019-11-29 22:43:38
189
原创 Springcloud-feign调用其他服务的接口指定get方法却使用了post方法
这是今天遇到的一个小问题，出现这种问题的原因在于对Springmvc的掌握程度不够高。首先看一下当时现场的情况：这是feignclient中写的调用的另一个微服务的接口这是该微服务的接口结果就报错了，异常信息显而易见，当时我心里想的是分明都是指定的get方法，为啥子会报这样的异常。最后得知是因为没有加Requestparam注解的原因。至于为什么没有加@Requestparam注解...
2019-11-19 22:07:26
642
2
原创 Eureka client启动,注册到server的时候server报204
来一张eureka server的截图可见服务没有注册成功再来一张eureka client的截图2开头的状态码表示请求成功了由于我的程序是从spring.start.io生成解压的,因此这个maven项目导入的依赖就只有eureka-client和spring-boot-start-test通过查找资料,得知需要在pom文件中添加spring-boot-starter-web的依赖...
2019-11-14 22:59:43
5744
原创 SpringCloud启动Eureka Server时报错ClientHandlerException的处理
一个很奇怪的问题,刚开始都是正常的,我按照流程化的配置,配置完了之后启动了EurekaServer,并打开了web界面在这里插入图片描述启动类配置配置文件配置然后在没做任何改动的情况下我重启了该应用,结果就gg了Request execution error. endpoint=DefaultEndpoint{ serviceUrl='http://localhost:8761/...
2019-11-14 22:32:28
780
原创 一个Redis的小问题
org.springframework.data.redis.serializer.SerializationException: Cannot serialize; nested exception is org.springframework.core.serializer.support.SerializationFailedException: Failed to serialize ob...
2019-11-14 11:50:10
290
原创 SpringBoot中缓存相关注解
1.配置文件中配置使用的缓存的类型（以redis为例）2.应用程序中添加开启缓存的注解3.在具体的方法上指定缓存的key，value等属性4.验证如果第二次请求未打印此语句，就是走了缓存的。5.Spring支持自定义注解，我们定义自定义注解来配置缓存的内容这里可以使用EL表达式来配置缓存，我这里方法上传递的id就是作为key，并使用condition参数过滤到了只有为偶数的ke...
2019-11-10 17:07:27
279
原创 安装配置Gradle与仓库等设置
最近在学习SrpingFramework开源项目，因为这个项目都是用Gradle管理的jar包因此就想搞一搞Gradle。第一步先下载一个bin版本的压缩包：下载地址然后解压到你系统中相应的目录下：第二步设置环境变量等：在path中设置bin的地址：保存，后打开命令行：输入 ：gradle -v出现如下信息证明安装成功：在环境变量中设置：在此目录中添加init.g...
2019-11-10 13:15:35
104
原创 linux系统下搭建kettle服务器并远程执行作业及转换
解压kettle之后,在kettle目录下运行:nohup /home/cloudera/kettle/carte.sh 0.0.0.0 8080 &>/dev/null &浏览器输入yourip:8080提示输入用户名及密码密码配置在kettle/pwd/pwd文件中:默认为cloudera打开页面:在windows的kettle客户端,为作业配置子服务器:...
2019-10-30 11:32:07
2795
原创 kettle在linux下启动报错libwebkitgtk-1.0-0
解压好kettle之后,启动spoon.sh报错运行:wget ftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/matthewdva:/build:/EPEL:/el7/RHEL_7/x86_64/webkitgtk-2.4.9-1.el7.x86_64.rpm然后:yum install we...
2019-10-30 11:26:35
2277
1
原创 kettle数据清洗远程执行作业异常FileNotFoundException
在本地配置的时候,忘记勾选此选项,导致的服务器执行作业的时候报异常.低级错误,以此为戒.
2019-10-09 10:18:39
644
原创 Navicate设置事件
1.查看事件状态 : show variables like ‘%sche%’;如果设置为OFF,需要手动开启;2.执行: set global event_scheduler =1 开启事件[Err] 1227 - Access denied; you need (at least one of) the SUPER privilege(s) for this operation此处...
2019-09-11 16:23:23
1034
原创 Redis的持久化策略
Redis的持久化方式有两种，持久化策略有四种：1：RDB（数据快照模式）:定期存储，保存的是数据本身2：AOF（追加模式）：每次修改数据时，同步到硬盘，保存的是数据的变更记录3：两种策略都可以关闭，不做持久化4：同时开启两种策略，当redis重启时，AOF文件会用于重建原始数据RDBRDB定时备份内存中的数据集，服务器启动时，可以从RDB文件中恢复数据集。优点：存储的文件是紧凑...
2019-09-05 23:07:30
248
原创 Redis数据的过期策略及内存淘汰策略
过期策略1：定时删除在设置key的过期时间的同时，为该key创建一个定时器，让定时器在key的过期时间来临时，对key进行删除优点：1.保证内存尽快被释放缺点：1.若过期key过多，删除这些key会占用过多的CPU时间2.定时器的创建耗时，若为每一个设置过期的key创建一个定时器（产生大量定时器），性能影响严重2：惰性删除每次获取key的时候检查是否过期，如果过期，删除之，返回n...
2019-09-05 22:33:04
134
原创 Java获取方法中的参数名
Java获取方法中的参数名public String[] getName(String name, String test) { DefaultParameterNameDiscoverer discoverer = new DefaultParameterNameDiscoverer(); Class<? extends RestApiStarterApplicationTest...
2019-08-28 11:55:52
463
原创 依赖倒转原则及里氏代换原则
依赖倒转原则及里氏代换原则依赖倒转原则抽象不应该依赖于细节，细节应该依赖于抽象高层模块不应该依赖低层模块，两个都应该依赖于抽象简而言之就是：面向接口编程，不要对实现编程这话听起来可能有些难以理解，不妨，我举个例子：就跟攒机似的，主板与其它各个部件（cpu,显卡等），都是通过各种接口连接到一起正常的进行工作的。主板不关心具体cpu的型号，反正就这么大的AMD的cpu，你给我插上就行了，...
2019-08-26 23:35:42
382
原创 开放-封闭原则（OCP）
开放-封闭原则（OCP）简而言之就是对扩展开放，对修改封闭几乎所有的系统，都不可能一成不变，只要是需求，就一定是会变化的。如何在面对需求的变化的时候，设计的软件可以相对容易修改，不至于新的需求一来，就把程序推到重来。怎么样的设计才能面对需求的改变却可以保持相对稳定，从而使得系统可以在第一个版本以后不断推出新的版本。这就是OCP原则要告诉我们的东西。OCP原则的精神面对需求，对程序的改动是...
2019-08-26 22:47:48
320
原创 单一职责原则
单一职责原则简介：就一个类而言，应该仅有一个引起它变化的原因why？当一个类承担的职责过多，就等于把这些职责耦合在一起，一个职责的变化可能会削弱或者抑制这个类完成其它职责的能力，这种耦合会导致脆弱的设计，当变化发生时，设计会遭受意想不到的破坏。软件设计中的许多内容，就是发现职责并把那些职责相互分离，其实要判断是否应该分离出类来，也不难，就是你能够想到多于一个的动机去改变一个类，那么这个类就...
2019-08-26 22:38:17
355
原创 Java-GC垃圾检测及回收算法
Java-GC垃圾检测及回收算法一：JVM结构根据《Java虚拟机规范》规定，JVM的基本结构一般如下图所示：详细参见：JVM内存区域1：类加载器（ClassLoader）：在JVM启动的或者在类运行时，将需要的class加载到JVM中2：执行引擎：负责执行class文件中包含的字节码指令3：内存区（运行时数据区）：在JVM运行的时候操作所分配的内存区。运行时内存区主要划分为五...
2019-08-26 17:04:41
498
原创 JVM内存区域
JVM内存区域线程公有：在运行时数据区，方法区和堆是属于线程公有的，也就是这两块区域是循环利用的，所以要对其进行辣鸡回收。在虚拟机启动的时候创建。线程私有：虚拟机栈，本地方法栈，程序计数器是属于线程私有的，其与线程同生死，一次性的，所以不对其进行辣鸡回收。方法区（线程公有）方法区（Method Area）与Java堆一样，是各个线程共享的内存区域，它用于存储已经被虚拟机加载的类信息，...
2019-08-23 22:18:43
459
原创 设计模式之静态代理和动态代理模式
设计模式之静态代理和动态代理模式首先需要理解一下什么是代理的思想：经过我不断的提炼总结以及个人的理解，代理就相当于给类穿上了一个马甲，类本身具有的行为该有的一个没少，却相应的增加了一些功能。举个栗子：在Java的这种垂直的继承实现结构编程中，如果我们有三个不同的动物类，都有吃东西的功能，我想统计它们吃东西的时间，如果按照传统的方式，就必须要调用三次吃东西的方法，每次计算前后时间差。这种时候，代理...
2019-08-13 00:46:38
509
原创 Spring中的Bean实例化策略
Spring中的Bean实例化策略InstantiationStrategy接口，定义所有支持的实例化策略的公共接口public interface InstantiationStrategy { Object instantiate(RootBeanDefinition var1, @Nullable String var2, BeanFactory var3) throws Bea...
2019-08-12 00:51:26
584
原创 Java使用itext生成pdf
Java使用itext生成pdf先说一句：这种方法适合结构化数据，一步步设计模板然后进行输出的数据结构，如果是那种类似于论文之类的，写各种样式估计会疯掉具体依赖点击：这里直接上代码当然，这只是一个用来测试的demo，前两天写了生成word的文章，看了下这个Document对象的继承关系，我理所应当的认为这里应该是需要一个PdfDocument出来的，但是没想到报了NPE异常，具体的应该是...
2019-08-12 00:06:44
568
1
原创 设计模式之策略模式
设计模式之策略模式定义：它定义了算法家族，分别封装起来，让它们之间可以互相替换，此模式让算法的变化，不会影响到使用算法的客户。接下来，通过一组计算摩托车购置税的程序来走进策略模式：基本结构Context：用一个ConcreteStrategy来配置，维护对一个Strategy对象的引用Strategy：策略类，定义所有支持的算法的公共接口ConcreteStrategyA：具体策略类，...
2019-08-11 23:37:23
415
原创 Java生成word并插入图片下载
Java生成word并插入图片下载前段时间有个小功能，就是Java生成word或者pdf，然后下载下来，当时图方便，用xdoc做了，没想到这个鬼东西是要收费的哇，一块钱十秒钟。好贵的说，无奈之下，只好研究一下这个怎么做了。首先导入三个包<dependency> <groupId>com.lowagie</groupId> ...
2019-08-09 00:37:43
1464
原创 设计模式之简单工厂简介使用
设计模式之简单工厂简介使用简单工厂简介简单工厂百科描述使用现在我们模拟实现一个简单计算器的功能出发来编写基于简单工厂模式的代码：新建抽象Operation计算类新建加减乘除类分别继承Operation类加法类减法类乘法类除法类新建OperationFactory类进行加减乘除参数的组装这里运用多态，根据传递的运算符的不同，而创建不同的对象，进行一波测试查看输...
2019-08-07 01:25:11
491
原创 Docker部署Es集群的一些注意事项
关于配置文件等一系列操作,在我的另一篇文章中有过较为详细的介绍接下来,就部署es集群经常出现的一些导致无法加入集群的问题做一下思路的总结:1:有可能是data数据没有清空2:ping主节点,看网络是否能ping通3:是否关闭和开启防火墙4:端口是否被占用5:运行docker run命令时是否爆异常,比如:6:单节点假集群是否在配置里指定可以选为主节点的地址列表里填写了相应的端口号...
2019-08-06 18:58:01
1113
原创 Centos系统修改DNS配置解决Docker:Error response from daemon异常
docker pull elasticsearch:6.4.3要给es集群新增一个节点,运行此命令的时候,报错了Error response from daemon: Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-1.docker.io on [::1]:53: read udp [::1]:56393->...
2019-08-06 12:17:41
1702
原创 Centos系统安装RabbitMq
Centos系统安装RabbitMq首先RabbitMq的好处就是：1：应用解耦（系统拆分）2：异步处理3：消息分发4：流量削峰5：消息缓冲我们只用到了一个，应用解耦，前辈开发的鬼系统太黑暗了，讲真，一个点出错全部得重来，没有办法，只能搞消息队列了。安装由于rabbitMq是erLang写的，所以要先安装erlang的依赖安装好了erlang之后，在使用命令搜索可以安装的Ra...
2019-08-06 00:45:18
507
原创 使用docker搭建ElasticSearch集群
使用Docker搭建ElasticSearch集群本文将详细介绍使用docker搭建ElasticSearch集群的过程，以及每一步的含义一：Docker概念介绍及拉取ElasticSearch镜像先有镜像，后容器。拉取镜像：二：创建配置文件，启动n个实例：注：在单机上运行多个ElasticSearch是被允许的，但是实际生产过程中这样做的意义不大，主分片和复制分片都在一个机器上，...
2019-08-05 23:31:02
927
原创 理解分布式系统常用的负载均衡算法
分布式系统常用的负载均衡算法最近在做的系统上使用ES比较多，出于对ES的学习，在了解了ES的负载均衡算法之后，也相应的了解了其它的负载均衡算法，在这里做一个分享。1：轮询法：轮询很容易实现，将请求按顺序轮流分配到后台服务器上，均衡的对待每一台服务器，而不关心服务器实际的连接数和当前的系统负载。使用轮询策略的目的是，希望做到请求转移的绝对均衡，但付出的性能代价也是相当大的。为了保证pos变量的...
2019-08-05 00:18:47
702
原创 JDK8的函数式接口
JDK8的函数式接口1：Lambda表达式需要函数式接口的支持2：函数式接口就是只有一个抽象方法的接口3：可以使用注解@funcitionalInterface修饰，限定该接口的格式，方式我们写错了可以看到这是一个这是一个用于类，接口或者枚举类型的注解，@Retion表示该注解保留多长时间，它有以下三个取值//：截图自个人有道云笔记先来定义一个我们自己的函数式接口：lambd...
2019-08-02 01:30:21
591
原创 JDK8的Lambda表达式
JDK8的Lambda表达式Lambda表达式是一个匿名函数，可以说它是一段可以传递的代码，其可以替代实现接口中的抽象方法时的书写匿名内部类的繁琐代码。用前两天说过的实现runnable接口的方式：package com.wudiqiang.Test;import java.util.concurrent.ExecutorService;import java.util.concurr...
2019-08-01 23:39:30
593
原创 Error creating bean with name 'entityManagerFactory'的解决方法
在出现了这个异常之后，我找了很多解决方法，并一一尝试，最后都没有达到令我满意的效果在贴出最终的解决方法之前，先来看一下网上别人的解决方法（1）：实体类未添加@entity注解（2）：jar包冲突（3）：高版本Springboot自动依赖的mysql-connector版本过高（4）：清除个人仓库中Hibrenate里的内容，并刷新项目（IDEA是reimport）（5）：包未扫描（在启...
2019-08-01 00:52:17
27415
3
原创 SrpingBoot整合SpringDataJpa
今天要做一个新系统，想着用下Jpa，以前都是在别人搭好的框架上整的，网上看了一顿教程，感觉很简单我就开始了，没想到花了我漫长的五小时，直到下班也没有解决问题，我一回到家，我就在家里的电脑上开整了，三分钟一个demo就出来了，虽然到现在我依然不知道公司的为啥会失败，但是把这次在家的过程记录下来，留作参考。pom文件引入jpa配置文件里配置数据库# 数据库的配置spring.datasour...
2019-08-01 00:09:40
494
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人