RuiClear的博客

出现原因：gerrit上一个change的已经关闭了，这时候从其他分支merge进来的内容没有commit成一个新的提交点，没有生成新的changeId,继续沿用上一个提交changId解决方法：git checkout -b 新分支git merge --squash 需要合并的分支git commit -m 'xxx'git push origin HEAD:refs/for/test...

案例一：定义权限注解：/** * 角色的权限验证注解 * * 被注解的方法必须满足指定的权限才能通过验证，如果有多个权限取 & 关系 * @author ruiclear * @date 2020-08-12 18:19 */@Target(ElementType.METHOD)@Retention(RetentionPolicy.RUNTIME)public @interface RoleAuthVerification { /** * 权限

背景：前端传输一个JsonArray到后端，我需要变成json 字符串存入数据库；在查询的时候我需要从数据库查询出来然后返回给前端一个jsonArray。如果用传统方式需要复杂的特殊处理，spring提供了JsonSerialize和JsonDeserialize注解来优雅的解决这个问题步骤定义序列化和反序列化处理对象import com.fasterxml.jackson.core.JsonGenerator;import com.fasterxml.jackson.core.JsonPr.

背景：我们自己写的reduce方法要继承Reducer<Text, Text, Text, Text>，自定义的reduce方法中相同key的只会进入一次reduce，通过value迭代value。但是实际上框架并没有一次性把相同的key提前归类到一个组中，而是在程序运行的过程中一个kv对一个kv依次读取的并在顺序读的工程中实现了动态分组的功能，实现原理：调用reduce方法的地方是://org.apache.hadoop.mapreduce.Reducer#runpublic vo

一、目的：仓库中现成的hadoop集群镜像都是一键部署，对于刚学习大数据的同学非常不友好，新手还是需要手动自己搭建集群，这样才能更深入的理解和学习hadoop。考虑到虚拟机太浪费资源，网上搜索到的都是一键式搭建集群的镜像，所以无奈之下就只能自己动手基于docker搭建hadoop分布式集群二、步骤（如果不想麻烦可以直接跳到第4步）环境准备本机下载并按照好docker环境拉取docker centos镜像下载liunx版本jdk压缩包，最好是1.8下载hadoop源码然后编译成源文件，也可以

模拟上游服务上下线操作package com.ruiclear.test.zookeeper;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.ZooDefs;import org.apache.zookeeper.ZooKeeper;import org.apache.zookeeper.data.ACL;import java.util.List;import java.util.Random;.

File f = new File(this.getClass().getResource(“路径/目录”).toURI()); 只适合于要读取的文件在文件夹中，如果要读取的文件在jar中，就会报错：java.lang.IllegalArgumentException: URI is not hierarchical原因：jar包中的文件不能通过这种方式读取，因为目录是不透明的解决方法：InPutStream in = this.getClass().getResourceAsStream("路径/目

一，目的缺陷：传统的方式是通过自己new一个线程来执行多线程任务，存在以下缺陷：当有大量任务需要执行时会导致系统中new的线程数急剧膨胀最后会耗尽系统资源，导致系统不可用new线程的时候会需要频繁的进行创建和销毁线程，这会比较消耗系统资源用线程的好处：可以管理和控制线程数，不会导致任务量大的时候不停的new线程最终耗尽系统资源可以实现线程复用，执行完任务的线程不会立即销毁...

加入授权认证代码后报错：Exception in thread “priceAndPromLogThread” org.apache.kafka.common.KafkaException: Failed to construct kafka consumerat org.apache.kafka.clients.consumer.KafkaConsumer.(KafkaConsumer.ja...

问题：写入HDFS时报错：org.apache.hadoop.ipc.RemoteException: Failed to APPEND_FILE /data/log for DESClient_NONMAPPERDUCE_1129064282_1 on 10.43.42.24 bacause this file lease is currently owned by Client_NONMAP...