xilin6664-CSDN博客

原创 Hive执行SQL时卡在set mapreduce.job.reduces=＜number＞

后来经过排查是由于,yarn集群启动不正确造成的.yarn的resourcemanager没有正确启动造成mr的job 不能正确提交导致卡住,不再往下执行.解决:重新正确启动yarn集群然后.问题解决了,特此记录.

2022-03-20 11:03:51 3944 1

原创 idea中git更新代码后本地修改被覆盖的找回处理

选中项目右键:依次点击,localhistory --> show history .从列表中找到之前的修改记录在列表右侧,选中要恢复的修改记录.右键, revert selection 即可.

2022-03-18 07:54:24 3059

原创 mapreduce中报类转换异常:ClassCastException

具体报错如下:java.lang.ClassCastException: // 自定义的类名 at java.lang.Class.asSubclass(Class.java:3404) at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887) at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1004) at

2022-01-03 09:34:59 853

原创 idea中报 the file size exceeds configured limit

idea导入hadoop源码后有个ClientNamenodeProtocolProtos的类,报:the file size exceeds configured limit在idea的bin目录下找到 idea.properties配置文件,将默认的如下配置:idea.max.intellisense.filesize=2500改的大一些就OK了....

2021-12-18 20:47:15 1144

原创 protoc生成的java类报错cannot access

protoc生成的java类报错:生成的模板类报错,后来检查是命令中多引入了一个 --proto_path导致生成的模板类报错.错误命令:protoc --proto_path=D:\000\hadoop-2.7.2-src\hadoop-yarn-project\hadoop-yarn\hadoop-yarn-api\src\main\proto\ --proto_path=D:\000\hadoop-2.7.2-src\hadoop-common-project\hadoop-com.

2021-12-18 19:09:59 1622

原创 netty + websocket 实现时间服务器

前端HTML代码:<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Netty Server</title> 时间服务器</head><br><body><br><script type="text/javascript"> var sock

2021-12-09 13:32:43 168

原创 Method threw ‘io.netty.util.IllegalReferenceCountException‘ exception.

在学习netty指南2时, 做netty开发http+xml的测试代码时,遇到如下错误:客户端发送请求,服务端可以正常收到,但是服务端给客户端的response在客户端却接收不到,将断点打到服务端的messageReceived(),方法中时,显示客户端的request有如下错误信息: Method threw 'io.netty.util.IllegalReferenceCountException' exception. Cannot evaluate io.netty.h...

2021-12-09 08:20:55 381

原创 jibx结合maven,ant初次使用详细步骤

最近在看<<netty指南第二版>>,看到了netty结合http+xml协议栈开发,需要用到jibx,本人首次使用jibx,一时间犯了难.网上看了很多帖子,大都是下载好jar包,然后在cmd窗口中运行Java -jar命令 .由于公司内部屏蔽了许多外网导致,jibx的jar包下载不了.后来多次尝试.利用maven和ant成功实现了jibx的初次使用,特此记录.1,本地创建maven工程,在pom中添加如下依赖<!-- https://mvnrepository.co

2021-12-07 08:56:41 603 1

原创 System times on machines may be out of sync. Check system time and time zones.

hadoop集群运行任务时,报如上错误.原因: 由于集群中的时间同步的定时任务忘记开了,导致集群间时间不一致造成的.解决:前提是主节点已经配置好了ntp且服务是开启状态.在从节点上配置同步主节点的时间的定时任务.如果集群节点不多也可手动在各个从节点执行: ntpdate 主节点名称...

2021-12-04 11:15:10 808

原创 netty整合messagepack不进decod方法

4个测试类的代码和网上所写的demo大体一致.可是debug时.进channelActive()方法后,进了自定义的编码类的encode()方法.可就是不进自定义解码类的decode()方法.服务端也接受不到客户端发送的内容.后来不断翻找资料,看到了不同之处.原来是我的POJO类少了一个注解:对,就是这个注解:加上这个之后,程序运行正常了....

2021-11-30 16:01:44 360

原创 HashMap源码解读以及详细中文注释(一)

抄写源码,和添加详细中文注释.将以下代码拷贝可断点加深理解.自定义HashMap类:import java.io.IOException;import java.io.InvalidObjectException;import java.io.Serializable;import java.lang.reflect.ParameterizedType;import java.lang.reflect.Type;import java.util.*;import java.util.fun

2021-03-07 19:16:07 324

原创 Linux安装了redis无法远程连接的问题

查了许多网上说的修改redis.conf文件:注释掉/bind 127.0.0.1设置密码requirepass,把参数protected-mode yes改为no结果试了很多次,都不行.最后是查询redis进程看出了端倪:解决方法:1,将上面的进程杀死.2.进入到安装redis的bin目录中.3.启动redis.此时,再用ip和密码登录就可以了:)...

2021-02-09 10:43:18 464

原创 find: 路径必须在表达式之前

centOs7中find 用通配符查询文件时报错:解决办法: *前面加转义字符:\find 目录 -name \*.txt

2021-01-31 13:31:41 306

原创 Cannot deserialize instance of `java.lang.String` out of START_ARRAY token

记一次参数解析错误的解决.具体错误信息如下:Resolved [org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Cannot deserialize instance of `java.lang.String` out of START_ARRAY token; nested exception is com.fasterxml.jackson.databind.exc.Mismat

2021-01-31 10:15:52 23205

原创 java.lang.IllegalArgumentException: Invalid rounding mode

具体报错信息如下:java.lang.IllegalArgumentException: Invalid rounding mode at java.math.BigDecimal.divide(BigDecimal.java:1558) at java.math.BigDecimal.divide(BigDecimal.java:1622)原因分析定位到(BigDecimal.java:1622)的位置:接着往下:传入的参数roundingMode小于0或大于7就会报这个错误.代码

2021-01-31 09:53:33 2668

原创线程池知识点整理

mport java.util.ArrayList;import java.util.Random;import java.util.concurrent.*;/** * 一, 线程池: 提供了一个线程队列,队列中保存着等待状态的线程,避免了频繁的创建和销毁线程造成的额外开销,提高了相应速度. * 二, 线程池体系结构: * java.util.concurrent.Executor: 负责线程使用与调度的根接口 * |-- **ExecutorService 子接口 : 线程池的主要接

2021-01-25 22:34:23 146

原创迪杰斯特拉算法示例代码

迪杰斯特拉算法是用来求解从带权连通图中某一顶点出发到其他各个顶点的最短距离(图的广度优先遍历).大体实现步骤:根据维护一个已访问顶点的集合的示例(包括:各个顶点是否已访问的数组,各个顶点的前驱节点的数组,从出发顶点到各个顶点的最短路径的数组)更新出发顶点到周围各个顶点的最短距离和周围顶点的前驱节点的数据(调用VisitedVertex的update()方法).循环找到新的访问节点(updateArr()方法返回的数据)更新新的访问节点到其周围顶点的最短距离和周围顶点的前驱节点的数据(在循环中调用V

2021-01-13 21:44:36 613

原创克鲁斯卡尔算法示例代码

克鲁斯卡尔算法求最小生成树步骤:1,对所有边的结合进行升序排序(此处用插入排序算法)2,最小生成树边的数量为顶点数减一,依次从排序后的边数组中取出一条边,判断如果边的两个顶点与之前的最小生成树中的边不构成回路(两个顶点的终点不相同)并加入到最小生成树中.import java.util.Arrays;import java.util.Objects;public class KruskalDemo { private int edgeNum; //边的个数 private cha

2021-01-10 15:43:43 545

原创 try{}catch{}finally{}的return执行逻辑

try{}catch{}finally{}代码块里面都有return:public class DemoTest { public static void main(String[] args) { int num = getNum(); System.out.println("执行结果: " +num); } public static int getNum() { int i; try {

2021-01-08 21:58:59 216 1

原创 KMP算法进行字符串匹配

示例代码如下public class KMPAlgorithm { public static void main(String[] args) { String srcStr = "BBC ABCDAB ABCDABCDABDE"; String dest = "ABCDABD"; int[] matchTable = getPartMatchTable(dest); int index = searchIndex(srcStr,

2021-01-02 10:37:58 139

原创归并排序

import java.util.Arrays;public class MergeSort { public static void main(String[] args) { int[] arr = {85, 4, 59, 17, 1, 3, 26, 2}; int[] temp = new int[arr.length];// mergeSort(arr, 0, arr.length - 1, temp); mergeSort

2021-01-01 19:59:58 77

原创分治算法实现汉诺塔示例代码

public class HanoiTower { public static void main(String[] args) { move(5, '1', '2', '3'); } /** * 移动盘的步骤: * 1,只有一个盘时,直接从a移动到c * 2,有两个以上的盘时,利用分治算法思想分成以下三部 * 2.1,将除了最下面的盘以外的所有盘从A移到B * 2.2,将最下面的盘从A移到C

2020-12-27 10:07:52 169

原创二分查找的两种实现示例代码

数组是有序的且是升序排序,示例代码如下public class BinarySearch { public static void main(String[] args) { int[] arr = {1,2,3,4,5,6,7,78};// int index = binarySearch(arr, 781); int index = binarySearch(arr, 0,arr.length-1,0); System.out.p

2020-12-27 09:41:44 349

原创图的广度优先遍历

/** * 广度优先遍历 */ public void bfs(){ int count = getVertexCount(); for (int i = 0; i < count; i++) { if (isVisited[i]) { continue; } bfs(isVisited, i); } } ..

2020-12-23 21:18:57 143

原创无向图的创建,添加节点和深度优先遍历示例

import java.util.*;/** * 图 */public class GraphDemo { public static void main(String[] args) { Graph graph = new Graph(5); char vertexVal = 'A'; for (int i = 0; i < 5; i++) { graph.addVertex(String.valueOf((

2020-12-20 16:37:49 380

原创平衡二叉树节点添加示例代码

import java.util.Objects;/** * 平衡二叉树 */public class AVLTreeDemo { public static void main(String[] args) { int[] arr = { 10, 8, 9, 7, 6,15,2,25,12,55}; AVLTree avlTree = new AVLTree(); for (int i : arr) { Node n

2020-12-20 10:32:31 259 1

原创 spring声明式事务的测试示例

测试代码如下:运行结果如下:数据库数据:可以看到此时数据是没有回滚的,因为声明式事物是由AOP实现的,如上代码add方法是通过代理来执行的,而test方法是通过this来调用的,所以发生异常之后没有回滚.改成如下:运行结果:此时已经回滚了.或者改成如下直接调用test方法:运行结果如下:这时test方法是通过代理运行的事务回滚了....

2020-12-13 21:41:34 173

原创 The matching wildcard is strict, but no declaration can be found for element ‘rabbit:queue‘.

web项目启动时xml解析错误,具体错误信息如下:Offending resource: URL [jar:file:/usr/local/tomcat/webapps/ROOT/WEB-INF/lib/****-config-3.0.3-SNAPSHOT.jar!/spring-com/applicationContext-appcontext.xml]; nested exception is org.springframework.beans.factory.xml.XmlBeanDefinitio

2020-12-13 12:29:17 508

空空如也

空空如也