- 博客(26)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 日常错误记录
查询接口时，后台报 Failed to initialize a channel. Closing:[ id: 0x4335288c, L:/127.0.0.1:8083 - R:/127.0.0.1:61238] java.lang.NoClassDefFoundError: Counld not initialize class io.netty.handler.codec.http.HttpServerCodec$HttpServerResponseEncoder。
2023-05-05 17:58:00
187
2
原创 jar反编译为源码
java -cp “C:/JetBrains/IntelliJ IDEA 2022.1.1/plugins/java-decompiler/lib/java-decompiler.jar” org.jetbrains.java.decompiler.main.decompiler.ConsoleDecompiler -dgs=true 需编译的jar(jar包绝对路径) 反编译后存放的文件夹(绝对路径)
2023-02-06 09:13:34
2227
原创 flink启动作业内存优化
如果jm和tm参数设为64，明显没有额外的内存预留，启动不了yarn session，tm参数至少为jm + containerized.heap-cutoff-minContaineredTaskManagerParameters.calculateCutoffMB()方法。表示 承载 TaskManager 的 YARN Container 需要。给TaskManager 之外的逻辑来使用(该参数默认为600M)
2022-11-23 15:41:08
200
原创 jar install到本地
mvn install:install-file -Dfile=xxx.jar -DgroupId=com.alibaba -DartifactId=druid -Dversion=1.1.12 -Dpackaging=jar -DlocalRepositoryPath=F\repo
2022-07-22 16:23:44
204
原创 启动flink任务问题一
1.大部分情况，通常只需要通过-Xmx参数调高JVM堆内存空间即可。2.上游数据量太大，将taskmanager内存设大点。
2022-07-22 16:20:25
426
原创 flink restAPI及yarn命令
yarn 操作source /bigdataklist -kt /flink/user.keytabkinit -kt /flink/user.keytab flink_test
2022-07-14 17:53:58
661
2
原创 jvm之程序计数器(寄存器)、虚拟机栈、本地方法栈、堆、方法区
源代码——>二进制字节码(jvm指令)——>解释器将jvm指令解释成机器码——>机器码交给CPU执行二进制字节码组成：类的基本信息、常量池、类方法的定义，包含了虚拟机指令程序计数器：正在执行的字节码指令的地址有以下特点：**一、**记录当前线程所执行的jvm指令的行号指示器(程序中断之后能继续上一次执行)JVM的多线程是通过CPU时间片轮转（即线程轮流切换并分配处理器执行时间）算法来实现的。当某个线程在执行过程中可能会因为时间片耗尽而被挂起，而另一个线程获取到时间片开始执行。被挂
2022-05-06 15:18:56
1036
原创 编译java文件及反编译字节码文件
编译： javac Hello.java运行：java Hello反编译：javap -v Hello.class
2022-05-06 14:29:55
64
原创 对jvm的学习--简章
Java虚拟机->jvm->字节码执行引擎->java程序的运行环境->Java二进制字节码的运行环境简图A.java——>javac A.java(编译)——>A.class(字节码文件)——>java A(java 类名——>开启一个jvm进程，找到A.class字节码文件——>类加载器加载类A，加到内存中)——>加载到内存中以二进制形式存在(机器码0 1)，在jvm运行——>输出程序结果源代码——>class字节码——&
2022-03-28 16:03:45
491
原创 hive中对于分隔符“|++|”处理
使用 split 函数时，需要对特殊字符转义案例：aaa|++|bbbselect split(str,’\|\+\+\|’) as value from table1;aaa_bbbselect split(str,’_’) from table2;aaa?bbb 取第一个元素select split(str,’\?’)[0] from table3;
2022-03-25 15:30:33
2047
原创 水印总是Long.MIN_VALUE问题
项目场景：flink1.7版本：事件时间处理时，水印总是Long.MIN_VALUE问题问题描述水位线怎么不触发？数据一直有序得进来，为什么没有窗口被fire掉原因分析：Flink source用到了FlinkKafkaConsumer010，没有指定KafkaPartitioner的话，会通过FixedPartitioner来给出默认的partitioner方法：public int partition(T record, byte[] key, byte[] value, String ta
2022-03-24 16:04:10
2844
原创 Objects.equals小坑
问题描述Integer a = 1;long b = 1L;System.out.println(Objects.equals(b, a));//结果：false原因分析：Integer的equals方法：public boolean equals(Object obj) {if (obj instanceof Integer) {return value == ((Integer)obj).intValue();}return false;}先判断参数obj是否是Integer类
2022-03-24 15:37:28
442
原创 大数据技能+用户行为分析概念
大数据需要掌握技能：1.编程语言 Java2.数据库 MySQL+sql+jdbc3.javaweb tomcat+ssm框架4.linux5.hadoop (HDFS:大数据的存储 mapreduce:大数据的计算，数据清洗 yarn:资源调度)6.大数据其他组件 hive：弥补mapreduce编程复杂的缺陷 hbase：弥补hive和hdfs存储数据...
2018-12-12 19:12:39
365
翻译 Hadoop HA搭建
特别注意：原来装了hadoop-2.7.6之后，现在上传hadoop-2.7.7，把原来hadoop-2.7.6删掉之后，应该重启节点，否则即使改了配置，启动journalnode进程时：[hadoop@hadoop02 ~]$ hadoop-daemon.sh start journalnode；会出现-bash: /home/hadoop/apps/hadoop-2.7.6/sbin/...
2018-12-04 21:39:17
123
原创 简单搭建Zookeeper
[hadoop @hadoop01 zkdata]# scp -r ZooKeeper-3.4.7/ hadoop@hadoop02:$PWD[hadoop @hadoop01 zkdata]# scp -r ZooKeeper-3.4.7/ hadoop @hadoop03:$PWD
2018-12-03 20:07:45
121
原创 大数据一些知识体系
编程套路 关注的点： 1.技术的起源 2.技术的设计思路 JDBC程序的编写复杂么？ 1、注册驱动类 Class.forName("com.jdbc.mysql.Driver") 2、获取连接 Connection conn = DriverManager.getConnection() 3、获取Statement Statement ...
2018-11-29 21:48:27
243
转载 try catch finally中有return
至少有两种情况下finally语句是不会被执行的：（1）try语句没有被执行到，如在try语句之前就返回了，这样finally语句就不会执行（2）在try块中有System.exit(0); System.exit(0)是终止Java虚拟机JVM的，连JVM都停止了结论：1、不管有没有出现异常，finally块中代码都会执行；2、当try和catch中有return时，finally仍...
2018-10-13 22:16:10
374
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人