轩子小姐姐-CSDN博客

原创 hera 任务队列扫秒

Master#scan 扫秒任务队列（定时任务队列是PriorityBlockQueue，是一个支持优先级的无界阻塞队列，其他队列是LinkedBlockQueue，基于链表实现的有界队列），通Master#getRunnableWork方法选择可以执行的worker，提交任务MasterRunJob#run。1判断是否是重试，重试执行新增一条hera_action_history记录，设置hera_action状态为running；下一步更新hera_action_history状态为running。

2023-11-29 23:31:29 65

原创在JVM的新生代内存中，为什么除了Eden区，还要设置两个Survivor区？

这样继续循环下去，下一次Eden满了的时候，问题来了，此时进行Minor GC，Eden和Survivor各有一些存活对象，如果此时把Eden区的存活对象硬放到Survivor区，很明显这两部分对象所占有的内存是不连续的，也就导致了内存碎片化。执行时间长有什么坏处？碎片化带来的风险是极大的，严重影响JAVA程序的性能。Survivor的存在意义，就是减少被送到老年代的对象，进而减少Full GC的发生，Survivor的预筛选保证，只有经历16次Minor GC还能在新生代中存活的对象，才会被送到老年代。

2023-11-27 17:10:10 77

原创大数据面试题之Hadoop

如果 standby 的 NN 节点的 ZKFC 发现主节点已经挂掉，那么就会强制给原本的 active NN 节点发送强制关闭请求，之后将备用的 NN 设置为 active。所以如果NameNode中的元数据丢失，是可以从Secondary NameNode 恢复一部所以如果NameNode中的元数据丢失，是可以从Secondary NameNode恢复一部分元数据信息的，但是不是全部，因为Namenode正在写的edits日志还没有拷贝到Secondary NameNode，这部分恢复不了。

2023-08-25 15:59:51 63

原创 phoenix创建hbase表映射

创建命名空间hbase(main):018:0> create_namespace 'foo'Took 0.2535 seconds 0: jdbc:phoenix:thin:url=http://hb-bp1ya00iwt> create schema foo;No rows affected (0.256 seconds) DROP schema FOO;2创建表命名空间 foo，表名stu，列族infohbase(main):019:0> ...

2022-04-29 19:50:28 1839 2

原创 phoenix常用操作命令

schema操作创建schemacreate schema "foo";切换schemause "foo";删除schemadrop schema if exists "foo";0: jdbc:phoenix:thin:url=http://hb-bp1ya00iwt> create schema "foo";No rows affected (0.234 seconds)0: jdbc:phoenix:thin:url=http://hb-bp1ya0...

2022-04-29 15:34:04 3063 1

原创 hbase常用命令

命名空间管理hbase(main):038:0> create_namespace 'foo'Took 0.2400 seconds

2022-04-29 13:57:33 1291

原创 [flink1.14.4]net.sf.ezmorph.Morpher

flink自定义数据源loghub报错Caused by: java.lang.ClassNotFoundException: net.sf.ezmorph.Morpherjava.lang.NoClassDefFoundError: net/sf/ezmorph/Morpher at net.sf.json.util.CycleDetectionStrategy.<clinit>(CycleDetectionStrategy.java:37) ~[flink-connector-

2022-04-14 10:46:41 1467

原创【flink1.14.4】No operators defined in streaming topology. Cannot execute.

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: No operators defined in streaming topology. Cannot execute.The program finished with the following exception:org.apache.flink.client.program.ProgramInvocation

2022-04-08 16:23:55 6887

原创 hive初始化元数据Error: Syntax error: Encountered “＜EOF＞“ at line 1, column 64. (state=42X01,code=30000)or

1下载Index of apache-local/hive/hive-2.3.6到路径/Users/xx/Downloads/tool2解压重命名 apache-hive-2.3.63在路径/Users/xx/Downloads/tool/hive_conf/conf路径新建hive-site.xml，配置mysql元数据<?xml version="1.0"?><configuration> <property> <name&gt

2022-04-02 18:00:04 8657

原创【flink1.14.4】java.lang.IllegalStateException: No Executor found

java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment" section of the official Apache Flink documentation

2022-03-23 10:29:21 1171

原创 [flink1.14.4]Unable to create a source for reading table ‘default_catalog.default_database.new_buyer

升级flink1.14.3报错Caused by: org.apache.flink.table.api.ValidationException: Unable to create a source for reading table 'default_catalog.default_database.new_buyer_trade_order2'CAUSED BY: 2022-03-11 16:45:04,169 INFO org.apache.flink.yarn.cli.FlinkYar.

2022-03-11 16:49:35 12589

m0_37306331的博客