- 博客(11)
- 收藏
- 关注
原创 hera 任务队列扫秒
Master#scan 扫秒任务队列(定时任务队列是PriorityBlockQueue,是一个支持优先级的无界阻塞队列,其他队列是LinkedBlockQueue,基于链表实现的有界队列),通Master#getRunnableWork方法选择可以执行的worker, 提交任务MasterRunJob#run。1判断是否是重试,重试执行新增一条hera_action_history记录,设置hera_action状态为running;下一步更新hera_action_history状态为running。
2023-11-29 23:31:29
75
原创 在JVM的新生代内存中,为什么除了Eden区,还要设置两个Survivor区?
这样继续循环下去,下一次Eden满了的时候,问题来了,此时进行Minor GC,Eden和Survivor各有一些存活对象,如果此时把Eden区的存活对象硬放到Survivor区,很明显这两部分对象所占有的内存是不连续的,也就导致了内存碎片化。执行时间长有什么坏处?碎片化带来的风险是极大的,严重影响JAVA程序的性能。Survivor的存在意义,就是减少被送到老年代的对象,进而减少Full GC的发生,Survivor的预筛选保证,只有经历16次Minor GC还能在新生代中存活的对象,才会被送到老年代。
2023-11-27 17:10:10
88
原创 大数据面试题之Hadoop
如果 standby 的 NN 节点的 ZKFC 发现主节点已经挂掉,那么就会强制给原本的 active NN 节点发送强制关闭请求,之后将备用的 NN 设置为 active。所以如果NameNode中的元数据丢失,是可以从Secondary NameNode 恢复一部所以如果NameNode中的元数据丢失,是可以从Secondary NameNode恢复一部分元数据信息的,但是不是全部,因为Namenode正在写的edits日志还没有拷贝到Secondary NameNode,这部分恢复不了。
2023-08-25 15:59:51
78
原创 phoenix创建hbase表映射
创建命名空间hbase(main):018:0> create_namespace 'foo'Took 0.2535 seconds 0: jdbc:phoenix:thin:url=http://hb-bp1ya00iwt> create schema foo;No rows affected (0.256 seconds) DROP schema FOO;2创建表命名空间 foo,表名stu,列族infohbase(main):019:0> ...
2022-04-29 19:50:28
1901
2
原创 phoenix常用操作命令
schema操作创建schemacreate schema "foo";切换schemause "foo";删除schemadrop schema if exists "foo";0: jdbc:phoenix:thin:url=http://hb-bp1ya00iwt> create schema "foo";No rows affected (0.234 seconds)0: jdbc:phoenix:thin:url=http://hb-bp1ya0...
2022-04-29 15:34:04
3076
1
原创 hbase常用命令
命名空间管理hbase(main):038:0> create_namespace 'foo'Took 0.2400 seconds
2022-04-29 13:57:33
1297
原创 [flink1.14.4]net.sf.ezmorph.Morpher
flink自定义数据源loghub报错Caused by: java.lang.ClassNotFoundException: net.sf.ezmorph.Morpherjava.lang.NoClassDefFoundError: net/sf/ezmorph/Morpher at net.sf.json.util.CycleDetectionStrategy.<clinit>(CycleDetectionStrategy.java:37) ~[flink-connector-
2022-04-14 10:46:41
1474
原创 【flink1.14.4】No operators defined in streaming topology. Cannot execute.
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: No operators defined in streaming topology. Cannot execute.The program finished with the following exception:org.apache.flink.client.program.ProgramInvocation
2022-04-08 16:23:55
7027
原创 hive初始化元数据Error: Syntax error: Encountered “<EOF>“ at line 1, column 64. (state=42X01,code=30000)or
1下载Index of apache-local/hive/hive-2.3.6到路径/Users/xx/Downloads/tool2解压重命名 apache-hive-2.3.63在路径/Users/xx/Downloads/tool/hive_conf/conf路径新建hive-site.xml,配置mysql元数据<?xml version="1.0"?><configuration> <property> <name>
2022-04-02 18:00:04
8694
原创 【flink1.14.4】java.lang.IllegalStateException: No Executor found
java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment" section of the official Apache Flink documentation
2022-03-23 10:29:21
1209
原创 [flink1.14.4]Unable to create a source for reading table ‘default_catalog.default_database.new_buyer
升级flink1.14.3报错Caused by: org.apache.flink.table.api.ValidationException: Unable to create a source for reading table 'default_catalog.default_database.new_buyer_trade_order2'CAUSED BY: 2022-03-11 16:45:04,169 INFO org.apache.flink.yarn.cli.FlinkYar.
2022-03-11 16:49:35
12896
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人