huaxia2002-CSDN博客

原创 TiDB集群优化方案

TiDB集群优化方案部署环境硬件3台64G内存,CPU为2*Xeon E5-2640 v4,共计20核40线程的设备.TiDB集群拓扑参考 topology.yaml如下global: user: "root" ssh_port: 22 deploy_dir: "/tidb-deploy" data_dir: "/tidb-data" arch: "amd64"monitored: node_exporter_port: 9100 blackbox_exporte

2021-08-25 15:09:03 1325 1

原创 Metron性能调优指南（Metron Performance Tuning Guide）

概述Storm拓扑的扩展设置用于hadoop中的stremming,enriching,indexing和存储遥感数据。Metron性能调优指南（Metron Performance Tuning Guide）https://metron.apache.org/current-book/metron-platform/Performance-tuning-guide.html放个网址在这，有空再说吧。通用目录Stellar Language（Stellar语言）High Level Arch

2021-08-25 15:06:58 226

原创 Metron资源数据管理

资源数据管理目录Overview(概述)Simple HBase Enrichments/Threat Intelligence（简易Hbase富化/威胁情报）Extractor Framework（抽取框架）Enrichment Config（富化设置）Loading Utilities(载入工具)Pruning Data from Elasticsearch （ES数据剪枝）Overview大量的富化和威胁情报处理一般用以下模式来处理：选定一个值从键值对存储中查找该变量如果该k

2021-08-25 15:06:22 129

原创 Metron基础概念

Metron基础概念相关名词对应概念架构图mass服务架构（暂时理解不了）[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aEuIeZKv-1629875080431)(https://metron.apache.org/current-book/images/maas_arch.png)]调整使用Model的Squid的设置该项配置以json格式存储在$METRON_HOME/config/zookeeper/enrichments/squid.json中，enr

2021-08-25 15:05:31 278

原创 kafka报错Error while fetching metadata with correlation

kafka报错server.log输出:Error when handling request {topics=[indexing]} (kafka.server.KafkaApis)kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0运行kafka-console-producer.sh 输出WARN Error while fetching metadata wit

2021-08-25 14:59:11 14152

原创 NameNode与DataNode通信机制

NameNode与DataNode通信机制通信种类心跳(默认3秒一次,携带NameNode发送给Datanode的命令)上下线探测(默认10分钟+30秒,10分钟后无法通信则判定为下线),计算公式:timeout = dfs.datanode.heartbeat-recheck2 + 10 heartbeat.interval块信息上报(1小时),将namenode的文件的block信息上报给namenode通信过程datanode启动,向namenode上报注册信息nameno

2021-08-25 14:57:46 1992

转载 Hbase compact以及split跟踪

为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。此次测试会有几轮，所以测试到哪里就写到哪里，我随便找了一张大概120W来的表，我会写一个mapreduce任务，来读取这张表，再写入另外一个测试表: test2, 没有选择更大的表是因为毕竟整个拷贝是需要时间，通常20分钟-30分钟，太大的表，不太利于跟踪。拷贝过程，HBASE会

2021-08-25 14:57:00 175

原创 hbase数据无法用phoenix查出

前置:hbase数据利用hbase org.apache.hadoop.hbase.mapreduce.Export “asset_list” /user/hbase/asset_list_backup导出后,再利用hbase org.apache.hadoop.hbase.mapreduce.Driver import asset_list /user/hbase/asset_list_backup.且导入phoenix中已有对应表以及对应本地索引.现象:建表完成后,利用hbase shell后,sca

2021-08-25 14:54:17 1319

原创 ClickHouse集群搭建（CENTOS7环境）

ClickHouse集群搭建（CENTOS7环境）1. rpm包下载下载的rpm包版本-rw-r--r-- 1 root root 134254 5月 28 17:07 clickhouse-client-20.3.9.70-2.noarch.rpm-rw-r--r-- 1 root root 116924361 5月 28 17:07 clickhouse-common-static-20.3.9.70-2.x86_64.rpm-rw-r--r-- 1 root root 155

2021-08-25 14:51:08 380

原创 ubuntu20.04.2环境下openjdk12源码编译相关问题Werror=stringop-truncation

ubuntu20.04.2环境下openjdk12源码编译相关问题Werror=stringop-truncation环境其余组件安装命令编译前准备报错信息解决方案按照《深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）》的编译openjdk步骤指示，出现了一些问题，导致无法完成编译。环境Ubuntu 20.04.2 LTS其余组件安装命令sudo apt-get install build-essentialbootstrap jdk：sudo apt-get install op

2021-02-11 19:53:20 3327 2

huaxia2002的博客