weixin_30596735的博客

https://blog.csdn.net/qq_38773184/article/details/86508997转载于:https://www.cnblogs.com/niwajiang1/p/11614981.html

需要先启动 HDFS 集群和ZooKeeper 集群。Hadoop 集群安装：https://www.cnblogs.com/jhxxb/p/10629796.htmlZooKeeper 集群安装：https://www.cnblogs.com/jhxxb/p/10744264.htmlzkServer.sh startstart-dfs.sh# 不启动 y...

报错内容：ERROR [master/h136:16000:becomeActiveMaster] master.HMaster: Failed to become active masterjava.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper ...

安装 Hive：https://www.cnblogs.com/jhxxb/p/11606842.html# 启动 hivebin/hive# 查看数据库hive> show databases;# 打开默认数据库hive> use default;# 显示 default 数据库中的表hive> show tables;...

一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。一、HBase 逻辑结构二、HBase 物理存储结构三、数据模型1）Name Space...

Hive 官网地址：https://hive.apache.org/文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted下载地址：https://hive.apache.org/downloads.html&https://archive.apache.org/dist/hive/...

Agent 为 JVMTI 的客户端。这里记录的是基于Java Instrument 的 Agent 实现，还有直接基于 JVMTI 的 Agent 实现。在 JDK1.5 以后，我们可以使用 Agent 技术构建一个独立于应用程序的代理程序，用来协助监测、运行甚至替换其他 JVM 上的程序。使用它可以实现虚拟机级别的 AOP 功能。Agent 分为两种，一种是在主程序之前运...

Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是：将 HQL 转化成 MapReduce 程序HQL 转换 MR 流程：Hive 处理的数据存储在 HDFSHive 分析数据底层的默认实现是 MapReduce，执行程序运...

Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个 Flume Agent，Sink 就利用 Channel 提交事务。...

开源实现：https://github.com/keedio/flume-ng-sql-source这里记录的是自己手动实现。测试中要读取的表CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) COLLATE utf8_bin DEFAULT NU...

先停止 HDFS 角色。数据文件位置默认在 /dfs/ 中，这里配置 NameNode、SecondaryNameNode、DataNode数据目录。先在所有 HDFS 的主机上把数据拷贝过去，然后再修改 CDH 上的配置。mkdir /cdh/dfscp -af /dfs/* /cdh/dfs/再启动 HDFS 角色。# 执行...

Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的 source 类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我...

使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 even...

Flume-1 监控文件 /tmp/tomcat.log。Flume-2 监控某一个端口的数据流。Flume-1 与 Flume-2 将数据发送给 Flume-3，Flume-3 将最终数据打印到控制台。一、创建配置文件1.flume1-logger-flume.conf配置 Source 用于监控 hive.log 文件，配置 Sink 输出数...

向数据库中插入一条记录，若该数据的主键值（UNIQUE KEY）已经在表中存在，则执行后面的 UPDATE 操作。否则执行前面的 INSERT 操作。测试表结构CREATE TABLE `flume_meta` ( `source_tab` varchar(255) COLLATE utf8_bin DEFAULT NULL UNIQUE, `current...

接上一篇：https://www.cnblogs.com/jhxxb/p/11579518.html使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用Failover Sink Processor，实现故障转移的功能。一、创建配置文件1.flume-netcat-flume.conf配置 1 个 netc...

使用 Flume-1 监控文件变动，Flume-1 使用 Replicating Channel Selector 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。一、创建配置文件1.flume-file-flume.conf配置 ...

一、Flume 事务流程图Put 事务流程doPut：将批数据先写入临时缓冲区 putListdoCommit：检查 channel 内存队列是否足够合并doRollback：channel 内存队列空间不足，回滚数据Take 事务流程doTake：将数据取到临时缓冲区 takeList，并将数据发送到 HDFSdoCommit：如果数据全部发送成功，...

一、串联Flume Agent 连接这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。二、聚合Flume Agent 聚合这种模式是我们最常见的，...

JPDA：Java 平台调试架构（Java Platform Debugger Architecture）它是 Java 虚拟机为调试和监控虚拟机专门提供的一套接口。一、JPDAhttps://docs.oracle.com/javase/8/docs/technotes/guides/jpda/JPDA 由三个规范组成：JVMTI（JVM Tool Interfa...