- 博客(6)
- 收藏
- 关注
RSS订阅原创 flume配置文件的一些语义解释
Flume 代理中，监控指定目录中的文件（`E:\apache-flume-1.11.0-bin`），读取匹配模式的文件（`work12.csv`），通过拦截器过滤不需要的事件，然后将剩余的事件发送到指定的 Kafka 主题（`mytopic`）。代码块定义了一个名为 `a1` 的代理（agent）：包含一个源（src）、一个接收器（k1）和一个通道（c1）。这些行将 `src` 源和 `k1` 接收器绑定到 `c1` 通道，确保数据流从源经过通道到达接收器。
2024-07-17 03:31:33
650
原创 windows下，利用flume将csv数据文件上传至kafka
这里example.conf 文件定义了一个简单的数据流，从一个源（spooldir）读取数据，经过一个通道（memory channel），并将数据发送到一个 Kafka 主题中。打开flume目录下的conf文件，创建一个example.conf配置文件，里面包含source、channel、sink信息。5. 打开cmd四号（不关闭），启动flume，输入。2. 打开cmd二号（不关闭），输入。1. 打开cmd一号（不关闭），输入。3. 打开cmd三号（不关闭），输入。
2024-07-17 03:20:51
486
原创 Windows下DataX的安装配置
解压安装包，记住解压的路径地址，（我的是在E:\datax），进入E:\datax\bin目录，记事本打开datax.py文件，修改"DATA_HOME=..."这里的路径为datax根目录 E:\datax。3.Apache Maven 3.x (Compile DataX) 非编译安装不需要。1.JDK(1.8以上，推荐1.8)2.Python(2或3都可以)
2024-07-14 10:25:58
474
原创 windows下的zookeeper和kafka安装及配置
环境变量配置如下：在控制台cmd中输入zkServer，启动Zookeeper：管理员模式打开命令控制台，客户端连接zookeeper。输入zkCli输入ls /ls /点击下载scala2.12对应的压缩包:在kafka下载好的根目录下，创建新文件夹：kafka-logs编辑文件Kafka配置文件，找到并编辑这边kafka的默认监听端口是2181，不幸的是zookeeper也是。所以为了防止端口冲突，在zookeeper的配置文件里面把zookeeper。
2024-07-12 16:09:21
511
1
原创 windows下flume的安装与配置教程
环境配置要注意配置好：JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR,选择名称最短的那个tar包：然后把安装包解压后记住路径：（我的是："E:\hadoop-2.7.1"）最后还要添加hadoop.dll和文件到你的bin目录下。将hadoop.dll和文件复制粘贴一下即可。
2024-07-12 10:14:09
993
原创 MySQL数据库：自增锁
这是一种更轻量级的方式，不会为每个事务分配全局的自增锁。相反，事务会在插入时尝试获取一个递增的自增值，但不会等待全局锁。一般来说，对于MySQL数据库，其默认的模式是连续模式。在这种模式下，每个事务在插入记录时都会获得一个全局的自增锁，确保每次插入都得到唯一的、递增的自增列值。这是传统的、严格的方式，确保了递增列的顺序性。在 MySQL数据库 中，自增锁是指在插入新记录时对自增列进行的锁定操作，以确保每个新插入的记录都具有唯一的、递增的自增列值。属性的列作为主键的情况。
2024-07-12 09:28:42
759
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人