__Sniper__-CSDN博客

原创 Maxwell安装部署以及操作

【代码】Maxwell安装部署以及操作。

2023-12-18 09:56:25 355

原创 DataX安装部署以及操作

第四步:启动datax,观察输出结果。

2023-12-18 09:52:03 146

原创 Flume安装部署以及操作

通过使用拦截器实现过滤掉不需要的数据,并指定一个字段进行加密,然后上传到hdfs中。

2023-12-18 09:46:44 187

原创 HBASE相关操作

hbase安装部署和一些常用操作, 还有Phoenix二级索引的一些相关内容

2023-12-07 14:33:25 221

原创 ZooKeeper常用命令以及一些JAVA API操作示例

zkCli.sh。

2023-11-09 10:11:28 386

原创 Yarn资源调度系统

1.hadoop集群是将多台机器联合起来,成为一个大的集群服务器2.每台机器的硬盘,提供出来组成hdfs分布式文件系统3.每台机器的CPU和MEM内存由yarn管理调度按顺序执行,FirstIn FirstOut如果有个大任务执行,小任务在后面,会先执行完大任务才会执行小任务在FIFO调度器中,小任务可能被大任务阻塞。

2023-03-28 17:06:16 548

*** 自定义mapper类需要继承Mapper，有四个泛型，* keyin: k1 行偏移量 Long* valuein: v1 一行文本内容 String* keyout: k2 每一个单词 String* 在hadoop当中没有沿用Java的一些基本类型，使用自己封装了一套基本类型/*** 继承mapper之后，覆写map方法，每次读取一行数据，都会来调用一下map方法* @param key：对应k1* @param value:对应v1。

2023-03-28 17:06:01 386