hadoop
文章平均质量分 93
何以问_
永远少年
展开
-
Apache Flume 基础及使用案例
Apache Flume 基础及使用案例什么是Flume ?Flume 是用于从多个源将日志流到Hadoop和其他目标的服务。一种分布式的、可靠的、可用的服务,用于有效地收集、聚合和移动大量的流数据到Hadoop分布式文件系统(HDFS)。Apache Flume具有简单灵活的基于流数据流的体系结构;并且具有可调的故障转移和恢复可靠性机制,具有健壮性和容错性。Apahe Flume是做什么的流数据从多个源获取流式数据到Hadoop中存储和分析隔离系统缓冲存储平原创 2021-04-26 11:04:46 · 294 阅读 · 0 评论 -
Hadoop压缩存储测试
Hadoop压缩存储测试执行1.放大测试数据放大之后的大小 : 6.26内容 : 重复的测序数据上传到服务器 文件名 : test1_R1.fq2.部署Hadoop环境2.1上传Hadoop包3.执行各个格式压缩解压设置HDFS的副本数为1查看可用的压缩格式 hadoop checknative配置压缩格式之后3.1代码实现打成Jar包上传到服务器3.2Gziphejiahao@MountHua:~/package$ java -jar原创 2021-04-25 16:24:42 · 229 阅读 · 0 评论