HADOOP
许鸿于
从无到有,路长漫漫。
展开
-
Hadoop-HDFS学习理解到安装操作,以及HA高可用部署。
Hadoop HDFS 概念 分布式存储系统提供高可靠性、高扩展性和高吞吐量的数据存储服务 分为三个节点 NameNode:主节点,接受客户端读写服务,保存metadate信息,元数据,存储到fsimage文件上,fsimage在Format HDFS时创建,edits对metadate的操作日志,block位置信息不会保存到fsimage上。 总结NN俩大功能:1.获取客户端的读写服务 2.存...原创 2019-01-24 15:47:10 · 268 阅读 · 0 评论 -
Flume基础操作,自定义Sink
Flume基础操作,自定义Sink 1. 配置一个flume agent 任务目标: source为 exec source,用tailf命令,监控文件任意 channel设置为filechannel sink为hdfs sink 任务完成步骤 创建Flume agent配置文件,配置source、sink、channel。 配置source type 为exec,tail -f监...原创 2019-02-20 17:52:21 · 3574 阅读 · 0 评论 -
MapReduce俩种方式实现WordCount的JAVA编程
MapReduce三种方式实现WordCount的JAVA编程 1.MapReduce实现(服务器内部运行jar方式) Hadoop 版本:hadoop 2.6.5 JDK 版本:jdk1.7.0_79 Zk 版本:zookeeper-3.4.6 启动环境: 三台zookeeper:zkServer.sh start 全面启动Hadoop:start-dfs.sh 启动YarnH...原创 2019-03-06 14:13:50 · 491 阅读 · 0 评论