Hadoop
hadoop
NICEDAYSS
do one more thing
公众号:N个程序猿的日常 欢迎关注
展开
-
钻牛角尖系列(一)MapReduce的一点点小细节
Inputformat的数据多种处理方式:FileInputFormat:–处理文件TextInputFormat:<偏移量,行数据>----LineRecordReaderKeyValueTextInputFormat:<分隔符前,分隔符后>----KeyValueLineRecordReaderNLineInputFormat:<偏移量,行数据>----LineRecordReaderCombineTextInputFormat:原创 2020-07-07 00:33:00 · 170 阅读 · 0 评论 -
Hadoop系列 (一) 补--Hadoop高可用分布式环境搭建
Hadoop高可用分布式环境搭建:文章目录Hadoop高可用分布式环境搭建:一:配置HDFS-HA集群:第一步:在第一台主机器上配置core-site.xml第二步:在第一台主机器上配置hdfs-site.xml二:启动HDFS-HA集群:第一步:在各个节点上,都启动journalnode服务:第二步:在第一台主节点上,对其格式化,并启动:第三步:在第二台standby辅节点上同步主节点元数据信息:第四步:启动standby的namenode节点:第五步:所有节点启动datanode三:配置HDFS-HA原创 2020-07-06 16:38:54 · 618 阅读 · 0 评论 -
Hadoop系列 (一) 补--Hadoop完全分布式环境搭建
文章目录完全分布式搭建集群准备集群规划修改配置文件(3台机器都要修改)启动集群时间同步完全分布式搭建集群准备准备3台客户机(关闭防火墙、静态ip,主机映射、主机名称),主机名称分别hadoop2,hadoop3,hadoop4安装jdk,配置环境变量配置ssh,免密登陆==【拷贝密钥的时候需要拷贝9次】==ssh-keygen配置时间同步集群规划hadoop2hadoop3hadoop4HDFSNameNode DataNodeDataNodeSe原创 2020-07-06 01:43:27 · 459 阅读 · 0 评论 -
Hadoop系列(二 ) HDFS原理分析史上最详细,能和面试官吹半个小时
文章目录 HDFS架构: NameNode(NN): SecondaryNameNode(2NN): DataNode(DN): ResourceManager(RM): NodeManager(NM): HDFS具体工作原理: 一:NN----2NN(元数据节点工作原理) NN--DN(数据存取原理) 二:HDFS读文件流程: 三:HDFS写文件流程: HDFS具体应用: .原创 2020-06-03 16:07:08 · 1840 阅读 · 0 评论 -
Hadoop系列(一)Hadoop简介--HDFS分布式系统环境搭建
Hadoop:大数据4V特征:**Volume:**90%的数据是过去两年产生----大数据量**Velocity:**数据增长速度快,时效性高----速度快**Variety:**数据种类和来源多样化:结构化数据,半结构化数据,非结构化数据----多样化**Value:**需挖掘获取数据价值----价值密度低Hadoop三大核心:**HDFS:**Hadoop Distributed File System 分布式存储系统提供高可靠性,高扩展性和高吞吐率的数据存储服务**原创 2020-06-01 15:11:23 · 386 阅读 · 0 评论