![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
BIG*BOSS
这个作者很懒,什么都没留下…
展开
-
【CDH】启动命令
systemctl start httpdservice cloudera-scm-server start原创 2021-02-18 10:30:58 · 1384 阅读 · 0 评论 -
【python】修改xml文件
例如Hadoop的hdfs-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance原创 2021-02-08 15:51:04 · 1014 阅读 · 0 评论 -
【Hadoop_exporter】prometheus监控hadoop
下载jmx_prometheus_javaagent-0.15.0.jarhttps://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.15.0/写需要监控的角色专属yamlnamenode.yamlstartDelaySeconds: 0#master为本机IP(一般可设置为localhost);1234为想设置的jmx端口hostPort: localhost:1234 #jmxUrl: servi原创 2021-01-30 10:02:01 · 4859 阅读 · 4 评论 -
【大数据】从0配置一个大数据集群
三台虚拟机/云服务器三个节点滴滴云修改默认root登录查看大佬超详细博客修改hostsip地址 hadoop1ip地址 hadoop2ip地址 hadoop3免密登录生成秘钥ssh-keygen -t rsa拷贝ssh-copy-id root@hadoop1 (分别三个机器上都拷贝3次)永久关闭防火墙systemctl disable firewalldc...原创 2020-04-19 16:32:39 · 220 阅读 · 0 评论 -
【Hadoop】面试复习知识总结
Hadoop是Apache开发的分布式、高可靠、可扩展的分布式系统基础架构。它的特点是:高可靠、可扩展、高效性、高容错性、低成本。Hadoop Common:支持其他Hadoop模块的通用程序;HDFS:分布式文件系统;MapReduce:处理大量半结构化数据集合的编程模型;Yarn:作业调度和集群资源管理的框架;Ozone:基于HDFS进行对象的存储。HDFSNamenode启动...原创 2020-03-02 14:05:21 · 242 阅读 · 0 评论 -
【Checkpoint】HA模式下checkpoint流程
checkpoint过程配置了HA的HDFS中,有active和standby namenode两个namenode节点。他们的内存中保存了一样的集群元数据信息,这个后续我会详细用一篇文章介绍HA,所以这里就不多说了。因为standby namenode已经将集群状态存储在内存中了,所以创建检查点checkpoint的过程只需要从内存中生成新的fsimage。详细过程如下: (standby...原创 2019-10-10 16:42:21 · 605 阅读 · 0 评论 -
【Hadoop】mapreduce环形缓冲区
mapreduce过程解析数据在map中怎么写入磁盘?数据:经过map逻辑处理过后的数据(key,value)…磁盘:本地磁盘环形缓冲区1.为什么要环形缓冲区?答:使用环形缓冲区,便于写入缓冲区和写出缓冲区同时进行。2.为什么不等缓冲区满了再spill?答:会出现阻塞。3.数据的分区和排序是在哪完成的?答:分区是根据元数据meta中的分区号partition来分区的,排序是...原创 2019-09-09 19:42:44 · 3278 阅读 · 0 评论 -
【Hadoop高级】Hadoop HA、hdfs安全模式
Hadoop HASafemode(安全模式)During start up the NameNode loads the file system state from the fsimage and the edits log file. It then waits for DataNodes to report their blocks so that it does not prema...原创 2019-09-03 20:34:56 · 311 阅读 · 0 评论 -
【Hadoop】namenode与secondarynamenode的checkpoint合并元数据
Checkpoint Node(检查点节点)NameNode persists its namespace using two files: fsimage, which is the latest checkpoint of the namespace and edits, a journal (log) of changes to the namespace since the check...原创 2019-09-03 11:43:56 · 156 阅读 · 0 评论 -
【Hadoop】hdfs文件上传流程图
原创 2019-09-02 20:22:36 · 690 阅读 · 0 评论 -
【Hadoop】hdfs,剖析文件上传
文件上传原理图剖析文件写入1.客户端(client)通过对DistributedFileSystem对象调用create()来新建文件;FSDataOutputStream outputStream = fileSystem.create(new Path("/test.txt"));2.DistributedFileSystem对namenode创建一个RPC调用,在文件系统的命名空...原创 2019-09-02 15:50:41 · 146 阅读 · 0 评论 -
【Hadoop】hdfs的秘密,namenode,datanode,yarn,安全模式,fsimage,edits...
1.bin/hdfs namenode -format** 注意事项1.在配置好了配置文件之后,首次启动之前,做初始化操作2.在后续启动的时候,不需要再初始化3.初始化的一些影响一.初始化操作@_为什么要初始化,它到底做了哪些事情?答:初始化的时候,会新建文件夹,dfs/name,文件夹的名字是dfs,在他下面会新建一个文件夹,名字是name××××××××××××××××××××...原创 2019-08-29 20:06:28 · 383 阅读 · 0 评论 -
【Hadoop】配置全分布式模式
分布式原理配置详细过程假设有三台虚拟机,1台master主机namenode,2台slave奴隶机datanode所有机器都要配好jdk、Java环境变量、hadoop_env.sh里java路径改好主机Use the following:先在解压的hadoop-2.6.0目录下创建data/tmp文件夹etc/hadoop/core-site.xml:<configu...原创 2019-08-27 18:36:35 · 256 阅读 · 0 评论 -
【Hadoop】Hadoop的安装,本地模式、伪分布模式的配置
Download hadoop-2.7.7.tar.gz下载稳定版本的hadoop-2.7.7.tar.gz(我用的2.6.0,但是官网只能下载2.7.7的了)Required SoftwareLinux所需的软件包括:必须安装Java™。HadoopJavaVersions描述了推荐的Java版本。必须安装ssh并且必须运行sshd才能使用管理远程Hadoop守护进程的Hadoop脚本...原创 2019-08-27 16:59:01 · 149 阅读 · 0 评论