weixin_47681855的博客

原创 HA的设计原理

设计之初就是为了解决单节点故障问题HA(High Availability高可用性)这里指的是hadoop的高可用机制在HDFS中NameNode只有一个,当这个NameNode挂了,整个集群就不能对外服务,需要花很长时间才能修复正常,才能继续工作,生产中是不允许这种事请发生.单节点故障问题:是指系统中一点失效,就会让整个系统无法运作的部件,换句话说,单节点故障就是整个集群故障.它将最初的NN(主节点)的log日志进行了分布式存储,是文件存储更加安全;并且对NN进行了监控,一旦NN出现故

原创 元数据管理和副本存放策略的作用

元数据管理元数据存储在NN当中 提供客户端虚拟的访问目录 数据切块信息 副本个数 物理块的位置 物理块的描述信息 起始位置 大小副本存放策略的作用 HDFS作为Hadoop中的一个分布式文件系统,专门为它的MapReduce设计,所以HDFS除了满足自己作为分布式文件系统的高可用外,还必须为MapReduce提供高效的读写性能,那么HDFS该如何满足这些呢? 首先,HDFS将每一个文件的数据进行分块存储,同时每一个数据块又保存又多个副本,这些数据块副本存储在不同的机器上,这种...

原创 NameNode和DataNode之间的通信

NameNode(主节点)接收DN的注册信息 并返回唯一的集群ID和统一的存储目录和UUID 接收DN汇报的磁盘空间和存储情况 分配存储任务给DN 接收DN的心跳机制和数据汇报 维护元数据信息的副本个数,给DN分配副本任务 管理和维护数据的存储信息(存储位置有:内存+磁盘 并且会复制子多份) 接收客户端发送的上传和下载的请求 并返回元数据的存储信息 给客户端提供虚拟的文件列表(shell命令) 从节点注册后发给DN的集群ID注意: 若从节点个数有限,当主节点分配...

原创 HADOOP的读写数据流程

写数据的流程所有的设备搭建都是基于客户需求(上传、下载、临时存储........)之上而来的,有了这些设备以后搭建集群,开启服务给客户提供相应的需求NN(主节点)一般先开机,初始化之后,会接收各个DN(从节点)开机以后发送的注册信息以及其资源存储情况当客户端有上传的需求时,会首先给NN发送上传请求 NN收到请求以后,判断集群中的资源情况,当资源足够时返回ok 客户端开始上传第一块数据的元数据信息 当NN接收到元数据信息时,会向客户端返回3台DN机器的位置(每来一块数据都返回3台节点机)--

原创 全网最全HADOOP脑图总结

原创 Shuffer算子的特殊情况

调用了shuffer算子却没有出现shuffer的情况不shuffer的前提条件是,使用了与上次shuffer相同的分区器,并且分区数量没有发生变化

原创 HDFS的安装

HDFS的安装1.上传HDFS的安装包到Linux的指定目录下2.解压到指定目录当中不建议使用-zxvf 加上v以后会影响解压速度3.目录结构bin 目录下为客户端可操作文件etc 配置文件sbin 组件的启停share 系统的jar包和文档 (share文件夹下有个doc文件夹 记得删掉 占内存 没啥用 影响传输速度)4.修改配置文件配置文件的目录在: /opt/apps/hadoop-3.2.1/hadoop-/etc/4.1 vi hadoop-en

原创 免密连接

免密连接远程登录进行操作指令的时候都要输入密码，免密登录安全验证机制两种 用户名和密码 公钥和私钥机制请求方需要事先创建一对密钥（公钥，私钥； 私钥自己持有，公钥交给目标机器）实现步骤：1.在每台机器上安装ssh的客户端yum list | grep ssh yum -y install2.在每台机器上生成密钥对：ssh-keygen 回车3.将生成好的公钥注册给目标机器ssh-copy-id linuxssh-copy-id linux01

原创 克隆机器的注意事项

克隆注意事项1.更改IP地址 更改Hsotname(主机名) 更改域名映射 然后Reboot2.在Windows中更改域名映射 位置为:C:\Windows\System32\drivers\etc/hosts3.在主节点 的workers文件中 添加 linux n4.删除linux n 的原有秘钥(因为机器是克隆别人的) 删除.ssh文件夹(在隐藏文件夹中) 生成新的密钥 发送到其他虚拟机当中 将其他虚拟机上的密钥也发送到linux n 中 (scp etc

原创 (快照+克隆)--集群搭建

集群搭建1.快照复制当前的机器的环境，当出现问题的时候，将机器恢复到当前快照的状态2.克隆2.1关闭要被克隆的虚拟机2.2找到克隆选项2.3欢迎界面2.4克隆虚拟机2.5设置创建完整克隆2.6设置克隆的虚拟机名称和存储位置2.7等待正在克隆2.8点击关闭，完成克隆2.9进入虚拟机，修改虚拟机的ip地址2.10修改主机名hostname3.免密连接远程登录进行操作指令的时候都要输入密码，免密登录安全验证机制两种 用户名和密码 公钥和私钥机制请求

原创 Shell笔记

shell笔记1.变量系统变量利用set查看系统中的所有变量自定义变量1．基本语法（1）定义变量：变量名=值（2）撤销变量：unset 变量名（3）声明静态变量：readonly变量，注意：不能unset2．变量定义规则​ （1）变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。​ （2）等号两侧不能有空格​ （3）在bash中，变量默认类型都是字符串类型，无法直接进行数值运算。​ （4）变量的值如果

原创 shell简介和脚本执行方式

shell简介和脚本执行方式1.shell简介Shell是命令解释器(command interpreter)，是Unix操作系统的用户接口，程序从用户接口得到输入信息，shell将用户程序及其输入翻译成操作系统内核（kernel）能够识别的指令，并且操作系统内核执行完将返回的输出通过shell再呈现给用户，下图所示用户、shell和操作系统的关系：Shell就是一种命令解析器，解析用户的命令调用系统内核执行相关的命令Shell也是一门编程语言，即shell脚本，shell是解释执行的脚本语言，可

原创 linux中的常用命令和系统命令

常用命令1 压缩和解压命令1.1 gzip ()压缩) 文件1 文件2gzip 文件 直接压缩文件 后缀名 .gz(压缩格式)1.2 解压命令 gunzip 压缩文件1 压缩文件2 …2 打包+压缩2.1打包压缩2.2打包解缩注意:v一般情况下不使用的 , 显示解压 压缩进度 影响速度​ 将打包压缩的文件解压到指定的目录中 -CLinux系统权限不同用户对不同的文件额文件夹有不同的操作权限,为了保证数据的安全性和系统的安全linux会对不同用户的权限进行控

原创 Linux中的软件安装命令

软件安装命令1.rpmRPM软件包也称为二进制软件包 **依赖关系 (****手动的解决)**rpm的常用参数i：安装应用程序（install）vh：显示安装进度；（verbose hash） U：升级软件包；（update） qa: 显示所有已安装软件包（query all）e：卸载应用程序（erase）注意：如果其它软件包有依赖关系，卸载时会产生提示信息，可使用--nodeps强行卸载。查询所有安装的rpm包: # rpm –qa查询mysql相关的包： #

原创 网络端口查看的命令

netstat -nltp | grep 22n 数字l 列表的形式展示t tcp 协议p port

原创 查看防火墙状态的命令

systemctl status firewalldsystemctl stop firewalldsystemctl start firewalld上面的两个命令 start | stop 临时生效 disable和enable命令是配置防火墙开机的时候启动或者是禁用systemctl disable firewalld 禁用systemctl enable firewalld 启动禁用防火墙以后重启查看防火墙的状态...

原创 查看linux系统的 ip地址

1. ip addr 查看ip地址2. service network restart 重启网络服务3. service network status 查看网络状态4. service network stop 停止网络服务5. service network start 启动网络服务

原创 split(String regex,int limit)两个参数的用法

split public String[] split(String regex,int limit)根据匹配给定的正则表达式来拆分此字符串。 此方法返回的数组包含此字符串的子字符串，每个子字符串都由另一个匹配给定表达式的子字符串终止，或者由此字符串末尾终止。数组中的子字符串按它们在此字符串中出现的顺序排列。如果表达式不匹配输入的任何部分，那么所得数组只具有一个元素，即此字符串。limit 参数控制模式应用的次数，因此影响所得数组的长度。如果该限制 n 大于 0，则模式将被最多应用 n - 1 次，

原创 网络配置

网络配置***1.基本概念ip地址: 所有的在网络之间通信的机器都有一个唯一的ip地址, 来确定唯一的一个机器 192.168.168.1端口: 一个端口可以确定一个唯一的程序(一个程序可能会使用多个端口)局域网:通信原理, 凡是在同一个局域网中通信的机器必须在同一个网段中 且ip地址是唯一不冲突的网关: 在局域网中 交换机的ip地址理解成网关 , 所有机器通信都要经过网关机器子网掩码 : 用来计算网段 , 网关的ip&子网掩码 (255.255.0.0 / 255.255.25

原创 linux中的vi编辑命令

linux中的vi编辑命令vi 和 vim是用来编辑文本文件内容的, 类似于记事本 ,notePad++语法 : vi 文件:q 退出:q! 强制退出:wq 保存+退出:wq! 强制保存+退出 由命令模式 进人到插入模式 i 在光标的前面插入 a 在 光标的后面 o 在下一行插入数据 I 在行首 A

原创 linux基础命令(二)

1.pwd2.echo3.查看文件内容4.帮助命令5.查找命令1 pwd 查看当前所在的目录List itemtab件可以补全提示信息2.echo 打印内容打印的内容:将打印的内容输出到控制台将打印的内容输出到文件 > (覆盖内容)将打印的内容输出到文件 >> (追加内容)注意: 上箭头和下箭头是历史命令的重放echo 内容 > / >> 文件 文件是可以不存在的 自动创建**在tab键的上面有个特殊的符号 ``命令

原创 linux基本命令(一)

linux基本命令1.cd 切换目录2.ls 查看目录下的内容3.mkdir 创建文件夹4.touch 创建文件5.cp 复制文件6.mv 移动文件7.rm 删除文件1.cd带/ 绝对路径 ./ ../ ../../ 相对路径cd - 切换到上次所在的目录cd ~ 回到当前用户的家目录 /root /homecd - 切换到上次所在的目录cd ~ 回到当前用户的家目录2 ls 查看目录下的内容ls 查

原创 IDEA中注释的添加和取消的快捷键

1、添加行注释的快捷键首先选中要注释区域，然后> ctrl+/> 这个是多行代码分行注释，每行一个注释符号 ctrl+shift+/ > 这个是多行代码注释在一个块里，只在开头和结尾有注释符号2、取消行注释快捷键,用相同方法取消ctrl+/ 添加注释，则ctrl+/取消注释ctrl+shift+/添加注释，则ctrl+shift+/取消注释...

原创 Error(3, 30) java 程序包com.alibaba.druid.pool不存在

Error:(3, 30) java: 程序包com.alibaba.druid.pool不存在Error:(5, 59) java: 程序包javax.servlet.http不存在Error:(6, 45) java: 程序包javax.servlet.http不存在Error:(6, 92) java: 程序包javax.servlet.http不存在Error:(6, 143) java: 程序包javax.servlet不存在Error:(10, 44) java: 程序包javax.s

原创 linux的基本目录信息

linux的基本目录登录cd / 切换到根目录./ 当前目录ls ./ 查看当前目录中的所有的内容- bin : 一些可执行的命令的目录 ls cd- boot: 系统有关的操作- dev: 所有的设备- etc: 所有的配置文件 , 比如系统环境变量的配置文件 , 域名映射- home: Linux是一个多用户多任务高权限的操作系统 , root用户是超级管理员, 其他用户的工作目录- lib: 依赖的lib包- lib64 :依赖的lib包- media: 多

原创 Linux的基本特点及安装

linux1.linux的基本特点安全性高稳定性好有自己的文件系统资源占用比较少用户权限管理严格开源免费没有图形化界面,方便部署linux --企业中的服务器linux安装-- crentOS 7 软件兼容2.linux的安装两种方式：完整安装/克隆安装（推荐克隆安装）​ 完整安装需要从头开始配置环境、上传文件、安装jdk、配置网络、挂载集群等​ 克隆只需要修改IP地址、修改主机名、修改eth0虚拟网卡信息​ 本流程主要以重新完整安装系统为主梳理。

原创 Clickhouse的安装(二)

1 )启动zookeeper2 )在每台机器的/etc下编写配置文件/etc/metrika.xml<yandex><clickhouse_remote_servers> <inter> <shard> <internal_replication>true</internal_replication> <replica> ..

原创 Clickhouse的安装(一)

单节点安装1)安装curl工具yum install -y curl2)添加clickhouse的yum镜像curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash3)检查镜像情况[root@doit04 yum.repos.d]# yum list | grep clickhouse c

原创 clickhouse中文文档

https://clickhouse.yandex/docs/zh/introduction/distinctive_features/

原创 巧读 反射的秘密

反射反射概述JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。获取Class对象如何找到对应的Class<?>模型对象 一共有三种方法1.通过类名2.通过对象名3.通过全路径public static void main(String[] args) throws Exception { //1. 对象名.get

原创 网络编程的基础知识总结

网络编程概念:​ 计算机网络是通过传输介质、通信设施和网络通信协议，把分散在不同地点的计算机设备互连起来，实现资源共享和数据传输的系统。网络编程就就是编写程序使联网的两个(或多个)设备(例如计算机)之间进行数据传输。Java语言对网络编程提供了良好的支持，通过其提供的接口我们可以很方便地进行网络编程网络模型OSI世界上第一个网络体系结构由IBM公司提出（1974年，SNA），以后其他公司也相继提出自己的网络体系结构如：Digital公司的DNA，美国国防部的TCP/IP等，多种

原创 多线程 小述

多线程多线程概述是指从软件或者硬件上实现多个线程并发执行的技术。具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个线程，进而提升整体处理性能。具有这种能力的系统包括对称多处理机、多核心处理器以及芯片级多处理或同时多线程处理器。在一个程序中，这些独立运行的程序片段叫作“线程”（Thread），利用它编程的概念就叫作“多线程处理”。线程和进程进程:(Process) :一个程序的运行,程序在内存中分配的那片空间线程:(Thread) : 进程中的一个执行单元,执行路径进程: 至少有一个线

原创 IO流总结! ! !

IO流1.异常1.1异常的分类Throwable:​ Error(程序出现的错误,不能使用程序处理,一般无需程序员关注)​ Exception:​ 编译时异常:不处理会报错,必须处理(无法预估的用户操作)​ 运行时异常: 处不处理都一可以,一般是代码写的有问题,自己找问题并修改​异常一定会发生么? 不一定处理异常的目的: 让代码能够继续运行下去JVM默认处理方式: 终止程序,打

原创 集合大总结

集合集合类出现的原因？面向对象语言对事物的体现都是以对象的形式，所以为了方便对多个对象的操作，Java就提供了集合类。数组和集合类有何不同？数组虽然也可以存储对象，但长度是固定的；集合长度是可变的。数组中可以存储基本数据类型，集合只能存储对象。集合类的特点集合只用于存储对象，集合长度是可变的，集合可以存储不同类型的对象。1.Collection概述：Collection 层次结构中的根接口。Collection 表示一组对象，这些对象也称为 collection 的元素。一些 collec

原创 Linux中 JAVA_HOME的安装配置

JAVA_HOME的安装配置步骤:​ 1.利用上传文件将装包打包上传​ 2.解压到linux系统中​ 3.配置环境变量安装上传软件首先需要安装一个上传的软件安装 filezilia软件 傻瓜式安装上传到linux中的指定文件夹中解压利用打包解压的命令 在指定文件夹下将安装包解压配置vi /etc/profileG 跳转到最后一行o 在文件的最后插入数据 保存退出source /etc/profile配置成功...

原创 API.常用类大总结

常用类1. Object1.1 构造方法public Object();1.2 成员方法public int hashCode() 返回对象的hashCode值(默认地址值经过运算得到的一个int值)public final Class getClass() 获得Class对象,该对象中包含所有类的信息public String toString(): 对象的字符串形式(默认是全类名+地址值),可重写public boolean equals(Object

原创 简述--抽象--接口--带包编译

抽象用abstract 修饰的类:​ 抽象方法格式:​ abstract 修饰符 返回值类型 方法名(参数列表);​ 抽象类的定义格式:​ abstract class 类名{}注意事项:​ 1. 抽象类中可以没有抽象方法,有抽向方法的类一定是抽象类​ 2. 抽象类不能创建对象,需要使用子类向上转型​ 3. 抽象的子类要么实现抽象类中所有的抽象方法,要么自己是一个抽象类​ 4. 抽象类

原创 面向对象???老王只能帮你到这儿了！！！

原创 数组的概括

原创 流程控制语句（下篇）

流程控制语句（下篇）循环控制语句for循环格式：for（初始化语句；判断条件语句；条件控制语句）{​ 循环体语句体；}执行流程：​ A：执行初始化语句​ B:执行判断条件语句，看其结果是true还是false​ 如果是false，循环结束。​ 如果是true，继续执行。​ C:执行循环体语句​ D:执行控制条件语句​ E:回到B继注意事项：判断条