- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅
1原创 搭建高可用集群
搭建高可用集群namenode1namenode2datanodezookeeperZKFCjournalNodeBaseNodeYYYYYzknode1YYYYYzknode2YYY1. 准备安装环境上传hadoop，解压到/opt目录2.vim /opt/hadoop-3.1.2/etc/hadoop/hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_13
2021-12-13 20:16:42
2109
原创 HA联邦机制
为什么需要联邦机制？单NameNode的架构使得HDFS存在单点故障、内存受限，制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等文艺，为了解决这些问题，除了用基于共享存储的HA解决方案我们还可以用HDFS的Federation机制来解决这个问题什么是联邦机制联邦机制是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece (NameNode节点管理，两个为一对)以提高集群的拓展性和隔离性。联邦HDFS允许每个NameNode管理一部分
2021-11-22 18:47:23
3041
原创 HA的脑裂
脑裂定义脑裂是Hadoop2.X版本后出现的全新问题，在Hadoop中，为了防止单点失效问题而出现了两个namenode（HA机制），这两个namenode正常情况下是起到一个失效，另一个代替的作用，但在实际运行过程中很有可能出现两个namenode同时服务于整个集群的情况，这种情况称之为脑裂原因脑裂通常发生在主从namenode切换时，由于ActiveNameNode的网络延迟、设备故障等问题，另一个NameNode会认为活跃的NameNode成为失效状态，此时StandbyNameNode
2021-11-22 18:46:51
2410
原创 NN,DN,机架感知，HDFS读写流程
NameNode可以说是HDFS中的一个进程NameNode的功能负责客户端请求（读写数据 请求 ）的响应NameNode存放文件与Block的映射关系DataNode存放Block和DataNode的映射关系保存文件的元数据信息文件的归属文件的权限文件的大小和时间Block信息（也就是上图中的file的信息，Bolck的大小、多少、位置等等信息，不会持久化)。Block的位置信息不会被存放到硬盘，每次开启集群的时候需要DataNode来上传数据给NameNod
2021-11-08 13:17:38
1529
原创 使用hadoop命令查询HDFS文件时，NO Such file or directory
问题描述：使用hadoop命令查询HDFS文件时，NO Such file or directory解决办法:这里ll的，其实是linux本地的文件。所有需要：hadoop fs -put 本地文件 /上传目录然后再:hadoop fs -cat /文件可以，问题解决。...
2021-11-06 16:43:05
4572
原创 编写脚本启动Zookeeper和HDFS
Hadoop 3.1.2文件数据类型文件有一个stat文件元数据信息–>表述文件的属性文件有一个vim命令查看文件的数据信息分类元数据File 文件名Size 文件大小（字节）Blocks 文件使用的数据块总数IO Block 数据块的大小regular file 文件类型（常规文件）Device 设备编号Inod 文件所在的InodeLiniks 硬链接次数Access 权限Uid 属主id/用户Gi
2021-11-05 21:39:07
1148
原创 HDFS完全分布式搭建
1. 启动zookeeper没有问题2. 上传hadoop安装包解压，如图。3. 节点功能分配NameNode1NameNode2DataNodeZookeeperZKFCJournalNodeNode1是是是是是Node2是是是是是Node3是是是4. 准备安装环境```shell[root@BaseNode opt]# lsapache-tomcat-18080 hadoop-3.1.2 zook
2021-11-04 17:25:12
182
原创 分布式文件系统架构
分布式文件系统架构FS (File System)文件系统是基于硬盘上的一个文件管理的工具我们用户操作文件系统可以和硬盘解耦DFS (Distributed File System)分布式文件系统将数据存放到多台电脑上存储分布式文件系统有很多HDFS(Hadoop Distributed File System)是Map Reduce计算的基础文件切分思想文件存放在一个磁盘上效率低读取效率低如果文件特别大会超出单台机器的存储范围字节数组文件在磁盘真实存储
2021-11-02 20:07:37
2504
原创 Zookeeper安装入门
1. 下载Zookeeper下载zookeeper3.4.6,上传，解压到/opt2. Zookeeper配置安装1.进入zookeeper/conf,cp zoo_sample.cfg zoo.cfg，修改zoo.cfg[root@BaseNode conf]# vim zoo.cfg # The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchr
2021-11-01 20:19:56
534
原创 CAP原则和数据一致性
文章目录CAP定义取舍策略推导结论数据一致性引用CAP定义CAP理论作为分布式系统的基础理论,它描述的是一个分布式系统有在以下三个特性[1]：一致性（Consistency）可用性（Availability）分区容错性（Partition tolerance）（Particion tolerance）三者最多同时只能实现两点，无法三者兼顾这三个特性最多只能同时实现两点，不可能三者兼顾，即出现 CA、CP、AP 三种情况。一致性（C）即更新操作成功后，所有节点在同一时间的数据完全一
2021-10-29 20:07:50
229
原创 磁盘阵列基础知识
介绍顾名思义 zookeeper 就是动物园管理员，他是用来管 hadoop（大象）、Hive(蜜蜂)、pig(小 猪)的管理员， Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper；Zookeeper: 是一个分布式的、开源的程序协调服务，是 hadoop 项目下的一个子项目。他提供的主要功 能包括：配置管理、名字服务、分布式锁、集群管理。磁盘阵列Raid简介RAID （ Redundant Array of Independent Disks
2021-10-29 17:10:53
386
原创 在一台linux主机上部署两台Tomcat
文章目录1.基本原理2.开始配置1.准备多台Tomcat2.设置CATALINA_BASE和CATALINA_HOME 变量3.设置每一台服务器的三个端口4.修改Catalina.sh脚本5. 运行检查6.测试1.基本原理(https://blog.csdn.net/shmily_lsl/article/details/80718508)tomcat启动可以通过两个脚本分别进行启动 :./startup.sh 或者 catalina.sh run 形式执行启动.其实startup.sh的启动也
2021-10-26 10:32:35
656
原创 nginx安装测试
文章目录1.NGINX安装配置nginx环境变量nginx中文版配置文件1.nginx负载均衡nginx.conf配置文件修改tomcat配置信息修改测试结果：3. 负载策略请求轮询增加权重最少连接（least_conn）IP分配资源静态化图床配置静态资源结果：成功访问到储存在base主机里的图片。PS:配置参数和匹配规则1.NGINX安装解压文件[root@node1 ~]# lsnginx-1.20.1.tar.gz[root@node1 ~]# tar -xvf nginx-1.20.1
2021-10-25 20:53:10
2017
原创 管道符、重定向
文章目录管道管道符grep重定向PS命令top命令后台进程管道管道实际上就是进程之间的一个通信工具，那么用在Linux命令中主要是方便两条命令互相之间可以相互通信。管道符管道符（pipe）用“|”这个界定符号表示，如果需要对linux命令的输出结果进行再次处理，就可以使用管道符+管道命令解决。作用主要是把两个应用程序连接在一起，然后把第一个应用程序的输出，作为第二个应用程序的输入。1、管道命令只处理前一个命令正确输出，不处理错误输出。2、管道命令右边命令，必须能够接收标准输入流命令才行
2021-10-22 11:04:37
449
原创 linux用户创建和操作
增加用户useradd username可用来建立用户帐号。帐号建好之后，再用 passwd 设定帐号的密码。可用 userdel 删除帐号。使用 useradd 指令所建立的帐号，实际上是保存在 /etc/passwd 文本文件中。可使用cat /etc/passwd查看用户名，编号，组编号，家目录，命令码，目录2.设置密码passwd username3.更改用户名usermod -l newUserName username4.查看用户名和密码cat /etc/shadow.
2021-10-21 20:34:21
162
原创 linux文件操作
命令作用type命令用来显示指定命令的类型，判断给出的指令是内部指令还是外部指令helphelp命令只能显示shell内部命令的帮助信息，而linux系统中绝大多数命令是外部命令，所以help命令的作用非常有限。而对于外部命令的帮助信息可以使man命令或者info命令查看llll命令可以列出当前文件或目录的详细信息，含有时间、读写权限、大小、时间等信息 ，像Windows显示的详细信息whereiswhereis命令用来定位命令的二进制程序、源代码文件和man手...
2021-10-21 10:09:20
102
原创 力扣预备-二分查找
文章目录1.什么是二分查找？2.例题2.1 力扣2.2 力扣352.3 力扣1621.什么是二分查找？以升序数列为例，比较一个元素与数列中的中间位置的元素的大小，如果比中间位置的元素大，则继续在后半部分的数列中进行二分查找；如果比中间位置的元素小，则在数列的前半部分进行比较；如果相等，则找到了元素的位置。每次比较的数列长度都会是之前数列的一半，直到找到相等元素的位置或者最终没有找到要找的元素。2.例题2.1 力扣给定一个 n 个元素有序的（升序）整型数组 nums 和一个目标值 target
2021-10-13 12:35:40
95
原创 力扣预备系列day1-双指针
力扣入门第一章-双指针算法顾名思义，就是使用两个指针解决一道题，算是个解题技巧。案例：注意这里是有序数组的案例！ 给定一个有序的整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的两个整数，并返回它们的数组下标。例子：输入：nums = [2,7,11,15], target = 9输出：[0,1]解释：因为 nums[0] + nums[1] == 9 ，返回 [0, 1] 。1.普通双指针两个指针往同一个方向移动，也不能说绝对
2021-10-11 22:12:15
102
原创 HTML笔记
文章目录什么是HTML？基本标签图像标签链接标签块元素行内元素列表有序列表无序列表自定义列表表格音频和视频元素页面结构分析iframe内联框架表单什么是HTML？HTML：Hyper Text Markup Language超文本标记语言基本标签标签作用h标题标签p段落标签< br/>换行标签hr水平线标签strong粗体字标签em斜体字标签 空格……图像标签<!DOCTYP
2021-09-01 19:59:25
85
原创 2021-08-11注解反射
什么是注解？从JDK5开始,Java增加对元数据的支持，也就是注解，注解与注释是有一定区别的，可以把注解理解为代码里的特殊标记，这些标记可以在编译，类加载，运行时被读取，并执行相应的处理。通过注解开发人员可以在不改变原有代码和逻辑的情况下在源代码中嵌入补充信息。内置注解在java中有5个内置注解，如下所示：基本注解注解名作用@Override定义在java.lang.Override中，覆盖父类方法。@Deprecated定义在java.lang.Deprec
2021-08-31 13:21:51
97
time_series_dataset (1).zip
2021-10-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人