2020年01月_iceburg-blogs

11月 09月 08月 07月 06月 05月 04月 02月 01月

原创深入理解Java中间件Zookeeper

文章目录Zookeeper简介Zookeeper的设计思想Zookeeper的特点Zookeeper中的数据结构Zookeeper的应用场景统一命名服务统一配置管理统一集群管理服务器节点动态上下线软负载均衡Zookeeper简介ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务框架，是Google的Chubby一个开源的实现、Hadoop和Hbase的重要组件。ZooKeepe...

2020-01-26 15:43:00 1302

原创 Hadoop组件之Yarn

文章目录Yarn简介Yarn架构Yarn工作流程分析Yarn简介Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。Yarn架构Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，下图是Yarn的架...

2020-01-25 18:28:05 995

原创 MapReduce计算框架知识总结（一）

文章目录一.MapReduce简介1.1 MapReduce的三类进程二.MapReduce特点2.1 高容错性2.2 适用场景比较小三.MapReduce工作原理3.1 MapReduce编程规范MapperReducerDriver3.2 MapReduce程序示例四.MapReduce中的序列化4.1 Hadoop序列化特点：一.MapReduce简介MapReduce是一个分布式运算程...

2020-01-24 16:07:26 3867

原创 HDFS分布式文件系统知识总结

文章目录一.分布式文件系统HDFS二.HDFS的特点及适用场景2.1 HDFS的高容错性2.2 HDFS的适用场景三.HDFS架构3.1 HDFS集群中的主要角色3.2 NameNode和Secondary Namenode的工作原理FsImage和EditsNameNode和Secondary Namenode的工作流程NameNode和Secondary Namenode功能详解3.3 Dat...

2020-01-22 15:46:25 1895

原创使用虚拟机搭建ClouderaManager平台，并自动部署一个hadoop集群（CDH）

本文将从最基础的环境配置开始，介绍如何在Linux虚拟机中搭建一个CM集群，并使用CDH自动部署一个Hadoop集群。文章目录一.CM及CDH介绍CMCDH二.准备工作2.1 硬件资源分配2.2 下载需要的各种安装包1.基础工具JDK和MySQL2.CM安装包3.CDH离线库2.3 安装JDK2.4 设置免密登录2.5 关闭SELINUX2.6 安装MySQL并创建CDH需要的数据库安装MySQ...

2020-01-19 09:55:22 1912 4

原创 Linux虚拟机扩容

文章目录第一步：关闭虚拟机，在设置里添加存储空间第二步：将新增的硬盘空间设置分区并格式化查看已有分区创建新分区格式化新分区第三步：将分区挂载到某一个目录下第一步：关闭虚拟机，在设置里添加存储空间我用的是vmvare，虚拟机关闭后，点击设置，在硬盘选项中选择扩展。设置磁盘大小，注意这里是填写扩容后的磁盘的大小，而不是要扩展多少。我现有的硬盘大小为20G，需要增加60G的容量，在下面的输入框中输入...

2020-01-17 17:13:51 1366

原创 Linux中阶知识总结

文章目录Linux目录结构“一切皆文件”思想目录结构及各文件目录的详情vi编辑器vi编辑器的三种模式及其转换一般模式编辑模式指令模式Linux运行级别runlevelLinux分区Linux默认的三个分区：boot分区swap分区根分区Linux目录结构“一切皆文件”思想Linux 中所有内容都是以文件的形式保存和管理的，即一切皆文件，普通文件是文件，目录（Windows 下称为文件夹）是文...

2020-01-17 12:07:04 387

原创简便方法搭建Harbor镜像仓库

HarborHarbor是一款功能非常强大的私有镜像仓库，有完善的UI界面和用户权限管理机制。但是安装比较麻烦，我试过几个版本都失败了。版本比较新的Harbor都选择使用HTTPS协议来传输镜像，需要非常多麻烦的步骤来配置HTTPS需要的CA证书等。所以我找了一个版本比较低的Harbor1.8版本，使用HTTP协议来上传下载镜像，搭建过程要简单许多。我的方法是直接使用已经配置好的Harbor安...

2020-01-08 17:26:02 358

原创使用ubuntu18搭建nfs分布式文件系统

NFS分布式文件系统NFS就是Network File System的缩写，是一个分布式文件系统。在一个PC中使用NFS工具搭建一个NFS服务器，然后其他PC安装NFS客户端工具，将网络中的NFS服务器共享的网络磁盘挂载到本地端的文件系统中。在NFS客户端就可以像操作自己本地的磁盘一样，操作这个共享的网络磁盘，在使用上相当便利。这个共享的网络磁盘中的所有文件都是存储在NFS服务器端，NFS客户...

2020-01-06 16:53:31 1166

转载 Kubernetes持久化方案（PV、PVC、StorageClass）

本文转载自：PV、PVC、StorageClass讲解文章目录Kubernetes中的持久化PVPVC在pod中使用PVCKubernetes实现持久化存储的方式持久化存储宿主机挂载远程目录文件存储设备块存储设备小结StorageClass本地持久化存储Kubernetes中的持久化持久化是为了方便开发人员更加容易的使用存储才出现的概念。通常我们在一个POD中定义使用存储是这样的方式，我们以...

2020-01-05 14:38:25 1202