大数据
文章平均质量分 64
呼卓宇
人生就得不停的学习
展开
-
傻瓜教程之docker搭建hadoop伪分布式
目录安装hadoop镜像安装hadoop镜像在docker中查找hadoop 镜像docker search hadoop我们选择star数量最多的镜像拉取docker pull docker.io/sequenceiq/hadoop-docker查看镜像docker images创建master节点docker run --name hadoop1 -d -h master docker.io/sequenceiq/hadoop-docker参数说明:--na原创 2021-01-26 17:35:44 · 2358 阅读 · 3 评论 -
【好文转载】比我写的还牛批的HDFS读写操作流程
文件读取流程客户端首先要调用FileSystem对象的静态方法open()方法来打开一个希望读取文件的路径,在HDFS中文件的对象为Path对象(与Java中的File相对应)。FileSystem对象就是一个DistributedFileSystem对象,通过利用RPC来调用NameNode节点,(NameNode节点存储着整个文件系统目录、文件以及文件所在块的位置信息),来确定我们需要打开的文件所有数据块的存储位置。文件在被存入HDFS中,会被划分为多个数据块存储的,对于每一个数据块,na转载 2021-01-15 15:52:15 · 172 阅读 · 0 评论 -
HDFS读写文件流程
目录基础概念blockpacketchunkHDFS读写文件流程读文件流程写文件流程基础概念block文件上传前需要分块(block),一般为128MB。块太小:寻址时间占比过高。块太大:Map任务数太少,作业执行速度变慢。packetpacket是client端向DataNode,或DataNode的PipLine之间传数据的基本单位,默认64KB。chunkchunk是client向DataNode,或DataNode的PipLine之间进行数据校验的基本单位,默认512Byte,原创 2021-01-15 15:28:35 · 322 阅读 · 0 评论 -
Hadoop各类版本源码以及安装包下载地址
Hadoop各类版本源码以及安装包下载地址包含以下版本【下载链接在文末】【下载地址点击此处】原创 2021-01-15 14:44:37 · 2804 阅读 · 0 评论 -
hadoop没有slaves配置文件
hadoop没有slaves配置文件:hadoop3.0以后slaves更名为workers原创 2021-01-15 09:46:10 · 1433 阅读 · 1 评论 -
DistCp可行性分析
目录官方文档概述基本使用方法更新和覆盖问题官方文档概述DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法,这个工具在语义和执行上都会有特殊的地方。基本使用方法DistCp最常用在集群之间的拷贝:bash$ hadoop distcp hdfs://nn1:8020/foo/bar \转载 2021-01-13 10:32:55 · 423 阅读 · 0 评论 -
Nginx简述以及配置
NginxNginx的产生没有听过Nginx?那么一定听过它的"同行"Apache吧!Nginx同Apache一样都是一种WEB服务器。基于REST架构风格,以URI或者URL作为沟通依据,通过HTTP协议提供各种网络服务。然而,这些服务器在设计之初受到当时环境的局限,例如当时的用户规模,网络带宽,产品特点等局限并且各自的定位和发展都不尽相同。这也使得各个WEB服务器有着各自鲜明的特点。A...原创 2019-03-27 16:59:36 · 219 阅读 · 0 评论 -
Keepalived高可用
高并发lvsLvs负载均衡没有解决的问题:后端没有健康检查机制自身如果出现单点故障没有应急处理方案数据倾斜:后端服务如果臃肿,有计算和io瓶颈,lvs是无能为力的。KeepalivedKeepalived主要目的就是解决lvs的单点故障的问题。Hi的高可用,rserver的健康检查。1、需要用心跳机制探测后端rs是否提供服务(心跳机制:就是每隔一段时间就会访问一下这个服务,如果出现访...原创 2019-03-27 15:01:29 · 217 阅读 · 0 评论 -
lvs高并发机制
高并发lvsLVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。Lvs的思想:比如传统的上网方式,在某片区域,有5个小区,每个小区都会买一个服务器,申请一个网络带宽。但是每个小区的上网的高峰区并不一定一致,有的小区早上是高峰期,有的小区晚上是高峰期,有的小区...原创 2019-03-27 11:44:25 · 878 阅读 · 0 评论