Linux与Shell编程
入门和常用命令
梦如汐
代码改变世界
展开
-
大数据入门-----zookeeper
Shell 编程一般指编写 shell 脚本。1:基本语法:使用 vi 编辑器新建一个文件 hello.sh 1 2 #!/bin/bash echo"Hello World !" 执行方式:方式1:sh hello.sh方式2chmod +x ./hello.sh #使脚本具有执行权限./hell...原创 2019-09-10 15:05:26 · 72 阅读 · 0 评论 -
MapReduce运行过程
MapReduce是运行在yarn集群上的 主要分resourcemanger和nodemanger两类一个完整的MapReduce程序分为三个部分MRAppMaster 负责整个程序的过程调度及状态协调MapTesk 负责map阶段的整个数据处理流程ReduceTesk 负责reduce阶段的整个数据处理流程MapReduc...原创 2019-10-10 14:14:41 · 161 阅读 · 0 评论 -
大数据之--------hadoop(简介)
简介:Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,它可以使用户在不了解分布式底层细节的情況下开发分布式程序,充分利用集群的威力进行高速运算和存储。从其定义就可以发现,它解決了两大问题:大数据存储、大数据分析。也就是 Hadoop 的两大核心:HDFS 和 MapReduce。(1)HDFS(Hadoop Distributed File System)是可扩展、容...原创 2019-09-21 20:49:02 · 145 阅读 · 0 评论 -
大数据 ------hadoop(HDFS文件写的过程)
1. Client 发起文件上传请求, 通过 RPC 与 NameNode 建立通讯, NameNode 检查目标文件是否已存在, 父目录是否存在, 返回是否可以上传2. Client 请求第一个 block 该传输到哪些 DataNode 服务器上3. NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配, 返回可用的DataNode 的地址如: A, B,...原创 2019-09-26 21:55:10 · 402 阅读 · 0 评论 -
大数据之--------hadoop存储(HDFS)
Hadoop 的存储系统是 HDFS(Hadoop Distributed File System)分布式文件系统,对外部客户端而言,HDFS 就像一个传统的分级文件系统,可以进行创建、删除、移动或重命名文件或文件夹等操作,与 Linux 文件系统类似。Client客户端文件切片,文件上传的时候,Client对上传的文件进行切片成一个一个block,然后进行存储与namenode交互,获取文...原创 2019-09-21 20:49:55 · 255 阅读 · 0 评论