hadoop
YSF2017_3
这个作者很懒,什么都没留下…
展开
-
hadoop(一)安装hadoop
安装jdk 步骤一:解压jdk压缩包 tar -zxvf jdk-8u112-linux-x64.tar.gz -C app/ 命令解释: tar 打包/解压命令 -z 采用的解压编码,采用gzip压缩格式 -x 解压 -v 打印解压进度 ...翻译 2019-03-30 23:07:41 · 200 阅读 · 0 评论 -
hadoop(二)hdfs和mapreduce测试.txt
验证hdfs是否成功: 访问:http://ip:50070/进入hadoop页面 访问该页面下的Utilities 下的browse the file system 可以访问文件 往hdfs目录中添加文件 hadoop fs -put 文件地址 配置的hdfs协议地址(hdfs-site.xml中):hdfs://hadoop:9000/ 从hdfs目录中下...翻译 2019-03-31 23:44:13 · 312 阅读 · 0 评论 -
hadoop(三)——hadoop常用指令以及hadoop集群秘钥配置
hdfs是通过分布式集群来存储文件,为客户端提供了一个便捷的访问方式,一个虚拟的目录树文件存储到hdfs集群中去的时候是被切分成block的文件的block存放在若干台datanode节点上hdfs文件系统的文件与真实的block之间有映射关系,由namenode管理每一个block在集群中会存储多个副本,可以提高数据的可靠性,可以提高访问的吞吐量hdfs fs 指令帮助 常用...翻译 2019-04-02 20:53:53 · 868 阅读 · 0 评论 -
hadoop(四)——hdfs基本架构
hdfs基本架构: nameNode dataNode secondaryNameNode 运作方式: 第一步:客户端向nameNode请求上传文件 第二步:nameNode向客户端返回分配的dataNode 第三步:客户端将文件分块,写入对应的dataNode 问题:假如存入的文件都很小,会...翻译 2019-04-02 23:35:31 · 170 阅读 · 0 评论 -
hadoop(五)——dataNode工作原理
dateNode的工作原理 作用: 提供真实的文件数据的存储服务 文件块: 最基本的单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0开始偏移, 按照固定的大小,顺序对文件进行划分编号,划分好的每一块称为一个block,hdfs默认的 block大小为128MB,如一个256MB的文件,共有256/1...翻译 2019-04-24 23:11:03 · 328 阅读 · 0 评论