Hadoop
Hadoop
Wuyikkk
这个作者很懒,什么都没留下…
展开
-
浅谈HDFS
一、块概念 1. 概念 HDFS的本质是一个文件系统,特点是分布式,需要在多台机器启动多个NN,DN进程组成一个分布式系统 HDFS不支持对一个文件的并发写入,也不支持对文件的随机修改,不适合存储小文件(存储小文件时会降低NN的服务能力) 2. HDFS的块大小 块大小可以通过hdfs-site.xml中的dfs.blocksize进行配置, 如果不配置,那么在hadoop1.x时,dfs.blocksize=64M,在hadoop2.xdfs.blocksize=128M 默认值为12原创 2020-05-31 21:02:44 · 301 阅读 · 0 评论 -
HDFS的读写流程
一、块概念 1. 概念 HDFS的本质是一个文件系统,特点是分布式,需要在多台机器启动多个NN,DN进程组成一个分布式系统 HDFS不支持对一个文件的并发写入,也不支持对文件的随机修改,不适合存储小文件(存储小文件时会降低NN的服务能力) 2. HDFS的块大小 块大小可以通过hdfs-site.xml中的dfs.blocksize进行配置, 如果不配置,那么在hadoop1.x时,dfs.blocksize=64M,在hadoop2.xdfs.blocksize=128M 默认值为12原创 2020-05-30 22:50:00 · 156 阅读 · 0 评论 -
使用Java客户端操作HDFS
1. 参数说明 FileSystem: 文件系统的抽象基类 ① FileSystem的实现取决于fs.defaultFS的配置 ② 有两种实现: LocalFileSystem: 本地文件系统 fs.defaultFS=file:/// DistributedFileSystem: 分布式文件系统 fs.defaultFS=hdfs://xxx:9000 ③ 声明用户身份: FileSystem fs = FileSystem.get(new URI(“hdfs://hadoop101:9000原创 2020-05-28 23:07:49 · 286 阅读 · 0 评论 -
完全分布式集群的搭建
一、节点规划 Hadoop中的进程需要在多台机器运行,并且 HDFS需要1个NN+N个DN(+n个2nn) YARN需要1个RM+N个NM 为了避免单点故障,NN和RM建议分散到多台机器。(分配时注意负载均衡) 以如下规划为例: hadoop101 hadoop102 hadoop103 DN DN DN NM NM NM NN RM 2NN 二、准备工作 克隆三台虚拟机 a)配置每台机器的ip地址、网卡等 b)在每台机器的/etc/hosts中配置集群所有机器的ip和主机原创 2020-05-28 22:33:42 · 288 阅读 · 0 评论 -
HDFS和MapReduce的安装和启动
一、 HDFS HDFS(hadoop distributed filesystem),他的功能是用来完成大数据的存储。 HDFS的运行模式有两种:本地模式和分布式模式,其取决于参数: fs.defaultFS=file:///(默认) fs.defaultFS在core-default.xml中 本地模式 在本机上使用HDFS,使用的就是本机的文件系统 修改参数:fs.defaultFS=file:/// 分布式模式 要使用的文件系统是一个分布式的文件系统。一个分布式的文件系统,必须由NN,DN等若干原创 2020-05-26 12:22:03 · 514 阅读 · 0 评论 -
Hadoop的安装
一、安装Hadoop Hadoop运行的前提是本机已经安装了JDK,配置JAVA_HOME变量 在Hadoop中启动多种不同类型的进程 例如NN,DN,RM,NM,这些进程需要进行通信。 在通信时,常用主机名进行通信。 需要在集群的每台机器上,配置集群中所有机器的host映射。 配置: Linux: /etc/hosts Windows: C:\Windows\System32\drivers\etc\hosts 不配报错: DNS映射异常,HOST映射异常 注意权限 hadoop框架在原创 2020-05-26 12:00:23 · 283 阅读 · 0 评论 -
大数据常用框架简介
一、Hadoop 1.Hadoop Hadoop的初衷是采用大量的廉价机器,组成一个集群!完成大数据的存储和计算! 2.hadoop中的组件 hadoop 1.x HDFS: 负责大数据的存储 Common: HDFS和MR共有的常用的工具包模块 MapReduce: 负责计算,负责计算资源的申请的调度 完成大数据的计算 ①写程序,程序需要复合计算框架的要求。 java---->main----->运行 MapReduce(编程模型)----->Map–Reducer ②运行程序,申请计原创 2020-05-25 23:01:46 · 1760 阅读 · 0 评论