hadoop
文章平均质量分 95
mmd0308
这个作者很懒,什么都没留下…
展开
-
Hadoop-2.8.0安装教程---单机/伪分布式配置
1、安装环境: 硬件:VMware虚拟机操作系统:Centos 7 64位IP:192.168.1.134主机名:bogon安装用户:hzqJava环境:jdk-8u131-linux-x64.tar.gz(具体安装步骤见:《Linux安装JDK步骤》) 2、配置免密码登录见:《Linux之ssh免密登录》 3、安装hadoop-2.8.0 ①、下载hadoop-原创 2017-06-28 16:07:22 · 1808 阅读 · 1 评论 -
Hadoop之HDFS分布式文件系统读写流程详解
1、名词解释: NameNode: ①、整个文件系统的管理节点。维护着整个文件系统的文件目录,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。 ②、文件包括: fsimage:元数据镜像文件。存储某一段NameNode内存元数据信息。原创 2017-07-12 08:33:35 · 3351 阅读 · 2 评论 -
Hadoop之常用shell命令整理
Hadoop之常用shell命令整理: 查看根目录: hadoop fs -ls hdfs://hzq:9000/ 或 hadoop fs -ls / 查看/demo下的目录结构: hadoop fs -ls /demo 将“/home/hzq/jdk1.8.tar.gz”上传到hdfs“/java”目录下: hadoop fs -copyFr原创 2017-07-02 19:59:41 · 1603 阅读 · 1 评论 -
JAVA操作HDFS案例
将本地文件上传到hdfs服务器: /** * 上传文件到hdfs上 */ @Test public void upload() throws IOException { Configuration conf = new Configuration(); conf.set("fs.defaultFS","hdfs://hz原创 2017-07-03 22:01:04 · 11087 阅读 · 0 评论 -
Hadoop-2.8.0安装教程---分布式配置
1、安装前准备 ①、准备三台主机配置如下: 主机IP 主机名 用户 192.168.31.128 centos71原创 2017-07-14 11:17:35 · 4831 阅读 · 1 评论 -
Hadoop之HDFS分布式文件系统NameNode及Secondary NameNode详解
一、NameNode启动时如何维护元数据: 概念介绍: Edits文件:NameNode在本地操作系统的文件都会保存在Edits日志文件中。也就是说当文件系统中的任何元数据产生操作时,都会记录在Edits日志文件中。eg:在HDFS上创建一个文件,NameNode就会在Edits中插入一条记录。同样如果修改或者删除等操作,也会在Edits日志文件中新增一条数据。原创 2017-07-07 14:05:59 · 2225 阅读 · 0 评论 -
Hadoop-2.8.0之分布式集群(HA架构)搭建
1、安装前准备 ①、集群规划: 主机名称 用户 主机IP 安装软件 运行进程 centos71 hzq 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) centos72原创 2017-07-19 08:33:36 · 4015 阅读 · 7 评论