Hadoop
高国才
这个作者很懒,什么都没留下…
展开
-
Cannot lock storage /home/gao/hadoop/dfs/name. The directory is already locked
(都是自己在学习和开发中遇到的问题及解决办法,如有不当之处,欢迎指正) 在配置HA集群初始化时报“Cannot lock storage /home/gao/hadoop/dfs/name. The directory is already locked”错误, ...原创 2020-03-10 18:14:25 · 921 阅读 · 0 评论 -
(一)Hadoop基础
1.Hadoop (1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 (2)Hadoop是一个能够对大量数据进行分布式处理的软件框架。 2.Hadoop的优点 (1)可靠,假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。 (2)高效,以并行的方式工作,通过并行处理加快处理速度。 (3)可伸缩,能够处理 PB 级数据。 (...原创 2019-02-18 13:23:00 · 228 阅读 · 0 评论 -
(二)Hadoop安装配置
1.安装jdk (1)下载jdk-8u65-linux-x64.tar.gz (2)解压 tar -xzvf jdk-8u65-linux-x64.tar.gz (3)创建/soft文件夹 sudo mkdir /soft (4)移动jdk到/soft下 mv ~/jdk-1.8.0_65 /soft/ (5)创建符号...原创 2019-02-18 14:11:44 · 204 阅读 · 0 评论 -
(三)Hadoop完全分布式
1.准备工作 (1)克隆三台客户机(加上之前的一共四台客户机)。 (2)修改hostname vi /etc/hostname 四台主机名分别修改为“s200”(主节点),“s201”(从节点),“s202”(从节点),“s203”(从节点) (3)修改ip地址 vi/etc/sysconfig/network-scripts/if...原创 2019-02-26 20:04:52 · 257 阅读 · 0 评论 -
(四)Hadoop分布式文件系统Hdfs
1.hdfs常用操作 hdfs dfs -mkdir /user/gao/ //创建文件 hdfs dfs -ls -r /user/gao //查看(递归) hdfs dfs -lsr /user/gao hdfs dfs -put index.html /user/gao //上传 hdfs dfs -get /user/gao/index.html a.html...原创 2019-03-22 10:32:20 · 205 阅读 · 0 评论 -
(五)Hadoop编程模型MapReduce
1.MapReduce Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词,一是软件框架,二是并行处理,三是可靠且容错,四是大规模集群,五是海量数据集。 2.编写MapReduce (1)编写Map /** ...原创 2019-04-01 17:21:37 · 410 阅读 · 0 评论 -
(六)Hadoop之HDFS高可用HA集群部署
(参考官方文档http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Hardware_resources) 1.背景 在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该...原创 2019-04-15 19:31:20 · 444 阅读 · 0 评论