大数据平台技术--hadoop
文章平均质量分 80
梦忆故城
顺境,逆境,切莫止境;得意,失意,切莫大意。
展开
-
大数据常见面试题整理
今年参加了校园秋招,主要针对招聘大数据研发相关岗位,最后也如愿以偿找到了大数据软件开发的工作,在此期间整理了一下比较常见的相关面试题。1.Mapreduce实际处理过程:Input Map SortCombinePartitionReduceOutput2.列出Yarn中的关键组件,并简述各关键组件内部的交互原理。 Yarn资源管理框架包括ResourceManag...原创 2018-11-29 22:44:45 · 1074 阅读 · 0 评论 -
Hadoop集群相关命令类别
一般操作Hadoop集群都是使用相关的Hadoop命令,比如文件上传、下载,文件夹新建、删除、拷贝等。大多数Hadoop集群的相关命令类别如下表所示。 种类 命令 解释 示例 ...原创 2019-08-07 22:21:39 · 140 阅读 · 0 评论 -
Hadoop2.x HDFS HA架构部署配置
一、HA简介 在Hadoop2.x之前,HDFS集群中只有一个NameNode,若NameNode出现了故障,则整个集群将无法使用,直到NameNode重新启动。 Hadoop2.x开始支持HA和Federation。HDFS HA功能通过配置Active/Standby两个NameNode实现集群中对NameNode的热备。如果Active出现故障,则Standby可快速替代...原创 2019-03-25 17:35:59 · 394 阅读 · 0 评论 -
Hadoop伪分布式NameNode启动失败:storage directory does not exist
在启动hadoop的HDFS时显示NameNode启动失败。 首先,查看日志文件,找到报错信息: 报错分析:伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(可参考官方教程),但是如果不设置hadoop.tmp.dir参数的话,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系...原创 2019-03-19 16:55:37 · 2883 阅读 · 0 评论 -
MapReduce实例之WordCount代码详细分析
一、问题描述用MapReduce统计每个单词在整个数据集中出现的总次数(WordCount)。二、MapRedeuce对Wordcount的处理过程如下:1.将文件拆分成splits,由于测试用的文件较小,所以每个文件为一个split,并将文件按行分割形成<key,value>对,下图所示。这一步由MapReduce框架自动完成,其中偏移量(即key值)包括了回车所占的字符...原创 2019-02-09 16:11:40 · 576 阅读 · 0 评论 -
HDFS的java API的操作(获取系统文件对象、读取文件内容、上传文件)
利用HDFS的JAVA API进行使用,完成获取系统文件对象、读取文件内容、上传文件三部分内容。准备工作:1.首先启动HDFS$HADOOP_HOME/sbin/start-dfs.sh2.关防火墙切换到root用户,执行service iptables stop(service firewalld stop)3.进入eclipse后,首先在src/main创建resour...原创 2019-01-16 16:32:01 · 1521 阅读 · 0 评论 -
ssh无密码登录原理和配置方法
一、ssh无密码登录原理使用密码登录时,每一次都必须输入密码,十分麻烦。SSH提供了公钥登录,可以省去输入密码的步骤。公钥登录就是用户将自己的公钥存储在远程主机上。登录的时候,远程主机会向用户发送一段随机字符串,用户用自己的私钥加密之后,再发送回来。远程主机用实现存储的公钥进行解密,如果成功,就证明用户是可信的,直接允许登录shell,不在要求输入密码。二、ssh无密码登录配置方法...原创 2019-01-14 14:45:20 · 4569 阅读 · 0 评论 -
hadoop2.x安装部署和基本配置(伪分布式模式)
环境:Centos7准备工作: 请先行安装jdk,https://www.cnblogs.com/Dylansuns/p/6974272.html。 下载hadoop2.5.0版本:链接:https://pan.baidu.com/s/1QNHjtrXUqoImC6rxWxuxWg ,提取码:ujm4 。具体步骤如下:1.将下载hadoop2.5.0解压到指定文件夹...原创 2019-01-12 17:07:09 · 232 阅读 · 0 评论 -
hadoop2.x安装部署和基本配置(本地模式)
环境:Centos7准备工作: 请先行安装jdk,https://www.cnblogs.com/Dylansuns/p/6974272.html。 下载hadoop2.5.0版本:链接:https://pan.baidu.com/s/1QNHjtrXUqoImC6rxWxuxWg ,提取码:ujm4 。具体步骤如下:1.将下载hadoop2.5.0解压到指定文件夹...原创 2019-01-11 19:57:00 · 231 阅读 · 0 评论 -
HDFS常用命令hdfs dfs
1.hdfs dfs、hadoop fs、hadoop dfs三个命令的区别 在介绍命令之前,首先要知道hdfs dfs、hadoop fs、hadoop dfs三个命令的区别。 hadoop fs:通用的文件系统命令,针对任何系统,比如本地文件、HDFS文件、HFTP文件、S3文件系统等。 hadoop dfs:特定针对HDFS的文件系统的相关操作,但是...原创 2019-08-08 16:33:40 · 6491 阅读 · 0 评论