hadoop
maketubu7
这个作者很懒,什么都没留下…
展开
-
hadoop 面试题收集及个人答案整理
1、简要描述如何安装配置一个apache开源版hadoop,描述即可,列出步骤更好 --解压hadoop包,到指定安装文件夹 --配置linux基本网络环境、jdk环境、防火墙环境 --修改主机名,方便后面UI的访问 --修改hadoop/etc/hadoop/conf下的配置文件,根据部署的模式和需要进行配置 --格式化nam...原创 2018-06-27 15:46:04 · 34106 阅读 · 4 评论 -
hadoop_day2-本地hadoop_mapreduce开发wordcount实例,及完全分布式集群搭建
一、MapReduce的wordcount实例开发1、在开发MapReduce的时候,使用的是myeclipse 2014,以及hadoop2.7.3的版本2、为了方便我们对HDFS的文件的查询,我们先用myeclipse连接上文件系统,这里需要一个插件,hadoop-eclipse-plugin-2.6.0,可能对其他版本不兼容,插件链接如下链接:https://pan.baidu.com/s/...原创 2018-05-11 09:43:43 · 256 阅读 · 0 评论 -
利用hadoop-2.5.0-cdh5.3.6版本,搭建完全分布式HA详细记录(怕忘)
我就按照自己的思路写,可能步骤不一定正确1、在搭建完全 分布式集群时,首先要保证我们的三台机子的时间同步,所以我们需要同步一台时间服务器,我的三台虚拟机分别为如下hostname-->make.hadoop.com 第一台-->make.hadoop2.com 第二台-->make.hadoop3.com 第三台1、首先我们把第一台机器当做我们的...原创 2018-05-16 17:35:36 · 1031 阅读 · 0 评论 -
大数据常用端口
Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 10020:historyserver端口Zo...转载 2018-07-19 14:39:51 · 979 阅读 · 0 评论 -
hadoop集群运维
(一)备份namenode的元数据namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。1、将元数据复制到远程站点(1)以下代码将secondary namenode中的元数据复制到一个时间命名的目录下,然后通过scp命令远程发送到其它机器#!/bin/bashexport dirname=/mnt/tmphadoop/...转载 2018-08-23 10:12:44 · 1379 阅读 · 0 评论 -
hadoop 参数调优及测试
hadoop参数优化#hadoop验证版本为2.6.4,其它版本酌情参考core-site.xml参数名 默认值 说明 hadoop.tmp.dir /tmp/hadoop-${user.name} hadoop中间临时文件最好单独指定目录,比如mr split信息,stag信息 io.file.buffer.size 4096 设置IO操作缓...转载 2018-08-23 11:19:35 · 967 阅读 · 0 评论