hadoop
cxy1991xm
这个作者很懒,什么都没留下…
展开
-
HDFS删除并清空回收站
删除文件不放入回收站: hdfs dfs -rm -f-skipTrash/xxx清空回收站: hdfs dfs-expunge (执行完之后会打一个checkpoint,并不会立即执行,稍后会执行清空回收站操作)原创 2020-05-27 10:14:21 · 683 阅读 · 0 评论 -
yarn label scheduler
1、在yarn-site.xml中添加以下属性 <property> <name>yarn.node-labels.enabled</name> <value>true</value> </property> <property> <name>y...原创 2020-02-05 13:56:52 · 200 阅读 · 0 评论 -
Hadoop Web UI控制台添加验证
默认情况下,Hadoop HTTP Web控制台(ResourceManager,NameNode,NodeManagers和DataNodes)允许访问而无需任何形式的身份验证。 官网连接:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/HttpAuthentication...原创 2019-10-26 14:31:08 · 2468 阅读 · 1 评论 -
hadoop NameNode和SecondaryNameNode
一、NameNodeNamenode 是 HDFS 的元数据服务器,管理并协调数据节点 Datanode 的工作,其内存中保存整个分布式文件系统的两类元数据:(1)文件系统的名字空间,即系统目录树(恢复这个需要FsImages和Edit logs)。(2)数据块副本与 Datanode 的映射,即副本的位置。第(1)类元数据在 Namenode 上定期持久化,保存为镜像文件。数据块副本的...原创 2019-08-10 17:28:40 · 224 阅读 · 0 评论 -
NodeManager健康检测机制
每个NodeManager都有健康检测机制,将检测结果通过心跳机制汇报给ResourceManager,ResourceManager会更新NodeManager状态。如果NodeManager处于Unhealthy状态,则ResourceManager不会给这个NodeManager分配任务,直到NodeManager恢复正常一、检测机制1、脚本检测2、本地目录检测3、磁盘使用率检测...原创 2019-07-06 14:17:11 · 937 阅读 · 0 评论 -
hadoop配置参数
一、各个组件jvm参数1、在hadoop-env.sh中的HADOOP_HEAPSIZE和HADOOP_CLIENT_OPTS是公共参数,不仅影响namenode/datanode,还会覆盖hive的hive-env.sh中的jvm的设置,因此建议将这两个参数注释2、设置NameNode的jvm参数,在hadoop-env.sh中设定HADOOP_NAMENODE_OPTS3、设置DataN...原创 2019-06-29 23:39:02 · 1427 阅读 · 0 评论 -
获取hadoop集群资源信息
根据hadoop提供的restful接口获取http://hadoop.apache.org/docs/stable/ --> YARN REST APIs --> Resource Manager1、获取每个node的信息import urllib2import jsondef check_unhealth_nodes() : url = 'http://i...原创 2019-07-04 22:56:26 · 2291 阅读 · 0 评论 -
hadoop中Configruration
1、构造函数 Configuration():实际调用Configuration(true) Configuration(boolean loadDefaults):loadDefaults为true时,表示会加载默认的配置文件(xxx.xml)2、addDefaultResource(String name):添加默认的配置文件,在类路径下要存在该配置文件。 addRes...原创 2019-06-18 17:00:53 · 251 阅读 · 0 评论 -
hadoop HA搭建
一、HA集群规划(5台)server1 namenode resourcemanager zkfcserver2 namenode resourcemanager zkfcserver3 datanode nodemanager zookeeper journalnodeserver4 datanode nodemanager zookeep...原创 2018-06-29 22:01:54 · 157 阅读 · 0 评论 -
hadoop总结
---------------------------hadoop环境部署----------------------------------一、JDK安装1、先修改权限 chown -R hadoop:hadoop /opt/2、解压JDK到指定的目录下,目录任意,建议不要装在某个用户主目录下 tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules...原创 2018-06-17 11:48:58 · 190 阅读 · 0 评论 -
hadoop wordcount
package com.hadoop.mapreduce.wordcount_client;import java.awt.RenderingHints.Key;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;impo...原创 2018-06-17 11:44:28 · 102 阅读 · 0 评论