hadoop
笛香幽谷(欧锐)
佛经所到之处,即为有佛
展开
-
MapReduce combiner阶段 与shuffle阶段的区别
combiner阶段 shuffle阶段翻译 2014-05-05 13:40:26 · 3701 阅读 · 0 评论 -
Python采集Yarn Queue信息
本文通过python代码调用Yarn restfull API ,将各队列的vcore和memory定时采集存储到TIDB,然后使用Apache Zeppelin JDBC读取数据,简单绘制vcore和memory使用率的趋势图。可以观察集群vcore和memory的分配情况,防止其中一项成为集群或者队列的性能瓶颈。一、python代码: import jsonimpo...原创 2018-11-20 19:47:15 · 2023 阅读 · 0 评论 -
HBase region is not online 问题修复
一年多没有搞HBase了,回想前年和营神一起的日子,~~~。今天同事遇到下面一个问题:hbase(main):002:0> get 'mynamespace:user_basic_info','BAC3510A922CF026500874EA3975E123'COLUMN CELL ERROR: org.apache.hadoop.hbase.NotServingRegionException:原创 2017-04-06 11:18:03 · 16738 阅读 · 3 评论 -
CDH5.7.1 Hadoop2.6 HDFS Encryption KMS 实战之功能测试
hdfs、kms、hadoop、CDH原创 2017-04-11 16:41:53 · 2778 阅读 · 0 评论 -
HDFS encryption 实战之背景和架构介绍
KMS背景在全世界,为零满足隐私和其他安全需求,很多政府部门、金融部门和管理单位强制要求数据加密。本文主要介绍了HDFS、KMS的概念和架构。原创 2017-04-12 14:18:59 · 2541 阅读 · 0 评论 -
spark2.1.0 on yarn with CDH5.8.0 安装实战
Spark 版本发布很快,CDH集成最新Spark版本需要一定时间,并且CDH 集成的Spark版本不支持Spark-sql。本文档的目的在目前cdh平台集成最新spark,方便测试和使用最新功能。原创 2017-03-30 17:36:53 · 5606 阅读 · 0 评论 -
CDH Gateway docker实战
将CDH gateway 安装到docker里面。原创 2017-01-24 11:45:13 · 4027 阅读 · 1 评论 -
Spark 1.5.2 on yarn升级问题总结
Spark 1.4.0 standlone升级到Spark 1.5.2 on yarn问题总结原创 2016-04-15 15:33:39 · 5699 阅读 · 0 评论 -
Spark1.5.2 on Hadoop2.4.0 安装配置
一、 前言 本文简单介绍yarn安装,主要介绍spark1.5.2on yarn模式安装,仅供参考。 二、 yarn配置1. yarne.xmlyarne.xml需要添加的配置如下: yarn.nodemanager.aux-services mapreduce_原创 2015-11-18 10:38:21 · 1340 阅读 · 0 评论 -
spark单机版搭建记录
关闭防火墙service iptables stop && chkconfig iptables off原创 2014-06-25 13:12:33 · 2172 阅读 · 0 评论 -
mysql 导入hdfs、hive、hbase sqoop使用方法
安装mysql数据库原创 2014-05-12 11:00:09 · 1271 阅读 · 0 评论 -
使用 java command 分析hadoop集群
jps查看节点线程原创 2014-05-07 13:24:18 · 1574 阅读 · 1 评论 -
MR2 client 代码分析
我们先看wordcount main方法原创 2014-05-05 19:14:59 · 1558 阅读 · 0 评论 -
hadoop Yarn distributedshell使用方法
[root@HDP02 hadoop-yarn]# hadoop org.apache.hadoop.yarn.applications.distributedshell.Client -jar hadoop-yarn-applications-distributedshell-2.4.0.2.1.1.0-385.jar -shell_script ./distributedshell原创 2014-05-05 18:53:19 · 3023 阅读 · 0 评论 -
Hadoop Yarn NodeManger架构分析
NM主要保持与RM的同步,管理该节点containers的生命周期,监控每个container的资源使用率,跟踪节点状态,日志管理和各种应用服务的辅助服务。l 总体架构l NodeStatusUpdater在NM启动阶段,NodeStatusUpdater负责向RM注册,将该可用资源发送给RM。在运行节点提供该节点containers的状态给RM。RM还会给NodeStatus翻译 2014-05-05 15:00:01 · 1609 阅读 · 0 评论 -
HDFS HA java API 实战
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import java.io.*;import java.net.URI;import java.text.SimpleDateFormat;import java....原创 2019-03-07 09:46:22 · 244 阅读 · 0 评论