- 博客(11)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 如何分析及处理 Flink 反压
反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafka consumer）的摄入速率。关于 Flink 的反压机制，网上已经有不少博客介绍，中文博客推荐这两篇[1][2]。简单来说，Flink 拓扑中每个节点
2020-11-22 01:32:50
296
原创 es 索引导出导入（elasticsearch-dump） docker方式
elasticsearch-dump提供两种安装方式，如下：推荐使用docker，不需要解决环境依赖问题。1、docker安装命令：wget -qO- https://get.docker.com/ | sh2、启动docker命令：service docker start3、安装elasticsearch-dump命令：docker pull ta...
2019-10-12 13:18:39
2224
原创 在hue（oozie）上提交pyspark
因为需要使用python的一些库，不得不使用pyspark。在这里记录下遇到的问题。本地开发环境，网上比较容易查到，这里就不写了。这里主要说线上提交的依赖问题。这里是用hue提交，主要有以下几个步骤：1、将所有的依赖打成zip包2、使用sc.addPyFiles(path)或者是sc.addPyFile(path)（ps:不同版本写法不同）将依赖加入环境3、在代码中在初始化...
2019-07-31 18:37:49
1070
原创 cloudera manager 迁移
写在前面，因为之前cloudera-scm-server的服务器死机，搞了半夜才搞好，因为之前没有备份cloudera-scm-server相关数据，所以恢复起来就麻烦。1、备份数据：curl -v -u admin:admin http://your_manager_host:7180/api/<version>/cm/deployment > /home/deployme...
2019-03-26 16:10:02
277
转载 Cloudera Manager Server迁移
环境操作系统系统:Centos7 JDK:1.7 CDH 版本:5.8.4操作步骤（内置Postgres版本）1，前期环境检查hosts文件 jdk版本 主机操作系统是否与版本匹配 主机名是否符合规范２，安装新的cloudera manager server# 从官网下载cloudera manager server安装文件$ wget http://archiv...
2019-03-25 15:12:23
835
原创 CDH 集成Kerberos
kerberos安装 使用复制了。https://blog.csdn.net/qxf1374268/article/details/79321951。不同的版本可能配置稍有不同。另外加了部分使用过程中的认证说明。 一、安装Kerberos1. 整体说明 软件版本 操作系统：CentOs 6.8 CDH版本：Hadoop 2.6.0-cdh5.9.0 JDK版...
2018-08-31 10:50:31
1432
转载 hadoop hbase metric名全解释
系统参数监控metricsload_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间，精确到秒bytes_in 网络接收速度，单位bytes/sec
2015-05-19 09:42:06
1203
原创 Namenode元数据损坏恢复
namenode无数据损坏一般是磁盘损坏，或者是其它操作导致namenode数据丢失。如果发生文件损坏或者丢失，有如下两种方法可以恢复。前提是有secondarynamenode1、Namenode所在机器服务正常如果namenode所在机器服务正常，只是磁盘损坏，或者数据丢失。则可以此方法。在namenode机器上(现网为132.37.8.136)操作以下步骤：1、如果hadoo
2015-03-25 08:40:01
2380
转载 hadoop 集群部署 (亲测可用)
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，可
2014-06-17 10:27:04
1108
转载 oozie 调度异常 JA009: Filesystem closed
最近几天发现oozie调度的任务经常会被挂起(SUSPENDED), 之前也存在被挂起的情况，但频率很低， 一周也就一两次， 出现问题时由监控脚本重跑，也不影响正常业务，但最近一两天被挂起的非常频繁，甚至一天有3，4个小时的任务被挂起， 影响正常业务. 个人猜测跟hadoop集群状态(稳定性)有一定关系，但咨询hadoop运维人员后得知集群近几天并未做改动，也没异常。 被挂
2014-06-17 10:08:19
2547
转载 oozie3.3.2配置 安装 实例 运行
安装Oozie ServerOozie Server可以为我们提供很多管理Job的便捷功能，比如，通过可视化界面去管理Job的运行状态，同时也支持我构建含有多个复杂Hadoop Job流程，各个Job之间的依赖关系完全可以通过一个工作流配置文件组装起来，然后由Oozie Server其管理执行。安装Maven构建工具下载安装，执行如下命令：1wget
2014-04-25 16:39:04
849
京东商品30万多条评论，有评分
2018-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人