自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(19)
  • 资源 (1)
  • 收藏
  • 关注

转载 nginx之tcp负载代理

大多数人针对nginx的负载均衡代理都是停留在HTTP代理那一块,我也一样;然而最近遇到了一个小问题,下面简单的叙述一下:    1、开发那边使用java代码进行ssh连接Linux服务器,然后执行bash命令去完成参数值的获取;前提是要求是实现nginx负载,这。。。。有点意思啊,以前没遇到过这么奇葩的问题,不过兵来将挡水来土掩,咱还是要解决不是,所以就想到了nginx的负载代理,但是感觉H...

2018-12-30 22:23:41 198

转载 Ansible7:Playbook常用模块【转】

playbook的模块与在ansible命令行下使用的模块有一些不同。这主要是因为在playbook中会使用到一些facts变量和一些通过setup模块从远程主机上获取到的变量。有些模块没法在命令行下运行,就是因为它们需要这些变量。而且即使那些可以在命令行下工作的模块也可以通过playbook的模块获取一些更高级的功能。 1、template    在实际应用中,我们的配置文件有些地方...

2018-12-26 00:04:21 1485

转载 安装rabbitmq_ha

单机上安装分别在192.168.3.191 192.168.3.192 节点上安装rabbitmq serverInstall erlang yum install airflow_ha_install/rabbitmq/erlang-19.3.6.4-1.el7.x86_64.rpm Install RabbitMQ Server yum install airflow_...

2018-12-21 22:15:27 156

转载 hadoop 2.0以后最新指标

系统参数监控metrics load_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间,精确到秒bytes_in 网络接收速度,单位bytes/secbytes_out 网络发送速度,单位bytes/seccpu_aidle 启动的空闲CPU百分比cpu_idl...

2018-12-21 22:11:09 924

转载 [Hadoop] HDFS 详解一(原理篇)

目录HDFS的工作机制 概述 HDFS 写数据流程 HDFS 读数据流程 NameNode的工作机制 NameNode的职责 元数据的管理 DataNode的工作机制 概述 观察验证DataNode 功能HDFS的工作机制工作机制的学习主要是为加深对分布式系统的理解,以及增强遇到各种问题时的分析解决能力,形成一定的集群运维能力。很多不是真正理解hadoop技术体系的...

2018-12-21 10:48:57 399

转载 Spark常见问题汇总

1、Operation category READ is not supported in state standby     org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state stand...

2018-12-18 19:09:10 699

转载 centos7+ansible自动化工具使用

一、基础介绍==========================================================================================1、简介ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署...

2018-12-17 15:46:50 600

转载 Hadoop集群namenode(standby),异常挂掉问题

2月22号,发现namenode02服务器的namenode(standby)节点挂掉,查看hadoop日志/app/hadoop/logs/hadoop-appadm-namenode-prd-bldb-hdp-name02.log发现2018-02-17 03:29:34,首次报出java.lang.OutOfMemoryError的ERROR,具体报错信息如下 2018-02...

2018-12-11 23:09:53 4505

转载 HBase 永久RIT(Region-In-Transition)问题

HBase 永久RIT(Region-In-Transition)问题:异常关机导致HBase表损坏和丢失,大量Regions 处于Offline状态,无法上线。问题1:启动HBase时,HBase Regionserver Web UI,一直停留在The RegionServer is initializing! 界面 Initializing Master file system (s...

2018-12-11 23:07:46 1872

转载 OpenLDAP部署及管理维护

备份和还原备份# ldapsearch -x -b "dc=163,dc=com" -D "uid=authz,ou=Public,dc=163,dc=com" -w "CzfdX629K7" > ldap.20180626.ldif参数说明: -x:进行简单的验证 -D:用来绑定服务器的DN -w:绑定DN的密码 -b:要查...

2018-12-11 22:32:24 301

转载 监控网络带宽

这些工具使用不同的机制来制作流量报告。nload等一些工具可以读取"proc/net/dev"文件,以获得流量统计信息;而一些工具使用pcap库来捕获所有数据包,然后计算总数据量,从而估计流量负载。下面是按功能划分的命令名称。 监控总体带宽使用――nload、bmon、slurm、bwm-ng、cbm、speedometer和netload 监控总体带宽使用(批量式输出)――v...

2018-12-10 22:39:59 2338

转载 Hue配置LDAP身份认证(Direct bind方式)

Hue的身份认证方式 通过LDAP进行身份认证的方式 Search bind Direct bind 配置LDAP(Direct Bind with Username Pattern: DN string) 准备工作 修改hue.ini 也可以界面化操作 连接hive/impala 验证 重启Hue 可能出现的问题 [LDAP: error code 49 - Invali...

2018-12-10 22:26:18 4633

转载 hadoop 集群 rebalance 和磁盘 均衡

在我们使用hadoop集群的时候 ,由于 日志 数据不断流入写入到hdfs上,而且 算法人员 不断的清洗 数据做特征工程 又会产生 新的中间数据 ,而且量一点都不小。这个时候 hadoop 集群 就要面临着 hdfs 空间扩容 和 数据的 rebalancehdfs 的扩容 和磁盘 扩容 有关,在我上一片文章介绍了磁盘 扩容 ,集群各个节点 添加新的磁盘 volume disk,然后把这些 格...

2018-12-10 13:20:53 2115

转载 hadoop webUI上不能查看log日志输出信息

问题hadoop webUI上查看任务运行输出日志,任务运行中可以正常查看,但当任务完成后却无法查看日志输出报错java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn’t belong to this node at all.原因...

2018-12-08 08:36:07 2216

转载 supervisor配置详解(转)

原文:http://lixcto.blog.51cto.com/4834175/1539136    有阵子没写博客了,这段时间一直在研究python django框架和前端相关的东西。楼主学通信的,对web这一块啥也不懂,学了一个礼拜django,接着学了2个礼拜前端,感觉还是做不出来一个好看的页面。周末去了趟上海,蹭大神的讲课,学会了套用bootstrap框架和heighcharts,页面...

2018-12-06 22:11:42 5228

转载 airflow的安装

1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块、密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装cele...

2018-12-06 21:57:02 730 1

转载 深入理解MySQL GTID

GTID的概念何为GITDGTID(global transaction identifier)是全局事务标识符,在MySQL5.6版本中作为一个超级特性被推出。事务标识不仅对于Master(起源)的服务器来说是惟一的,而且在整个复制拓扑架构来说,也是全局唯一的。1.GTID的格式GTID = source_id:transaction_idGTID分为两部分,source_i...

2018-12-06 21:43:38 217

转载 MySQL 5.7 在线开启和关闭GTID

一、前言最近在测试MySQL5.7的新特性,升级到5.7后xtraback需要升级到2.4,测试发现了如下报错:The --slave-info option requires GTID enabled for a multi-threaded slave.--slave-info 选项表示如果在从库上备份,他能够获取主库的binlog位点,记录到xtrabackup_slave...

2018-12-06 21:41:59 2148 1

转载 canal(基于mysql数据库binlog的增量订阅&消费)

一、背景早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析,当前的c...

2018-12-05 14:12:36 1155

mysql 监控

mysql 监控openfaclon 的插件监控数据库的源代码ervertest

2018-11-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除