nginx之tcp负载代理

大多数人针对nginx的负载均衡代理都是停留在HTTP代理那一块,我也一样;然而最近遇到了一个小问题,下面简单的叙述一下:     1、开发那边使用java代码进行ssh连接Linux服务器,然后执行bash命令去完成参数值的获取;前提是要求是实现nginx负载,这。。。。有点意思啊,以前没遇到...

2018-12-30 22:23:41

阅读数 55

评论数 0

Ansible7:Playbook常用模块【转】

playbook的模块与在ansible命令行下使用的模块有一些不同。这主要是因为在playbook中会使用到一些facts变量和一些通过setup模块从远程主机上获取到的变量。有些模块没法在命令行下运行,就是因为它们需要这些变量。而且即使那些可以在命令行下工作的模块也可以通过playbook的模...

2018-12-26 00:04:21

阅读数 269

评论数 0

安装rabbitmq_ha

单机上安装 分别在192.168.3.191 192.168.3.192 节点上安装rabbitmq server Install erlang yum install airflow_ha_install/rabbitmq/erlang-19.3.6.4-1.el7.x86_64.rpm...

2018-12-21 22:15:27

阅读数 21

评论数 0

hadoop 2.0以后最新指标

系统参数监控metrics   load_one 每分钟的系统平均负载 load_fifteen 每15分钟的系统平均负载 load_five 每5分钟的系统平均负载 boottime 系统启动时间,精确到秒 bytes_in 网络接收速度,单位bytes/sec bytes_out...

2018-12-21 22:11:09

阅读数 53

评论数 0

[Hadoop] HDFS 详解一(原理篇)

目录 HDFS的工作机制 概述 HDFS 写数据流程 HDFS 读数据流程 NameNode的工作机制 NameNode的职责 元数据的管理 DataNode的工作机制 概述 观察验证DataNode 功能 HDFS的工作机制 工作机制的学习主要是为加深对分布式系统的理解,以...

2018-12-21 10:48:57

阅读数 27

评论数 0

Spark常见问题汇总

1、Operation category READ is not supported in state standby      org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Oper...

2018-12-18 19:09:10

阅读数 61

评论数 0

centos7+ansible自动化工具使用

一、基础介绍 ========================================================================================== 1、简介 ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(pu...

2018-12-17 15:46:50

阅读数 139

评论数 0

Hadoop集群namenode(standby),异常挂掉问题

2月22号,发现namenode02服务器的namenode(standby)节点挂掉,查看hadoop日志/app/hadoop/logs/hadoop-appadm-namenode-prd-bldb-hdp-name02.log 发现2018-02-17 03:29:34,首次报出java....

2018-12-11 23:09:53

阅读数 266

评论数 0

HBase 永久RIT(Region-In-Transition)问题

HBase 永久RIT(Region-In-Transition)问题:异常关机导致HBase表损坏和丢失,大量Regions 处于Offline状态,无法上线。 问题1:启动HBase时,HBase Regionserver Web UI,一直停留在The RegionServer is in...

2018-12-11 23:07:46

阅读数 124

评论数 0

OpenLDAP部署及管理维护

备份和还原 备份 # ldapsearch -x -b "dc=163,dc=com" -D "uid=authz,ou=Public,dc=163,dc=com" -w "CzfdX6...

2018-12-11 22:32:24

阅读数 55

评论数 0

监控网络带宽

这些工具使用不同的机制来制作流量报告。nload等一些工具可以读取"proc/net/dev"文件,以获得流量统计信息;而一些工具使用pcap库来捕获所有数据包,然后计算总数据量,从而估计流量负载。 下面是按功能划分的命令名称。 监控总体带宽使用――nl...

2018-12-10 22:39:59

阅读数 161

评论数 0

Hue配置LDAP身份认证(Direct bind方式)

Hue的身份认证方式 通过LDAP进行身份认证的方式 Search bind Direct bind 配置LDAP(Direct Bind with Username Pattern: DN string) 准备工作 修改hue.ini 也可以界面化操作 连接hive/impala...

2018-12-10 22:26:18

阅读数 505

评论数 0

hadoop 集群 rebalance 和磁盘 均衡

在我们使用hadoop集群的时候 ,由于 日志 数据不断流入写入到hdfs上,而且 算法人员 不断的清洗 数据做特征工程 又会产生 新的中间数据 ,而且量一点都不小。 这个时候 hadoop 集群 就要面临着 hdfs 空间扩容 和 数据的 rebalance hdfs 的扩容 和磁盘 扩容 有关...

2018-12-10 13:20:53

阅读数 190

评论数 0

hadoop webUI上不能查看log日志输出信息

问题 hadoop webUI上查看任务运行输出日志,任务运行中可以正常查看,但当任务完成后却无法查看日志输出 报错 java.lang.Exception: Unknown container. Container either has not started or has already ...

2018-12-08 08:36:07

阅读数 344

评论数 0

supervisor配置详解(转)

原文:http://lixcto.blog.51cto.com/4834175/1539136     有阵子没写博客了,这段时间一直在研究python django框架和前端相关的东西。楼主学通信的,对web这一块啥也不懂,学了一个礼拜django,接着学了2个礼拜前端,感觉还是做不出来一个好...

2018-12-06 22:11:42

阅读数 283

评论数 0

airflow的安装

1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块、密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动a...

2018-12-06 21:57:02

阅读数 197

评论数 1

深入理解MySQL GTID

GTID的概念 何为GITD GTID(global transaction identifier)是全局事务标识符,在MySQL5.6版本中作为一个超级特性被推出。事务标识不仅对于Master(起源)的服务器来说是惟一的,而且在整个复制拓扑架构来说,也是全局唯一的。 1.GTID的格式 ...

2018-12-06 21:43:38

阅读数 64

评论数 0

MySQL 5.7 在线开启和关闭GTID

一、前言 最近在测试MySQL5.7的新特性,升级到5.7后xtraback需要升级到2.4,测试发现了如下报错: The --slave-info option requires GTID enabled for a multi-threaded slave. --slave-inf...

2018-12-06 21:41:59

阅读数 238

评论数 1

canal(基于mysql数据库binlog的增量订阅&消费)

一、背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&amp...

2018-12-05 14:12:36

阅读数 102

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭