2018年12月_mnasd

转载 nginx之tcp负载代理

大多数人针对nginx的负载均衡代理都是停留在HTTP代理那一块，我也一样；然而最近遇到了一个小问题，下面简单的叙述一下： 1、开发那边使用java代码进行ssh连接Linux服务器，然后执行bash命令去完成参数值的获取；前提是要求是实现nginx负载，这。。。。有点意思啊，以前没遇到过这么奇葩的问题，不过兵来将挡水来土掩，咱还是要解决不是，所以就想到了nginx的负载代理，但是感觉H...

2018-12-30 22:23:41 198

转载 Ansible7：Playbook常用模块【转】

playbook的模块与在ansible命令行下使用的模块有一些不同。这主要是因为在playbook中会使用到一些facts变量和一些通过setup模块从远程主机上获取到的变量。有些模块没法在命令行下运行，就是因为它们需要这些变量。而且即使那些可以在命令行下工作的模块也可以通过playbook的模块获取一些更高级的功能。 1、template 在实际应用中，我们的配置文件有些地方...

2018-12-26 00:04:21 1486

转载安装rabbitmq_ha

单机上安装分别在192.168.3.191 192.168.3.192 节点上安装rabbitmq serverInstall erlang yum install airflow_ha_install/rabbitmq/erlang-19.3.6.4-1.el7.x86_64.rpm Install RabbitMQ Server yum install airflow_...

2018-12-21 22:15:27 156

转载 hadoop 2.0以后最新指标

系统参数监控metrics load_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间，精确到秒bytes_in 网络接收速度，单位bytes/secbytes_out 网络发送速度，单位bytes/seccpu_aidle 启动的空闲CPU百分比cpu_idl...

2018-12-21 22:11:09 924

转载 [Hadoop] HDFS 详解一（原理篇）

目录HDFS的工作机制概述 HDFS 写数据流程 HDFS 读数据流程 NameNode的工作机制 NameNode的职责元数据的管理 DataNode的工作机制概述观察验证DataNode 功能HDFS的工作机制工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力。很多不是真正理解hadoop技术体系的...

2018-12-21 10:48:57 399

转载 Spark常见问题汇总

1、Operation category READ is not supported in state standby org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state stand...

2018-12-18 19:09:10 700

转载 centos7+ansible自动化工具使用

一、基础介绍==========================================================================================1、简介ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署...

2018-12-17 15:46:50 600

转载 Hadoop集群namenode(standby)，异常挂掉问题

2月22号，发现namenode02服务器的namenode(standby)节点挂掉，查看hadoop日志/app/hadoop/logs/hadoop-appadm-namenode-prd-bldb-hdp-name02.log发现2018-02-17 03:29:34，首次报出java.lang.OutOfMemoryError的ERROR，具体报错信息如下 2018-02...

2018-12-11 23:09:53 4507

转载 HBase 永久RIT(Region-In-Transition)问题

HBase 永久RIT(Region-In-Transition)问题：异常关机导致HBase表损坏和丢失，大量Regions 处于Offline状态，无法上线。问题1：启动HBase时，HBase Regionserver Web UI，一直停留在The RegionServer is initializing! 界面 Initializing Master file system (s...

2018-12-11 23:07:46 1872

转载 OpenLDAP部署及管理维护

备份和还原备份# ldapsearch -x -b "dc=163,dc=com" -D "uid=authz,ou=Public,dc=163,dc=com" -w "CzfdX629K7" > ldap.20180626.ldif参数说明： -x：进行简单的验证 -D：用来绑定服务器的DN -w：绑定DN的密码 -b：要查...

2018-12-11 22:32:24 301

转载监控网络带宽

这些工具使用不同的机制来制作流量报告。nload等一些工具可以读取"proc/net/dev"文件，以获得流量统计信息；而一些工具使用pcap库来捕获所有数据包，然后计算总数据量，从而估计流量负载。下面是按功能划分的命令名称。监控总体带宽使用――nload、bmon、slurm、bwm-ng、cbm、speedometer和netload 监控总体带宽使用（批量式输出）――v...

2018-12-10 22:39:59 2338

转载 Hue配置LDAP身份认证（Direct bind方式）

Hue的身份认证方式通过LDAP进行身份认证的方式 Search bind Direct bind 配置LDAP(Direct Bind with Username Pattern: DN string) 准备工作修改hue.ini 也可以界面化操作连接hive/impala 验证重启Hue 可能出现的问题 [LDAP: error code 49 - Invali...

2018-12-10 22:26:18 4635

转载 hadoop 集群 rebalance 和磁盘均衡

在我们使用hadoop集群的时候，由于日志数据不断流入写入到hdfs上，而且算法人员不断的清洗数据做特征工程又会产生新的中间数据，而且量一点都不小。这个时候 hadoop 集群就要面临着 hdfs 空间扩容和数据的 rebalancehdfs 的扩容和磁盘扩容有关，在我上一片文章介绍了磁盘扩容，集群各个节点添加新的磁盘 volume disk，然后把这些格...

2018-12-10 13:20:53 2115

转载 hadoop webUI上不能查看log日志输出信息

问题hadoop webUI上查看任务运行输出日志，任务运行中可以正常查看，但当任务完成后却无法查看日志输出报错java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn’t belong to this node at all.原因...

2018-12-08 08:36:07 2230

转载 supervisor配置详解（转）

原文：http://lixcto.blog.51cto.com/4834175/1539136 有阵子没写博客了，这段时间一直在研究python django框架和前端相关的东西。楼主学通信的，对web这一块啥也不懂，学了一个礼拜django，接着学了2个礼拜前端，感觉还是做不出来一个好看的页面。周末去了趟上海，蹭大神的讲课，学会了套用bootstrap框架和heighcharts，页面...

2018-12-06 22:11:42 5228

1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块、密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装cele...

2018-12-06 21:57:02 730 1

转载深入理解MySQL GTID

GTID的概念何为GITDGTID（global transaction identifier）是全局事务标识符，在MySQL5.6版本中作为一个超级特性被推出。事务标识不仅对于Master(起源)的服务器来说是惟一的，而且在整个复制拓扑架构来说，也是全局唯一的。1.GTID的格式GTID = source_id:transaction_idGTID分为两部分，source_i...

2018-12-06 21:43:38 219

转载 MySQL 5.7 在线开启和关闭GTID

一、前言最近在测试MySQL5.7的新特性，升级到5.7后xtraback需要升级到2.4，测试发现了如下报错：The --slave-info option requires GTID enabled for a multi-threaded slave.--slave-info 选项表示如果在从库上备份，他能够获取主库的binlog位点，记录到xtrabackup_slave...

2018-12-06 21:41:59 2151 1

转载 canal(基于mysql数据库binlog的增量订阅&消费）

一、背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的c...

2018-12-05 14:12:36 1155

mnasd的博客