- 博客(22)
- 收藏
- 关注
RSS订阅转载 Zookeeper与磁盘
对于ZK来说，如果在运行过程中，需要和其它应用程序来竞争磁盘，CPU，网络或是内存资源的话，那么整体性能将会大打折扣。首先来看看磁盘对于ZK性能的影响。客户端对ZK的更新操作都是永久的，不可回退的，也就是说，一旦客户端收到一个来自server操作成功的响应，那么这个变更就永久生效了。为做到这点，ZK会将每次更新操作以事务日志的形式写入磁盘，写入成功后才会给予客户端响应。明白这点之后，你就会明白...
2018-05-27 16:42:05
1021
转载 zk -API使用样例
本文主要针对ZooKeeper提供的Java API，通过实际代码讲述如何使用API。程序可实现： 1、创建、关闭zk连接 2、创建znode、更新znode、读取znode、删除znode、收到来自Server的Watcher后的处理package com.taobao.taokeeper.research.sample; import java.io.IOException...
2018-05-27 16:39:13
479
转载 Zookeeper-JVM
设置JVM大小确保设置一个合理的JVM堆大小，如果设置太大，会让内存与磁盘进行交换，这将使ZK的性能大打折扣。例如一个4G内存的机器的，如果你把JVM的堆大小设置为4G或更大，那么会使频繁发生内存与磁盘空间的交换，通常设置成3G就可以了。当然，为了获得一个最好的堆大小值，在特定的使用场景下进行一些压力测试。法一，在zk.Env.sh中设置：找到$ZOOCFGDIR/java.env...
2018-05-27 16:38:07
1643
原创 ZooKeeper 常用四字命令使用
这里的回环地址要换成zk的本机ip 并且，由于生产机上面默认没有安装nc，可yum intall安装，因此，只能是通过telnet+四字命令来使用，即[zk@vm-vm zookeeper]$ telnet 10.6.105.164 2181 Trying 10.6.105.164… Connected to 10.6.105.164. Escape character is ‘^]’...
2018-05-27 16:32:12
835
转载 zk强制重启
ZK在启动的过程中，首先会根据事务日志中的事务日志记录，从本地磁盘加载最后一次提交时候的快照数据，如果读取事务日志出错或是其它问题(通常在日志中可以看到一些IO异常)，将导致server将无法启动。碰到类似于这种数据文件出错导致无法启动服务器的情况，一般按照如下顺序来恢复：确认集群中其它机器是否正常工作，方法是使用“stat”这个命令来检查：echo stat|nc 127.0.0.1 21...
2018-05-27 16:30:29
1894
转载 ZK自动清理日志
在使用zookeeper过程中，我们知道，会有dataDir和dataLogDir两个目录，分别用于snapshot和事务日志的输出正常运行过程中，ZK会不断地把快照数据和事务日志输出到这两个目录，并且如果没有人为操作的话，ZK自己是不会清理这些文件的，需要管理员来清理，这里介绍4种清理日志的方法。在这4种方法中，推荐使用第一种方法，对于运维人员来说，将日志清理工作独立出来，便于统一管理也更可...
2018-05-27 16:29:06
3360
转载 Zookeeper-initLimit&syncLimit
initLimit 此配置表示，允许 follower （相对于 leader 而言的“客户端”）连接 并同步到 leader 的初始化连接时间，它以 tickTime 的倍数来表示。当超过设置倍数的 tickTime 时间，则连接失败。syncLimit 此配置表示， leader 与 follower 之间发送消息，请求 和 应答 时间长度。如果 follower 在设置的时间内不能...
2018-05-27 16:26:26
1097
转载 应用服务器与zk之间的连接超时
关于connectString服务器地址配置格式: 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 这个地址配置有多个ip:port之间逗号分隔,底层操作ConnectStringParser connectStringParser = new ConnectStringParser(“192.168.1.1:2181,192....
2018-05-27 16:25:44
5028
转载 测试相关概念
功能测试非功能测试性能测试POC测试：POC测试，即Proof of Concept，是业界流行的针对客户具体应用的验证性测试，根据用户对采用系统提出的性能要求和扩展需求的指标，在选用服务器上进行真实数据的运行，对承载用户数据量和运行时间进行实际测算，并根据用户未来业务扩展的需求加大数据量以验证系统和平台的承载能力和性能变化。回归测试：回归测试是指修改了旧代码后，重新进行测试以确认修改没...
2018-05-27 16:18:48
504
原创 Zookeeper-datadir
1、事务日志文件目录［对磁盘性能要求高，因为，zk在返回client端事务请求响应之前，必须将本次请求对应的事务日志写入到磁盘中。最好单放一块盘］2、快照数据 在完成若干次事务日志之后（在ZK中，凡是对数据有更新的操作，比如创建节点，删除节点或是对节点数据内容进行更新等，都会记录事务日志），ZK会触发一次快照（snapshot），将当前server上所有节点的状态以快照文件的形式dump到磁...
2018-05-27 16:18:27
5353
2
转载 访问量、并发、TPS
PV(访问量)： 即Page View, 即页面浏览量或点击量，用户每次刷新即被计算一次。UV(独立访客)：即Unique Visitor，访问网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。TPS：每秒请求/事务的数量 （每秒事务处理量(TransactionPerSecond)） 并发数：系统同时处理的请求/事务的数量响应时间：一般取平均...
2018-05-20 20:55:53
5699
原创 大数据平台迁移相关
一、zk法一：扩展zk节点 法二：zkcopy。若数据一直在变，那么有可能要停集群。分钟级别可接受二、hdfshadoop自带的远程拷贝工具，distcp。一个map处理一个文件。可指定map数量。可事务也可非事务。 一般会执行两边，第二遍加-update，再合适一遍（ok就skip）。 是否同步权限也可设置 不能在线做三、hbasereplication：灾备，备...
2018-05-20 18:18:52
1007
原创 python实现storm读取kafka数据
环境准备1、kafka、zk 2、安装storm 修改conf/storm.yaml，有笔记。 这个配置文件，空格 对齐 很重要 启动stormbin/storm nimbus【仅一台】 storm nimbus >/dev/null 2>&1 &bin/storm supervisor storm supervisor >/dev...
2018-05-20 18:12:55
3649
1
原创 Kafka学习（概念+搭建）
初认识特点：高水平扩展、高吞吐。消息中间件。不支持事务（AMQ可支持）。支持动态扩容（通过zookeeper实现）。 协议：AMQP协议 结构：producer－－broker－－cosumer topic partition：一个topic中的消息数据按照多个分区组织，分区时kafka消息队列组织的最小单位，一个分区可以看作是一个FIFO的队列...
2018-05-20 17:55:46
188
原创 Storm安装、部署
1、安装zk分别安装三台机器，之后 配置环境变量： export ZOOKEEPER_HOME=*/zookeeper-3.4.6 export PATH=$ZOOKEEPER_HOME/bin:$PATH启动zk zkServer.sh start2、安装python、java环境1）jdk安装，配置环境变量： export JAVA_HOME=…./jdk1.7.0_...
2018-05-20 17:48:22
177
转载 Storm多线程
影响Storm性能的因素1、worker和slot的关系是一一对应的，一个worker占用一个slot。计算集群worker和slot数量一般以每个服务器的CPU线程数来计算。 如上面的环境就是 worker、slot：144 （6个supervisor，每个supervisor 都是24线程的CPU，24*6=144） 2、spout并发数，也就是setSpout后面的参数10——bu...
2018-05-20 17:45:32
1441
原创 Hadoop2 学习笔记（有部分Hadoop1内容）
概述Hadoop的两个核心组成部分：1）分布式文件系统-HDFS；2）分布式数据处理架构-MapReduce。MR功能实现了将单个任务打碎，并将碎片任务（Map）发送到多个节点上，之后再以单个数据集的形式加载（Reduce）到数据仓库。1）HDFS HDFS没有改变，仅有删除原有的再加新的，有时间戳。 在一版本中，一个集群中仅有一个NameNode。一个集群中仅有一个Secondary...
2018-05-20 17:34:46
827
转载 Storm基本命令
1、启动ZOOPKEEPER zkServer.sh start2、启动NIMBUS storm nimbus &3、启动SUPERVISOR storm supervisor &4、启动UI storm ui &5、部署TOPOLOGY storm jar /opt/hadoop/loganalyst/storm-dependend/data/t...
2018-05-20 16:31:17
2034
原创 Windows本机搭建kafka+storm环境
一、启动ZK 从c到d盘 cd D:\storm\zookeeper-3.3.6\bin zkServer.cmd 可见， 二、搭建Stormcd D:\storm\storm-0.9.1-incubating-SNAPSHOT-12182013\storm-0.9.1-incubating-SNAPSHOT-12182013\bin这里这个可以写在环境变量里面 计...
2018-05-20 16:23:16
733
原创 Storm概要
一、术语Nimbus ：storm集群主节点。负责资源分配和任务调度 supervisor：工作节点，接受nimbus分配任务，管理worker woker：supervisor下面的工作进程，具体任务执行 topology：计算拓扑，由spout和bolt组成的图状结构 spout：storm编程中的消息源 bolt：storm编程中的处理组件 stream：拓扑中的消息流，传输...
2018-05-20 16:08:31
247
原创 Ansible入门——中文指南学习（1）
Ansible入门——中文指南学习（1）ansible中文指南：http://www.ansible.com.cn/docs/1、概述ansible默认通过 SSH 协议管理机器，默认端口是22ansible需要python2.6或2.7的支持，不支持低版本和python3 ansible python的指向可以通过 inventory (详见 Inventory文件) 中设...
2018-05-13 19:12:40
6346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人