- 博客(36)
- 资源 (1)
- 问答 (3)
- 收藏
- 关注
RSS订阅转载 mysql数据库双机同步开源软件otter的配置(三)
启动预装好的Mysql,zookeeper,manager.1 在 manager的界面，添加Node，如下图：机器管理—》Node管理 如图，点击添加按钮，添加内容参考下图： 添加完成后，根据添加后的node序号，如下图中，192.168.85.10中对应的序号是1，那么进入10机器下的node目录，执行...
2019-01-11 14:21:37
413
转载 mysql数据库双机同步开源软件otter的安装(二)
安装node和aria2 node 需要aria2支持，我是在AB机房各安装了一套。 安装node: 创建目录：mkdir node 进入目录：cd node 下载node： 解压缩：tar zxvf node.deployer-$version.tar.gz 修改node的配置： vi conf/otter.properties otte...
2019-01-11 14:20:42
201
转载 mysql数据库双机同步开源软件otter的安装(一)
otter的wiki页面：https://github.com/alibaba/otterotter的环境需要：mysql ，jdk, zookeeper , node , aria2 , manager为了防止otter的闪断，我把一些软件上传到了百度云上：http://pan.baidu.com/share/link?uk=3708161223&shareid=29876467...
2019-01-11 14:18:45
302
转载 Spark中的键值对操作-scala
1.PairRDD介绍 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为PairRDD。PairRDD提供了并行操作各个键或跨节点重新进行数据分组的操作接口。例如，PairRDD提供了reduceByKey()方法，可以分别规约每个键对应的数据，还有join()方法，可以把两个RDD中键相同的元素组合在一起，合并为一个RDD。2.创建Pair RDD ...
2019-01-02 14:14:52
353
转载 如何在MQ中实现支持任意延迟的消息？
什么是定时消息和延迟消息？定时消息：Producer 将消息发送到 MQ 服务端，但并不期望这条消息立马投递，而是推迟到在当前时间点之后的某一个时间投递到 Consumer 进行消费，该消息即定时消息。 延迟消息：Producer 将消息发送到 MQ 服务端，但并不期望这条消息立马投递，而是延迟一定时间后才投递到 Consumer 进行消费，该消息即延时消息。定时消息与延迟消息在代码配置上...
2019-01-02 09:20:58
697
1
转载 Java学习之javassist
1、读取和输出字节码按 Ctrl+C 复制代码 按 Ctrl+C 复制代码这里可以看出，Javassist的加载是依靠ClassPool类，输出方式支持三种。2、新增Class1 ClassPool pool = ClassPool.getDefault();2 CtClass cc = pool.makeClass("Point");3 //新增方法4 cc.ad...
2018-12-29 14:22:11
307
1
转载 Javassist分析类依赖和动态代理实现
前言Javassist作为一款强大的class编辑器，它能够读取class文件内容，class文件的常量池中包含了当前类所有需要交互的其他类。要获取当前类所有依赖的类，只需要先获取当前类直接依赖的类，再继续广度优先遍历直接依赖类依赖的类，最终遍历了整棵依赖树之后就能获取当前类依赖。对于动态代理其实也是通过在运行过程中动态新的代理类，代理类不但会增加额外的用户逻辑，还会调用被代理对象的对应方法，J...
2018-12-29 14:20:57
337
1
转载 微服务访问安全设计方案全探索
今天给大家带来的是 数人云工程师文权在高效运维线上群的分享实录。从传统单体应用架构到微服务架构，安全问题一直是人们关注的重点，文权与大家分享了关于微服务访问安全设计方案的探索与实践。 我们首先从传统单体应用架构下的访问安全设计说起，然后分析现代微服务架构下，访问安全涉及的原则，接着讨论目前常用的几种微服务架构下的访问安全设计方案。最后，详析Spring Cloud微服务架构下如何解决访问安...
2018-12-29 14:19:08
725
1
转载 Kafka消费组(consumer group)
一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本，笔者也觉得时机成熟了，于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念，希望能把consumer这点事说清楚，从而对广大使用者有所帮助。在开始之前，我想花一点时间先来明确一些概念和术语，这会...
2018-09-08 06:41:26
648
转载 Kafka 如何读取offset topic内容 (__consumer_offsets)
众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。 不过依然有很多用户希望了解__consumer_offsets topic内部到底保存了什么信息...
2018-09-08 06:40:33
646
转载 互联网 API 接口幂等性设计
WEB 资源或 API 方法的幂等性是指一次和多次请求某一个资源应该具有同样的副作用。幂等性是系统的接口对外一种承诺(而不是实现), 承诺只要调用接口成功, 外部多次调用对系统的影响是一致的。幂等性是分布式系统设计中的一个重要概念，对超时处理、系统恢复等具有重要意义。声明为幂等的接口会认为外部调用失败是常态, 并且失败之后必然会有重试。例如，在因网络中断等原因导致请求方未能收到请求返回值的情况下，...
2018-08-13 17:10:27
149
转载 Redis分布式锁的正确实现方式
前言分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式，基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客，然而他们的实现却有着各种各样的问题，为了避免误人子弟，本篇博客将详细介绍如何正确地实现Redis分布式锁。可靠性首先，为了确保分布式锁可用，我们至少要确保锁的...
2018-08-10 16:29:05
137
转载 ReentrantReadWriteLock最最最经典示例用法----升级缓存后的锁降级
所谓读写锁，是对访问资源共享锁和排斥锁，一般的重入性语义为 如果对资源加了写锁，其他线程无法再获得写锁与读锁，但是持有写锁的线程，可以对资源加读锁（锁降级）；如果一个线程对资源加了读锁，其他线程可以继续加读锁。下面的代码展示了如何利用重入来执行升级缓存后的锁降级（为简单起见，省略了异常处理及部分代码）：class CachedData { Object data; //保...
2018-08-09 11:53:08
464
转载 并发库应用之五 & ReadWriteLock场景应用
ock比传统线程模型中的synchronized方式更加面向对象，与生活中的锁类似，锁本身也应该是一个对象。两个线程执行的代码片段要实现同步互斥的效果，它们必须用同一个Lock对象。 读写锁：分为读锁和写锁，多个读锁不互斥，读锁与写锁互斥，这是由jvm自己控制的，我们只要上好相应的锁即可。如果你的代码只读数据，可以很多人同时读，但不能同时写，那就上读锁；如果你的代码修改数据，只能有一个人在写...
2018-08-09 11:52:31
114
转载 MySQL主从架构-主库宕机如何恢复业务
在我们日常工作场景，首先要做到架构无单点隐患，其次在优化【安全、性能、高可用、高并发等】，MySQL这款关系型数据库稳定、高效，所以使用广泛，如果企业架构是1主多从，那如果Mysql主库宕机，如何解决？作者：Java填坑之路来源：今日头条|2018-07-24 16:40 收藏 分享 在我们日常工作场景，首先要做到架构无单点隐患，其次在优化【安全、性能、高可用、高并发等】，M...
2018-07-25 10:10:11
9535
转载 入门系列之在Nginx配置Gzip
简介网站加载的速度取决于浏览器必须下载的所有文件的大小。减少要传输的文件的大小可以使网站不仅加载更快，而且对于那些宽带是按量计费的人来说也更友好。gzip是一种流行的数据压缩程序。您可以使用gzip压缩Nginx实时文件。这些文件在检索时由支持它的浏览器解压缩，好处是web服务器和浏览器之间传输的数据量更小，速度更快。gzip不一定适用于所有文件的压缩。例如，文本文件压缩得非常好，通常...
2018-07-23 17:16:48
184
转载 Spring 常用的一些工具类
学习Java的人，或者开发很多项目，都需要使用到Spring 这个框架，这个框架对于java程序员来说。学好spring 就不怕找不到工作。我们时常会写一些工具类，但是有些时候我们不清楚，我们些的工具类，是否稳定，可靠。对于有看spring 源码习惯的人，其实，spring框架本身自带了很多工具类，其实，我有一个想法，就是想把一些常用的方法，从spring整理整理出来，然后编译成jar包，因为有些...
2018-07-04 17:13:37
275
转载 Spring+Redis(keyspace notification)实现定时任务（订单过期自动关闭）
1.起因最近公司项目要做订单超期未支付需自动关闭，首先想到的是用spring的定时器（@Schedule），结果领导举各种例子说会影响性能，只能作罢。后来想能不能基于redis实现，学习（baidu）之后，大概就是使用redis的Keyspace Notifications，大概就是利用该机制可以在key失效之后，提供一个回调，实际上是redis会给客户端发送一个消息。是需要redis版本2.8以...
2018-06-22 18:11:33
395
转载 OGG同步Oracle到Kafka(Kafka Connect Handler)
javawriterjavawriter.stats.display=TRUEjavawriter.stats.full=TRUEgg.log=log4jgg.log.level=INFOgg.report.time=30secgg.classpath=dirprm/:/oggbase/ogg108/OGG_KFK/kafkalib/*javawriter.bootoptions=-Xmx2048...
2018-05-25 09:45:19
3259
1
转载 unclean.leader.election.enable引起的outOfRanger
前段时间采集平台的数据量发生异常，对数据进行排查发现hdfs上存在历史数据重复消费的问题。采集平台是由TailDirSource+KafkaChannel将数据写入kafka，然后通过kafkaChannel+HDFSSink将数据写入hdfs整个采集平台可能出现的故障的地方如下：taildir重复采集了logtaildir调用kafkachannel向kafka写数据时进行了回滚hdfsSink...
2018-05-08 14:07:55
124
转载 kafka的高可用和一致性探究
1 kafka基础本篇文章讨论的kafka版本是目前最新版 0.10.1.0。1.1 kafka种的KafkaController所有broker会通过ZooKeeper选举出一个作为KafkaController，来负责：监控所有broker的存活，以及向他们发送相关的执行命令。分区的状态维护：负责分区的新增、下线等，分区副本的leader选举副本的状态维护：负责副本的新增、下线等1.2 kaf...
2018-05-08 14:07:05
851
转载 分布式ID方案有哪些以及各自的优劣势，我们当如何选择
作者介绍 段同海，就职于达达基础架构团队，主要参与达达分布式ID生成系统，日志采集系统等中间件研发工作。背景在分布式系统中，经常需要对大量的数据、消息、http请求等进行唯一标识，例如：在分布式系统之间http请求需要唯一标识，调用链路分析的时候需要使用这个唯一标识。这个时候数据库自增主键已经不能满足需求，需要一个能够生成全局唯一ID的系统，这个系统需要满足以下需求：全局唯一：不能出现重复ID。高...
2018-05-07 17:08:11
286
转载 HBase协处理器同步二级索引到Solr
一、 已知的问题和不足二、解决思路三、代码3.1 读取config文件内容3.2 封装SolrServer的获取方式3.3 编写提交数据到Solr的代码3.4 拦截HBase的Put和Delete操作信息四、 使用一、 已知的问题和不足 在上一个版本中，实现了使用HBase的协处理器将HBase的二级索引同步到Solr中，但是仍旧有几个缺陷：写入Solr的Collection是写死在代码里面...
2018-05-07 10:24:24
292
转载 HBase协处理器同步二级索引到Solr
一、 背景二、 什么是HBase的协处理器三、 HBase协处理器同步数据到Solr四、 添加协处理器五、 测试六、 协处理器动态加载一、 背景在实际生产中，HBase往往不能满足多维度分析，我们能想到的办法就是通过创建HBase数据的二级索引来快速获取rowkey，从而得到想要的数据。目前比较流行的二级索引解决方案有Lily HBase Indexer，Phoenix自带的二级索引，华为Inde...
2018-05-07 10:22:18
408
转载 Kafka操作命令
1. Kafka下载：wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz解压 tar zxvf kafka_2.9.2-0.8.1.tgz启动zookeepernohup bin/zookeeper-server-start.sh config/zookeeper.properties &或者 zkS...
2018-05-02 14:27:40
218
转载 Java 堆内存溢出梗概分析
引用原文：Java Out of Memory Heap Analysis 链接：https://dzone.com/articles/java-out-of-memory-heap-analysis 译者：dreamanzhao, 无若任何使用过基于 Java 的企业级后端应用的软件开发者都会遇到过这种低劣、奇怪的报错，这些报错来自于用户或是测试工程师： java.lang.OutOfMemor...
2018-04-26 11:15:27
160
转载 [JAVA]Apache FTPClient操作“卡死”问题的分析和解决
最近在和一个第三方的合作中不得已需要使用FTP文件接口。由于FTP Server由对方提供，而且双方背后各自的网络环境都很不单纯等等原因，造成测试环境无法模拟实际情况。测试环境中程序一切正常，但是在部署到生产环境之后发现FTP操作不规律性出现“卡死”现象：程序捕获不到任何异常一直卡着，导致轮巡无法正常工作（由于担心在轮巡时间间隔内处理不能完成，我没有采用类似quartz或者crontab的定时任务...
2018-04-01 15:03:59
1804
转载 PLSQL-转义字符&处理
通过PLSQL developer 在进行数据库维护时，经常会碰到一些包含'&'的Update 或者Insert语句，无法插入，特别是数据量很大时。解决办法是，将"&"，用" ' || CHR(38) || ' "替换。 出错语句： INSERT INTO DAVID_TEST VALUES ('1', '新浪', 'HTTP://SINA.COM?A=B&C=D...
2018-03-27 17:36:41
7243
转载 Spark Streaming重复消费,多次输出问题剖析与解决方案
1，Exactly once 事务什么事Exactly once 事务？数据仅处理一次并且仅输出一次，这样才是完整的事务处理。Spark在运行出错时不能保证输出也是事务级别的。在Task执行一半的时候出错了，虽然在语义上做了事务处理，数据仅被处理一次，但是如果是输出到数据库中，那有空能将结果多次保存到数据库中。Spark在任务失败时会进行重试，这样会导致结果多次保存到数据库中。如下图，当运行在Ex...
2018-03-16 12:24:58
3072
转载 服务接口API限流 Rate Limit
一、场景描述 很多做服务接口的人或多或少的遇到这样的场景，由于业务应用系统的负载能力有限，为了防止非预期的请求对系统压力过大而拖垮业务应用系统。 也就是面对大流量时，如何进行流量控制？ 服...
2018-02-10 10:29:30
692
转载 Flume 各种坑
1. 背景最近一段时间在做安全大数据分析环境搭建以及初步的数据采集、录入工作，这个过程中用到了 Hadoop+HBase+Flume+Kafka这套大数据分析的工具。在数据分析环境架构中，Flume-1.7.0 主要用来收集各种来源、形式的数据，并把数据传给 Kafka 集群，由 Kafka 集群统一分发给 HBase集群。用 Flume ，主要用到的 Source 是 spool
2018-02-07 14:08:03
767
转载 eBay的Elasticsearch性能调优实践
Elasticsearch是一个基于Apache Lucene的开源搜索和分析引擎，允许用户近实时地存储、搜索和分析数据。Pronto是eBay托管Elasticsearch集群的平台，使eBay内部客户易于部署、运维和扩展Elasticsearch以进行全文搜索、实时分析和日志事件监控。今天Pronto管理着60多个Elasticsearch集群，达2000多个节点。日采集数据量达到180亿个文
2018-02-07 13:39:55
352
转载 十个惊人的Scala集合操作函数
当我操作 Scala 集合时，我一般会进行两类操作：转换操作（transformation ）和行动操作（actions）（有些人喜欢叫他为聚合操作）。第一种操作类型将集合转换为另一个集合，第二种操作类型返回某些类型的值。 本文我将集中介绍几个日常工作必备的 Scala 集合函数，如转换函数和聚合函数。文章最后，我会展示如何结合这些函数以解决具体问题。文章目录1
2018-02-05 09:56:41
914
转载 AMP性能监控Javaagent、javassist核心技术
1．javaagent基本使用什么是javaagent?javaagent 是java1.5之后引入的特性，其主要作用是在class 被加载之前对其拦截，已插入我们的监听字节码。上篇文章我们说了字节码，字节码插桩技术是个重点也是个难点。必须要学会喔。javaagent使用说明构建一个javaagent 示例jar包org.ap
2018-01-05 16:23:07
3402
JBOSS7部署EAR出现 java.lang.VerifyError
2016-07-19
Hibernate的executeSQLQuery问题
2016-06-29
hibernate级联查询的问题
2008-10-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人