crateDB驱动安装

streamsets中有一个jdb target,我们可以利用这个target将数据灌到crateDB 将驱动放到下面位置,需要重启streamsets streamsets-libs/streamsets-datacollector-jdbc-lib/lib/crate-jdbc-2.1.8...

2017-11-03 13:08:16

阅读数 420

评论数 0

mongoDB复制集维护和切换——内存限制

使用mongoDB是因为用到了graylog,部署运行2-3个月之后,发现mongoDB占用物理内存巨大,50G+,公司的数据架构居然质问我为什么不设置-Xmx堆内存大小,我尼玛只能呵呵醉了! 简单说mongoDB似乎没有配置项可以限制使用物理内存,粗略理解mongoDB本身不管理内存块,而是全...

2017-09-19 11:44:06

阅读数 764

评论数 0

elasticsearch 笔记(一)安装

elasticsearch一开始接触的是1.x版本,现在迅速跳到了5.x版本,妈的,这什么情况 现在开始安装5.x版本,体验下kibana的新特性 1、下载elasticsearch,安装 elasticsearch-5.1.2.tar.gz 启动的时候,报错说不允许r...

2017-06-08 14:54:10

阅读数 278

评论数 0

kafka的log存储是怎么设计的?

Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到t...

2017-02-10 14:04:28

阅读数 896

评论数 0

actor模型(四)

浪起来,开始学习下akka到底怎么用,下面以实现一个wordcount为例,写一个Java版本的小程序

2017-01-06 10:21:47

阅读数 884

评论数 0

actor 模型原理 (三)

上面这个图呢,展示了老师这个actor收到消息之后,给学生回复的过程 DriverApp 发送一个初始化 InitSignal 消息给 StudentActor  StudentActor 收到这个消息之后给老师发了一个 QuoteRequest 老师 回复了一个 Quote...

2016-12-22 17:30:38

阅读数 1135

评论数 0

actor 模型原理 (二)

现在开始研究一下akka的actor模型是怎么实现的: 老外写了一个程序说明actor的工作机制,下图就是学生给老师发邮件的具体示意图,那么1-6一共6个步骤 1、学生创建actor system ,就是初始化了ActorSystem 2、学生发邮件,发邮件并不是妈的找个16...

2016-12-22 17:15:21

阅读数 4016

评论数 1

actor 模型原理 (一)

actor模型很牛逼,很流行,但是我不会,妈的,国内搜出来的讲解actor的都看不太懂,讲不太清,下面哥们就翻译一下老外的文章,以粗浅的方式体会一下到底什么是actor模型? 多线程开发要处理并发,锁,线程同步等一系列问题,一不小心,弄个大的bug,所以一般都不愿意自己动手写,能不能换一种思路...

2016-12-22 15:31:08

阅读数 9491

评论数 3

streamsets Data Collecotor启动流程分析

exec ${JAVA}        -classpath  ${BOOTSTRAP_CLASSPATH}         ${SDC_JAVA_OPTS}        com.streamsets.pipeline.BootstrapMain \        -...

2016-12-16 11:24:48

阅读数 2905

评论数 0

spring boot 笔记

spring boot对于简化java web开发非常有帮助,基本上不需要什么配置,就可以直接运行起来一个web服务 org.springframework.boot spring-boot-starter-parent 1.3.8.RELEAS...

2016-10-26 20:17:16

阅读数 276

评论数 0

ambari-server的离线安装

ambari-server的安装 1、机器环境 centos 6 2、准备好两个文件 /etc/yum.repos.d/ambari.repo和/etc/yum.repos.d/hdp.repo $cat ambari.repo #VERSION_NUMBER=2.2.2.0-460 ...

2016-10-09 14:13:52

阅读数 4111

评论数 1

metrics小常识

Metrics,我们听到的太多了,熟悉大数据系统的不可能没听说过metrics,当我们需要为某个系统某个服务做监控、做统计,就需要用到Metrics。 举个例子,一个图片压缩服务: 每秒钟的请求数是多少(TPS)?平均每个请求处理的时间?请求处理的最长耗时?等待处理的请求队列长度? ...

2016-07-13 17:27:09

阅读数 14448

评论数 0

jstorm的cgroup资源隔离机制

本文研究一下jstorm使用cgroup做资源隔离的情况,github有文档: https://github.com/alibaba/jstorm/wiki/%E8%B5%84%E6%BA%90%E7%A1%AC%E9%9A%94%E7%A6%BB 这个文档告诉你怎么开启cgroup,但对于不太了...

2016-05-04 23:49:27

阅读数 3462

评论数 0

集群管理和分布式任务 Apache helix 抽象模型

apache helix是一个通用的集群管理框架,既能做分布式task,也能做分布式存储,还可以做服务发现,分布式锁等,大大简化了你系统的设计,分布式系统开发过程中,一些通用的部分,它全部给你抽象实现,基于zookeeper。 那么既然是通用,那么必须要高度抽象,只有理解了抽象出来的几个概念,我们...

2016-04-07 21:23:43

阅读数 3005

评论数 0

mybatis 批量插入动态表

作为mybatis初学者,用到mybatis的时候,产生一个需求: 希望程序能够自动建表,1个月建一张表,同时数据批量插入到当前月份对应的表里。 在百度和Google搜了一下,直接给出这种解决例子的文章几乎没有。这里简单记录一下,方便其它有类似需求的同学使用。 一、不涉及spring,裸用myba...

2016-03-16 16:17:50

阅读数 3705

评论数 1

opentsdb 数据写入要点

opentsdb是什么,相信大家都已经了解了,同时它的存储设计也很cool,按照前面的文章你可以很容易搭建一个tsd进程。搭建好之后,你可能着急往里扔些数据,赶紧用起来,那么实际生产使用的话,我们还需要深入研究一下这个系统的特点,看一下到底怎么才能发挥它的最大性能. opentsdb支持...

2016-03-10 15:55:11

阅读数 7735

评论数 0

集群管理和分布式任务 Apache helix

这个题目写的有点大,但是我一直想写一个这方面文章,虽然我没系统学过分布式系统理论,但是接触了这么多分布式系统之后,隐约感觉这些系统有很多共通之处。现在如果我让你开发一个分布式系统,准确点叫分布式task系统,比如从kafka订阅数据,然后写到hdfs,归档。注意不光是能支持某一个topic,不只是...

2016-03-08 22:43:41

阅读数 4027

评论数 2

hbase的并发控制机制

hbase在阿里在线场景有非常多的应用,HBase和传统数据库一样提供了事务的概念,只是HBase的事务是行级事务,可以保证行级数据的原子性、一致性、隔离性以及持久性,即通常所说的ACID特性。 因为跨行比较难做,两行就有可能在不同的region,而不同的region就有可能跨regions...

2016-03-07 17:44:23

阅读数 2824

评论数 0

opentsdb 编译和安装

opentsdb在上一家公司就搞过一段时间,最近又有些时序数据需要分析处理,正好公司也在做这方面的东西,模仿opentsdb,开发了一个hitsdb,卧槽。 好吧,先来记录一下,这个东西怎么安装。 首先,看下这个东西的api跟公司的hbase是否兼容,公司都是0.94版本演进过来的,opentsd...

2016-03-03 13:58:02

阅读数 3132

评论数 0

jstorm的acker机制

JStorm/storm可以保证从spout发出的每条消息可以被完全处理,什么叫完全处理? 为了帮助理解,我们参考storm官网的几张图和例子说明这个原理,下面是个wordCount的例子,我们从spout发出来一条消息,这个消息就是一行文字,被下游的bolt切分处理,加工,然后再往后发,cou...

2016-02-23 16:16:01

阅读数 4252

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭