自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 线程池 allowCoreThreadTimeOut 小知识

关于线程池:allowCoreThreadTimeOut(true) 的小知识点1.背景 检查别人程序发现堆内存2G,但是常驻内存res到3.2G了,经过一系列操作发现线程特别多(1000+), 当然有重复创建线程池的问题。除此之外,由于是数据域应用,为了加速查询,会定时把数据库数据load到缓存,还不部分是应付也个页面N次(20+)查询,希望能支持稍微高一点的并发响应。所以连接池各方面设置比较大。(线程会持续吃RES内存,不释放,默认1M)2.操作 期望线程数减少,定时任务用了线程线程之后,

2020-06-16 20:57:35 195

翻译 hive udf 唯一bigInt 生成器

一、背景        mysql数据由于自增的bigint 主键,会插入更快,因为能持续往文件末尾插入嘛,因此需要这个东西。        然后呢,服务端有专门生产id的接口,但是数据中心批量插入,肯定会拉暴他们,不让我们一起玩,只能自己玩。 二、方案        1.redis 获取数据段,程序内部自增。        问题:要用外部redis麻烦,而且要持久化...

2018-03-08 17:31:42 312

原创 snappy,lz4 的对比

1.介绍bzip2:一个完全免费,免费专利和高质量的数据压缩LZ4 :非常快速的压缩算法LZHAM :无损压缩数据库,压缩比率跟LZMA接近,但是解压缩速度却要快得多。LZMA :7z格式默认和通用的压缩方法。LZMAT :及其快速的实时无损数据压缩库Snappy :快速压缩和解压缩ZLib :非常紧凑的数据流压缩库ZZIPlib:提供ZIP归档的读权限这里主要看看snappy 和LZ4 的对比...

2017-09-25 16:47:49 2369

翻译 spark shuffer介绍,和操作

一.序言     简单copy下来的,记录一下,翻译有问题 请指出。 Shuffle operations<!--?xml version="1.0" encoding="UTF-8" standalone="no"?-->Certain operations within Spark trigger an event known as the shuffle. ...

2016-09-25 18:36:44 195

翻译 spark-sql应用

一.序言     这里介绍一下我们对spark-sql 的一些简单应用。  二.业务描述     我们需要对大量数据进行分析,包含历史的数据,传统数据库即使用分库分表的中间件,也只能满足基本查询,对于多表关连的分析是不太友好的,因此我们将数据放到hadoop集群,但是并不是所有的JAVA 程序员都能对hadoop 或者hive 进行开发,为了屏蔽这种差异,因此我们在几个分析软件...

2016-03-03 21:32:39 88

原创 Cloudera-hadoop 离线安装

一.序言     这里将介绍Cloudera-hadoop(CDH) 5.5.1的安装,简单布置     我环境是:CentOS 6.5   mysql5.6   jdk1.7     机器3台:hadoop1006,hadoop1007,hadoop1008     主要是内存配置:主节点要求 最好10G ,如果你东西都装主节点。     其他:已经打通ssh 免登陆,S...

2016-01-05 11:57:44 56

翻译 sqoop 数据导入脚本

一.序言     简单分享个sqoop 从mysql 集群导入到hdfs hive-table 里面进行分析的例子。     sqoop1.4.6,hadoop2.7,hive1.2.1 ,因为 环境原因,sqoop 没有升级到2~。~ 二.简单步骤    1.base_import.sh :  集中配置一些链接信息,和公共参数,并引入其他脚本执行    2.base_c...

2015-09-29 10:56:56 188

翻译 数据可视化:Zeppelin+spark

一.序言     最近需要常见数据可视化的东西,主要是方便spark-sql ,方便内部操作方便,因此选择了个数据可视化的,hue 和 zepplin ,hue 是比较强大的,但是spark 方便也是孵化状态,是非apache 的, 先尝试下 Zeppelin 部署,最新0.6的不稳定,编译不过去,就用0.5吧。     下载地址:https://github.com/apache/i...

2015-09-09 10:48:23 306

翻译 spark笔记2-spark-sql 程序

一.序言     这里介绍用idea 跑程序去连接spark-sql->hive-metastore 的小例子,关于服务器上得保证spark-sql/spark-shell 正确执行,然后再用本地的程序去实现,我这里版本用的spark1.4.1+hive1.2.1+hadoop 2.7.1. 二.连接代码     结合笔记1的代码     2.1 maven 配置:...

2015-09-08 16:01:33 73

翻译 spark 笔记1 -- spark程序连接

一.序言     spark 现在用得比较多了,但是开始连接spark 的的时候有些小问题,这里简单记录一下,  我用的spark1.4.1  hadoop2.7 hive1.2.1, 目的想用spark-sql 连接 hive 的metastore,关于集群配置 这暂时不介绍了,例子很多,这里仅仅记录java/scala 连接部分。 二.连接配置     2.1 maven ...

2015-09-07 11:40:07 100

原创 redis sentinel

一.序言     redis 前面介绍了下master-salve ,但是其实它还无法完成故障自动切换的的效果。redis 2.8+ 已经提供了一种相对稳定的机制,防止单点:sentinel  ,地址:http://redis.io/topics/sentinel  二.基本功能点    1.Monitor :它能监控redis 实例是否运行正常    2.Notifi...

2015-08-05 15:14:58 36

翻译 jredis cluster客户端使用

一.序言     前面搭建了个3个msater-slave 的本地集群测试,这里用java 的客户端 进行一些简单测试,看看集群是否生效。     redis client 推荐:http://redis.io/clients     我使用的:https://github.com/xetorthio/jedis 二.测试    maven:    <de...

2015-07-25 10:53:56 131

翻译 redis cluster - 安装

一.序言    前面写了个简单主从,但是3.0后的集群反而一直没配置,先3.0.1 稳定版出来了,准备用用,这里先按照官网搭建一个集群吧,这里是在mac  环境进行的,也仅仅介绍搭建步骤,官网地址:http://redis.io/topics/cluster-tutorial 二.步骤     1.redis 下载 安装的我就省略了,看前面的文章吧。         2...

2015-07-23 14:22:34 47

翻译 源码分析-ConcurrentLinkedQueue

一.序言     现在并发操作中都要求高效,都在想怎么去掉直接加锁带来的线程切换的开销,这里分享自己对concurrentLinkedQueue  的部分代码的理解,看看他无锁的原因,了解大神的设计思路。关于 它的工作流程 参考JDK1.6 :http://ifeve.com/concurrentlinkedqueue/ 本文分析基于JDK 1.7.0_79 二.源码分析...

2015-06-02 11:22:01 29

翻译 lockInterruptibly 和 lock

一.序言    ReentrantLock 锁有好几种,除了常用的lock tryLock 等意外,其中有个lockInterruptibly 用的比较少,看了下JDK 说明,官方的东西总是那么不容易理解,这里用稍微通俗的语言来描述一下。 二.栗子     1.我们用张三和李四 吃水果来描述:        如果张三吃苹果->休息5秒->吃香蕉       ...

2015-05-17 11:19:38 100

翻译 redis maser-salve

一.序言     现在只要中间件 分布式什么的都要涉及主从来提高读的性能,这里根据官网的说明介绍一些内容给大家,我就不全部翻译了,英文好了直接看原文吧。地址:http://redis.io/topics/replication 二.基本介绍     1.redis 不仅支持master-slave  的复制,同时也支持slave-slave 的复制。     2.如果mast...

2015-04-19 19:45:39 38

原创 [转]大型互联网架构概述

一.序言    以前一转过一些文章,这里博主写以及文中的一些链接,都挺好的,转给大家    原文地址:http://my.oschina.net/geecoodeer/blog/202693 本文旨在简单介绍大型互联网的架构和核心组件实现原理。 理论上讲,从安装配置,最佳实践以及源码来剖析各个组件,这个自然是极好的。由于笔者时间以及知识有限,有很多知识没有在工作中亲自实践的机会。...

2015-04-16 10:48:49 38

翻译 spring-redis

一.序言     这里简单介绍spring-redis 的例子,官网介绍的:http://projects.spring.io/spring-data-redis/#quick-start  二.小例子     1.MAVEN 配置,因为是子工程,版本和日志之类的,自己搞定吧~。~       <!-- 3.0 没出来- -先用2.7吧 --&gt...

2015-04-15 16:14:23 35

原创 redis 安装(MAC)

一.序言     这是以redis 3.0 为基础,从官网来的基础安装步骤。官网地址:http://redis.io/download     github介绍:https://github.com/antirez/redis     基础学习:http://try.redis.io/ 二.安装步骤      教程地址:http://redis.io/topics/qu...

2015-04-13 21:25:42 59

原创 activemq 集群master-salve

一、序言        作为一种中间件,很多系统都会依赖它,因此几乎所有的中间件都会考虑挂掉怎么办?压力过大怎么办?因此都得考虑容错以及水平伸缩的问题。 所谓的分布式 集群 Master-Slave 等等概念就由此而生了,他主要是为了高可用性、负载均衡来分摊压力 等效果,这里介绍AMQ 的集群概念和配置。 二、场景描述:       1.如果broker 挂了,那么我们整个依赖...

2015-04-01 15:50:01 72

原创 activem 消息选择器Selector

一、序言       消息大多数情况都是发送到broker 的,在知道Destination 的情况下,都可以消费,因此有些情况下需要我们将消息分组、隔离,或则指定A消息,只能有A消费者消费等等情况,这里做个大概的介绍和实例。 二、实例场景       我们通过有时候我们需要一个queue/topic 通道,然后发送消息,但是我们要对不同消费者接受的消息进行限制,或者说过滤,就...

2015-03-27 15:27:16 124

原创 activemq 应答模式

一、序言       JMS 用于系统解耦有一定帮助,像我们 iteye 的一些系统消息,可能非重要要消息,就没那么严格的限制,统一异步发送就行了,反正上线你就能看到。有些情况下我们需要消息两端进行确认,比如一些比较重要的金额之类的信息。 二、实例场景       我们ERP系统中的财务模块是分开的,当成一个单独的财务系统,那么从ERP那么那送的财务信息,或者财务系统接收了,需...

2015-03-20 13:47:33 303

原创 soa-dubbo

一、序言       现在互联网应用很多,每个应用又以服务的形式提供给其他应用,这样颗粒度比较细,相互影响就会减低,因此提供了很多SOA 的一些RPC的框架,比如:dubbo 、webservice、GRPC、dubbo、commonRPC等,这里先提供一个dubbo 的实例。 二、dubbo 基本工作原理       来源:http://alibaba.github.io/d...

2015-03-12 19:29:27 31

原创 Maven 打jar ,instanll

一、序言       有些情况下,我们需要将公共的工程,或者公共的接口打成jar,然后上传到公共仓库,让其他工程共用,这里我模拟dubbo 的,写一个简单接口工程,然后打成jar,让其他工程使用。 二、实践      1.用idea 建立一个maven 工程,目录结构src->main->java      2.在Java 下面建立一个接口 和一个静态类,并且作为...

2015-03-11 21:02:15 74

原创 ubuntu 基础环境

一、序言       这里记录了安装ubuntu 系统,以及里面常用的东西,jdk,idea,maven,svn,git 等等工具的安装,因为这些动作不是经常操作的,因此这里做一个记录,方便新手或者忘记的时候看看。 二、JDK 安装       1.关于ubuntu 的安装,我这里不介绍了,用的是U盘启动的方式,版本是14.1,直接从官方网站下下来,我8G内存,用的64位的系统...

2015-03-11 14:16:08 35

翻译 spring+activemq(4)-异步消息限流

一、序言       有时候我们追求最快的方式发送消息,我们就采用的异步方式,并且不持久化。但是这样带来的问题有这样几个:       1.如果消费者的消费能力低于生产者,那么消息就会积压在broker, 从而导致broker 可能挂掉。              2.我们知道存放内存的模式,只要出现宕机或者其他问题,容易丢消息,因此得看情况而定          对于问题1...

2015-03-10 17:27:56 371

原创 JAVA 应用性能监控基础

一、序言       这里简单介绍了JAVA 应用程序部署linux 服务器上的一些常用监控信息,虽然现在很多自动化监控的东西,但是一些基本的东西,我们还是需要了解。这里是简单记录一下:  二、操作过程       1.我习惯性先看看 CPU 和内存的使用情况,做一个简单的关注          命令:top 可以关注运行状态          命令:大写P:按CP...

2015-03-09 15:22:51 47

原创 定时分割文件脚本

一、序言       这里有个任务,通过每天用户的登录日志文件,对固定信息进行切割,然后保存到新的文件,并上传到另外的服务器进行处理。 二、日志信息:    当天的日志文件名:webapp-login.log    日志主要内容: [INFO ] [16:09:31] LOGIN - 张三(803521136) - pramms_xxxxxxxxx[INFO ] ...

2015-03-05 20:34:08 71

原创 zookeeper windows 入门安装和测试

一、序言      以下是我对zookeeper 的一些理解:      zookeeper 作为一个服务注册信息存储的管理工具,好吧,这样说得很抽象,我们举个“栗子”。      栗子1号:      假设我是一家KTV的老板,我同时拥有5家KTV,我肯定得时刻监视我KTV 的情况吧,是不是有人打架,或者发生火灾什么的,这时候我会给设置一个视频监控,然后每一家都连接到我的视频监控...

2015-01-04 20:27:06 492

原创 【转】如何合理地估算线程池大小?

原文地址:http://ifeve.com/how-to-calculate-threadpool-size/感谢网友【蒋小强】投稿。如何合理地估算线程池大小?这个问题虽然看起来很小,却并不那么容易回答。大家如果有更好的方法欢迎赐教,先来一个天真的估算方法:假设要求一个系统的TPS(Transaction Per Second或者Task Per Second)至少为20,然后假设...

2014-12-24 12:25:10 74

翻译 spring xmemcached 注解介绍

一、序言       前面介绍了下simple-spring-memcache 的一些基本配置,这里就介绍下 一些注解和简单场景的试用。 二、基本场景和注解使用      2.1.通过 userId 返回数据,先从数据库查询,然后缓存,以便后面直接从缓存获取      @ReadThroughSingleCache      @ReadThroughSingleCac...

2014-12-23 18:04:03 38

原创 simple-spring-memcached 注解配置

一、序言       有了缓存,还是喜欢用注解去使用,本想和spring 写一个类似ehcache 的东西,后来发google 已经提供了spring 和memcache 的 注解配置,那就先拿来用用了~。~。 二、基本配置:       2.1 先把spring 和 memcached 结合起来,创建一个spring-xmemcached.xml 的文件       ...

2014-12-22 21:15:27 35

翻译 memcache windows 基本安装和测试

 一、序言       这里先简单介绍下memcache 缓存在windows 上的安装 以及应用,然后再进行一些简单的测试,客户端用是xmemcached ,因为业界整体效果不错         1.先现在windos 64 位的,我是win8,         参考:http://blog.couchbase.com/memcached-windows-64-bit-p...

2014-12-19 17:15:13 110

翻译 spring+activemq - demo3-topic 持久化订阅

一、序言       demo2 留下了两个问题:      1.我们利用demo2 的配置,在queue 模式下 连续发送10W消息出现出现状况。      2.topic 模式下,消费者重启时间段收不到监听的信息怎么办? 二、问题解析:        1.测试 发送10W消息,中途会出现         socket: tcp://localhost:61616...

2014-12-17 18:26:13 116

原创 activemq topic demo

         这里仅仅记录下topic 模式的的消息情况:     import org.apache.activemq.ActiveMQConnection;import org.apache.activemq.ActiveMQConnectionFactory;import javax.jms.*;import java.io.Serializable;...

2014-12-12 13:54:39 50

原创 spring+activemq - demo2- QUEUE和TOPIC 实现

一、序言       JMS 相关的东西已经出来了很久,本想使用阿里的rocketMQ 发现很多没遵循JMS 规范,暂时就用用activeMq,做一些常用的系统解耦 协同工作,这里还是和spring 进行集成,spring 和JMS 配合还是挺好的。 二、场景       A系统产生了一笔订单,那么我们其他B C 系统会拿到订单的基本信息,然后进行金额的计算 以及 用户资料的分...

2014-12-12 13:53:50 68

翻译 spring +ehcache 持久化数据,重启恢复

          今天有个需求,要求用户登录的时候展示一些信息,但是这些信息跨系统反复调用,比较慢,因此做数据缓存。有些系统不大,就ehcache 就可以了。但是因为有个子系统发布比较平凡,不希望重启之后缓存数据丢失,因此做持久化处理。框架是jfinal+spring+ehcache ,东西没啥区别。         下面是遇到的几个问题:         1.同一个类里面,A方法  ...

2014-12-08 17:24:22 2229

原创 [转]李平:大型网站的灵魂——性能

这篇文章,可以对才入换联网,还没形成整体概念的人,提供一些基础入门,特别从请求开始到结束部分,了解了解 还是不错的。原文地址:http://www.csdn.net/article/2014-09-30/2821940 什么是性能有人说性能就是访问速度快慢,这是最直观的说法,也是用户的真实体验。一个用户从输入网址到按下回车键,看到网页的快慢,这就是性能。对于我们来说,需要去挖掘这...

2014-10-24 14:45:48 39

翻译 mysql 分段统计数据

一、序言       数据库用了很久了,期间也遇到过很多麻烦的SQL,以前一直没好好记录,自己也记不住,挺遗憾的,这次分享的是一个简单的分段统计的问题:student 表{id,name,score} 字段,统计各个分数段的人数。      规则:60以下不及格,60-70差,70-80中,80-90良,90-100优。(好熟悉的感觉....)     二、代码:    ...

2014-06-15 22:21:32 243

原创 一致性 hash 算法( consistent hashing )

 consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在cache 系统中应用越来越广泛;1 基本场景比如你有 N 个 cache 服务器(后面简称 cache ),那么如何将一个对象 object 映射到 N 个 cache 上呢,你很可能会采用类似下面的通用方法计算 obje...

2014-05-30 14:45:50 24

提示
确定要删除当前文章?
取消 删除