大齐的学习笔记

翻译 flink 事件时间

当流媒体程序在处理时间运行时，所有基于时间的操作（如时间窗口）将使用运行相应操作员的机器的系统时钟。例如，每小时处理时间窗口将包括在系统时钟显示整整一小时的时间和到达特定操作员的所有记录。处理时间是最简单的时间概念，不需要流和机器之间的协调。它提供了最佳的性能和最低的延迟。然而，在分布式和异步环境中，处理时间并不能提供确定性，因为它容易受到记录到达系统的速度（例如来自消息队列）的影响，以及记录在系...

原创 flink 流的概念

Flink为批处理以及流处理统一提供table API和sql支持。意思是Table Api还是SQL查询有着同样的语义，不论有界限的批处理还是无界限流式处理。因为关系函数和sql都原本设计为批处理，而关系查询在无边界的流式输入没有有边界的批处理查询容易懂。本章节，我们讨论围绕flink关系API在流式数据上，实际的界限以及流的特殊配置参数。数据流的关系查询动态表以及持续查询    在数据流上定义...

转载 maven pom.xml加载不同properties配置

1.pom.xml===========================                                 test                         test                                    true                                           preproduction  

MongoDB中ObjectId的误区，以及引起的一系列问题

近期对两个应用进行改造，在上线过程中出现一系列问题（其中一部分是由于ObjectId误区导致的）先来了解下ObjectId： TimeStamp 前 4位是一个unix的时间戳，是一个int类别，我们将上面的例子中的objectid的前4位进行提取“4df2dcec”，然后再将他们安装十六进制 专为十进制：“1307761900”，这个数字就是一个时间戳，为了让效果更佳...

MongoDB中ObjectId的误区，以及引起的一系列问题

ix的时间戳，是一个int类别，我们将上面的例子中的objectid的前4位进行提取“4df2dcec”，然后再将他们安装十六进制 专为十进制：“1307761900”，这个数字就是一个时间戳，为了让效果更佳明显，我们将这个时间戳转换成我们习惯的时间格式（精确到秒) $ date -d '1970-01-01 UTC 1307761900  sec'  -u2011年 06月 11日 星期六 03:11:40 UTC 前 4个字节其实隐藏了文档创建的时间，并且时间戳处在于字符的最前面，这就意

原创 MongoDB中ObjectId的误区，以及引起的一系列问题

近期对两个应用进行改造，在上线过程中出现一系列问题（其中一部分是由于ObjectId误区导致的）先来了解下ObjectId：

原创 基于mongoDB的capped collection的性能优化

基于mongoDB的capped collection的性能优化

基于mongoDB的capped collection的性能优化

MonitorLogging改造(消息接入)改造前架构：可以看出原来的流程中，大量业务分析，业务接入耦合在web服务层。大量操作，导致线程线性的挂起线程。改造后： 将业务通讯抽象成为MonitorQueueManager，并将业务主题抽象放到各自的collection中。形如：抽象为一个结构topic,content针对业务分为若干个主题。方便以后...

基于mongoDB的capped collection的性能优化

改造后： 将业务通讯抽象成为MonitorQueueManager，并将业务主题抽象放到各自的collection中。形如：抽象为一个结构topic,content针对业务分为若干个主题。方便以后切换到mq或者其他的队列中。 MonitorSchedule改造（消息集中处理）原有处理流程当时业务比较少，只有一个主处理流程，所以强耦合到main方法中，扩展基本等于0。加之之前开发比较仓促，编码注释基本没有。现在要将monitorLoging里面的所

原创 ThreadPoolExecutor原理及使用

ThreadPoolExecutor原理及使用

原创 ThreadPoolExecutor原理及使用

大家先从ThreadPoolExecutor的总体流程入手： 针对ThreadPoolExecutor代码，我们来看下execute方法：public void execute(Runnable command) { if (command == null) throw new NullPointerException(); //pool...

原创 ThreadPoolExecutor原理及使用

throw new NullPointerException(); //poolSize大于等于corePoolSize时不增加线程，反之新初始化线程 if (poolSize >= corePoolSize || !addIfUnderCorePoolSize(command)) { //线程执行状态外为执行，同时可以添加到队列中 if (runState == RUNNING &&

spring framework 4 源码阅读

前面写了几篇spring 的介绍文章，感觉与主题不是很切合。重新整理下思路，从更容易理解的角度来写下文章。spring 的骨架spring 的骨架，也是spring 的核心包。主要包含三个内容1.context：spring 的上线文-------导演2.core：spring的核心包，主要包括spring所以用到的工具-------道具3.beans：spring的be...

spring framework 4 源码阅读

原创 spring framework 4 源码阅读

前面写了几篇spring 的介绍文章，感觉与主题不是很切合。重新整理下思路，从更容易理解的角度来写下文章。spring 的骨架spring 的骨架，也是spring 的核心包。主要包含三个内容1.context：spring 的上线文-------导演2.core：spring的核心包，主要包括spring所以用到的工具-------道具3.beans：spring的bean实例 -------演员

转载 泛化、依赖、关联、聚合、组合

时间久了不用了，慢慢慢慢也就淡忘了，写一盘博客记录下类的关系一般分为泛化（继承，实现），依赖，关联，聚合，组合泛化可以看出是Tiger属于Animal，是Animal的一实现。箭头的意思是Tiger/Dog是Animal的一个泛化继承

原创 spring framework 4 源码阅读(2)---从ClassPathXmlApplicationContext开始

Application初始化日志15:23:12.790 [main] DEBUG o.s.core.env.StandardEnvironment - Adding [systemProperties] PropertySource with lowest search precedence15:23:12.797 [main] DEBUG o.s.core.env.StandardEnv

spring framework 4 源码阅读(2)---从ClassPathXmlApplicationContext开始

 Application初始化日志15:23:12.790 [main] DEBUG o.s.core.env.StandardEnvironment - Adding [systemProperties] PropertySource with lowest search precedence15:23:12.797 [main] DEBUG o.s.core.env.Stan...

spring framework 4 源码阅读(2)---从ClassPathXmlApplicationContext开始

re.env.StandardEnvironment - Adding [systemEnvironment] PropertySource with lowest search precedence15:23:12.797 [main] DEBUG o.s.core.env.StandardEnvironment - Initialized StandardEnvironment with PropertySources [systemProperties,systemEnvironment]//

转载 IDEA 快捷键整理

1. IDEA内存优化 \IntelliJ IDEA 9\bin\idea.exe.vmoptions------------------------------------------Xms64m-Xmx256m-XX:MaxPermSize=92m-ea-server-Dsun.awt.keepWorkingSetOnMinimize=true

原创 spring framework 4 源码阅读(1) --- 前期准备

spring framework 4 源码阅读 --- 前期准备

spring framework 4 源码阅读 --- 前期准备

在开始看代码之前，需要做的第一件事是下载代码。在这里：https://github.com/spring-projects/spring-framework下载完成了发现使用gradle做的源代码的构建管理工具的。值得庆幸的事情，spring为导入eclipse写了脚本工具，包解压后结构如下：发现了一个脚本文件：import-into-eclipse.bat，今天负责导...

spring framework 4 源码阅读 --- 前期准备

原创 hadoop 1.2.1 安装步骤 伪分布式

最近在系统的学习hadoop课程第一步是安装hadoop1.x，具体安装步骤如下：一、系统安装本文使用centos6.5安装，具体安装步骤省略二、jdk安装下载jdk1.7.0_51解压，在环境中设置环境变量：vi /etc/profile,添加如下行：export JAVA_HOME=/usr/local/jdk1.7.0_51export CLASSPATH=.

原创 heritrix 3.2.0 -- 环境搭建

heritrix作为一个比较经典的开源爬虫，写这篇文章目的是因为，3.X之后的heritrix的介绍以及配置的文章比较少了。heritrix 3.x 以后使用maven 2配置jar包引用，但是总是有好多包没法从maven库下载。所以，这里讲的环境搭建直接使用了编译好的工程来做，heritrix-3.2.0-dist.tar.gz以及源码压缩包heritrix-3.2.0-src.tar.gz

原创 记一次 java程序优化

优化原因环境中部署两个程序：web应用 tomcat   10G（webservice服务端，前端web服务）java应用               5G（webservice客户端，socket客户端）之前的设计思路是打算web应用作为前端不做业务处理，后端使用webservice做能力接入。 1天能力处理量大概在150W次到两百万次左右：并发数量web端口在

原创 heritrix 3.2.0 下载

由于archive.org屏蔽，编译完成版本http://builds.archive.org/maven2/org/archive/heritrix/heritrix/3.2.0/ 无法下载。现将dist版本放到github，方便大家下载学习 github地址如下：https://github.com/xiamizy/heritrix-packageheritrix-3.

原创 elasticsearch 性能测试

最近花很大的经历来做性能测试，把结果整理到了ppt中，可能有个别地方不准，但是可以看看一个趋势。主要分为两部分，一部分是写入elasticsearch性能，一部分是查询测试，elasticsearch的查询性能。当然在elasticsearch1.3.0之后elasticsearch会提供benchmark来评估服务器性能实用情况。硬件配置主机cpumemdisk

原创 spring 4 泛型注入

最近对系统进行改造，发现在泛型实例初始化的时候，得不到想要的泛型。或者需要强制转换。spring 4 开始支持泛型对象初始化，初始化方法如下：注：使用配置文件的方法暂时还没有发现，下面是使用java annotation的方法：package com.mitchz..toolkit.chain;import java.util.List;import java.util.M

原创 系统监控的工具tsar

近期一直在折腾着elasticsearch，需要对硬件进行评估大概几方面 内存 cpu 硬盘 网络。iostatvmstattop几个命令用了一堆，其实需要关注的几个点只要都列出来就可以了 [root@cloud-15 tsar-master]# tsar -l -i 1Time ---cpu-- ---mem-- ---tcp-- ---

原创 haproxy简单负载均衡搭建

最近对负载均衡进行搭建具体方法如下：haproxy 修改部分(haproxy-cfg.cfg)global daemon maxconn 4500 defaults mode http timeout connect 5000ms timeout client 50000ms timeo

原创 highchart 实现mrtg

最近需要对流量图进行重构，<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>流入流出<script type="text/javascript" src="http://ajax.googleapis.com/ajax/libs/jq

原创 iostat 离线安装

由于lucene需要一定的io读写顾安装iostat来对磁盘io进行监控iostat 属于sysstat下的功能git路径如下：https://github.com/sysstat/sysstat第一步，需要下载该文件http://sebastien.godard.pagesperso-orange.fr/download.html第二部，则需要开始编译了，与其他程序安装相似

原创 初识lucene

lucene的介绍网上有好多，再写一遍可能有点多余了。使用lucene之前，有一系列的疑问为什么lucene就比数据库快？倒排索引是什么，他是怎么做到的lucene的数据结构是什么样的，cpu消耗，内存消耗主要因为什么lucene的索引流程以及查询流程是什么样的推荐两篇文章，更进一步了解lucene可以参考lucene与数据库对比部分http://www.che

原创 hadoop 2.3 集群总结

用了近两个礼拜的摸索终于搭建好了hadoop集群，测试性能也符合预期。centos6.4下hadoop2.3集群总结如下：关于环境的设置：             1.关闭selinux （反复折腾了好多次）               vi /etc/selinux/config SELINUX=disabled               2.关闭防火墙

原创 centos 6.5 hadoop 2.3 初配置

为了安装hadoop废了好大的劲才把esxi5.5给装好。同时装了centos6.5，由于hadoop里面有个免密码登陆所以这里讲的就是免密码登陆。看了大家的博客文章发现转发的一部分，写ubuntu的一部分，写centos的又有一部分。可能自己理解的程度有限，现把解决的部分问题列出来，供大家参考:1.我装好了centos却发现没有网卡了，大家记住检查下： vi /etc/s

原创 esxi5.5 安装，虚拟机复制

尝试在vmware workstation上安装hadoop，感觉太慢了。好在家里的台式机配置还可以，所以就想在它上面虚拟出几台服务器出来。台式机配置如下：虚拟出来三个应该没问题了吧。第一步，下载esix5.5（去官网上看是需要注册，然后就是无尽的等待）网盘地址：http://pan.baidu.com/s/1kTG5w0J里面有个问题，就是针对realtek网卡不

原创 ElasticSearch大批量数据入库

最近着手处理大批量数据的任务。现状是这样的，一个数据采集程序承载大批量数据的存储和检索。后期可能需要对大批量数据进行统计。数据分布情况13个点定时生成采集结果到4个文件（小文件生成周期是5分钟） 名称 大小（b）gather_1_2014-02-27-14-50-0.txt

原创 dubbo初体验

最近需要开发部门中某个大数据量的提取的功能，加到了一个ElasticSearch的群。在群里听说到一个框架叫dubbo，阿里系开源软件。听到群友谈的神乎其神的，什么什么功能切分多协议栈，高并发等等等。最最重要的一点，还有一个控制台，计数器。于是联想到了手头的一个功能的优化。现状是这样的：功能高度冗余，新研发功能使用效率很低，所以在不停的新研发功能功能集中到一份代码中，每次重新编译痛苦的不

原创 log4j日志分模块打印，同时不打印到控制台上

由于定时刷新程序的启用，导致catalina.out配置文件中打入大量日志，致使程序调试困难。         无法正常查看日志。所以客户要求将性能流量配置日志迁移出catalina.out目录。修改log4j配置文件后，发现      分文件中有了日志输出，但是，catalina.out文件中依然有性能流量日志输出。          原始配置方法如下：