- 博客(141)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 pyspark job code complete
大数据平台支持pyspark作业开发，为了方便python 代码编写，提供代码自动补全、语法检测、代码格式化功能，编辑器使用ACE，使用tornado 把这个三个功能封装成rest接口，给编辑器使用 #!/usr/bin/env python2#coding=utf-8import tornado.ioloopimport tornado.webfrom torna...
2017-09-13 21:12:53
255
Spark HiveServer2中使用jdbc客户端用户运行spark job
Spark HiveServer2中使用jdbc客户端用户运行spark job 大致问题与这篇文章分析相同【[HiveServer2中使用jdbc客户端用户运行mapreduce](http://blog.javachen.com/2013/10/17/run-mapreduce-with-client-user-in-hive-server2.html)】，但因为是spark引擎，具...
2017-05-05 10:34:59
356
原创 spark sql 高效迭代计算
如下sql代码离线计算指标，spark 直接执行 sql，每一个create table ... select 语句都是一个action，创建hive表，数据写入hdfs，下一个sql依赖表，需要从hdfs中重新读取数据，整个作业产生13 个action，与使用mapreduce引擎计算相比优势不是太明显，不能最大化发挥spark 迭代计算的优势。为了解决这个问题，有两种方案：[list]...
2017-04-21 16:52:25
1282
原创 Akka Kill vs. Stop vs. Poison Pill
Both stop and PoisonPill will terminate the actor and stop the message queue. They will cause the actor to cease processing messages, send a stop call to all its children, wait for them to terminate, ...
2015-04-29 23:36:52
200
原创 2015
[b]scala[/b][b]akka[/b][url=http://hongbinzuo.github.io/2014/12/16/Akka-Tutorial-with-Code-Conncurrency-and-Fault-Tolerance/]让并发和容错更容易：Akka示例教程（译文）[/url][url=http://manuel.bernhardt.io/2014/04...
2015-02-07 15:15:23
109
原创 2014
[b]收藏比较好的文章，记录一年学习的知识，持续更新...[/b]1月份[list][*][url=http://www.bitstech.net/2014/01/07/log-best-practice/]最佳日志实践[/url][*][url=http://blog.sae.sina.com.cn/archives/1988]Linux下高并发socket最大连接数所受的各...
2014-02-02 19:51:47
146
LongAdder 高性能原子计数器
在大数据处理过程，为了方便监控，需要统计数据，少不了原子计数器。为了尽量优化性能，需要采用高效的原子计数器。在jdk8中，引入了LongAddr，非常适合多线程原子计数器。与AtomicLong做了一个测试，LongAdder在多线程环境中，原子自增长性能要好很多。为了更加清楚的了解LongAddr原理。找到几篇不错的文章：[list][*][url]http://minddoto...
2013-11-09 12:26:56
498
jdk、lang和guava split 字符串效率测试
最近要做一个数据采集分析的系统，每五分钟采集6G数据，采集数据每一行为一条完整记录，对一条记录split处理。为了找到最优split方法，测试jdk、lang和guava split 字符串效率。测试读取250m的文件，有100万行数据，测试数据对比：[img]http://dl2.iteye.com/upload/attachment/0088/8015/b9590c84-2...
2013-08-30 17:27:59
257
strom 安装（redhat 6.0）
详细安装步骤参考：http://blog.linezing.com/2013/01/how-to-install-and-deploy-storm-cluster由于之前已经安装hbase，已经安装过zookeeper，省略安装zookeeper集群。系统自带python 2.6.5版本，不再安装python。一下记录在安装过程中，依赖包的解决!一：安装ZMQ 2.1.7 1：...
2013-04-18 15:42:56
113
hadoop hbase hive 集群安装
[b]一：卸载redhat操作系统默认jdk[/b]1：查找安装默认安装jdk rpm -qa | grep java2：删除jdk rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.21.b17.el6.x86_64[b]二：安装oracle jdk[/b]1：使用root账号安装2：创建目录：/usr/java...
2013-04-17 09:32:17
151
原创 java项目构建部署包
Java 工程在生产环境运行时，一般需要构建成一个jar，同时在运行时需要把依赖的jar添加到classpath中去，如果直接运行添加classpath很不方便，比较方便的是创建一个shell脚本。在公司项目中看到把工程代码和依赖jar包合并到一块，省去设置classpath的麻烦。但这样把项目jar依赖绑定死，被其它项目引入，容易造成jar依赖冲突，如果用maven管理java项目，...
2012-09-29 14:14:56
631
原创 基于淘宝diamond改造的配置管理服务器
基于淘宝diamond改造的配置管理服务器，主要做了如下改造1：重新设计了界面，基于bootstrap样式2：重新重构了工程的pom.xml,更新jar3：去掉了不必要的功能代码4：项目编码改成了UTF-85：数据库表config-info增加了字段username和description,用于控制登录用户只能操作自己的配置数据。代码地址：https://githu...
2012-06-08 16:11:03
136
原创 test环境中自动完成从cvs更新代码、构建部署等，简化部署过程！
之前文章中描述了怎么利用maven profile分dev、test、pro三种环境，为了方便test环境中部署最新代码，利用maven和shell，执行脚本完成代码从cvs的更新、构建、undeply、停止tomcat、deploy、启动tomcat过程。主要借助三个插件帮助我完成上面所有动作1：maven scm plugin 从cvs更新代码2：maven cargo plugin ...
2012-03-29 11:11:32
164
Spring Framework & BIRT
用了很长行时间的birt,这篇文档对我很有指导意义，记录下来，：）[url]http://www.springsource.org/BusinessIntelligenceWithSpringAndBIRT[/url]
2012-02-10 13:08:20
123
使用yui压缩生产环境下的js和css文件。
本文是[url=http://www.iteye.com/topic/1119665]借助Maven为项目划分development，test，production环境[/url]的延续。为了提高页面响应速度，一般要对页面应用的js和css文件进行压缩、合并。但在开发环境不能压缩和合并，避免影响前端web开发调试。这里提出我的实现方案，利用profile特性，判断是在test和produc...
2012-01-10 21:32:01
162
借助Maven为项目划分development，test，production环境
很早学习rails的时候，rails在服务器启动的时候，通过参数可以切换不同运行环境。也许spring从rails吸取了这样的功能，从spring3.1就提供了profile功能，方便我们为不同的profile使用不同的bean。能够想到的应用场景就是数据源的配置，在production profile中，可能通过jndi获取数据源，而在开发环境中配置jndi比较费事，使用durid配置数据源，项...
2012-01-09 22:23:02
152
原创 Method Validation With Spring 3.1 and Hibernate Validator 4.2
JSR 303 and Hibernate Validator have been some awesome additions to the Java ecosystem, giving you a standard way to validate your domain model across application layers. Combined with the annotations...
2012-01-03 16:15:49
103
基于hibernate的dao，包含springjdbc+freemarker代码！
最近重新整理了一份基于hibernate dao,同时包含spring jdbc的小扩展，sql写在配置文件，可以使用freemarker动态构建sql。这样可以替代mybatis。更加灵活！代码在附件中。有需要可下载[code="java"]基于HibernateTemplate扩展的泛型Dao基类，部分方法直接调用HibernateTemplate中方法，增加一些查询方法，直接传入参数...
2011-12-22 08:59:54
93
StarFlow应用演示地址
[b]StarFlow应用演示地址：[/b][url]http://helloflow.net[/url][b]项目地址[/b]：[url]http://code.google.com/p/starflow/[/url]通过申请，starflow可以提交到maven远程仓库！[code="java"] com.googlecode.starflow ...
2011-11-28 18:06:57
245
StarFlow一个商业项目运用
很高兴StarFlow用不少项目使用，下面截图济南的一个项目截面图，其中做了一些服务工作。[img]http://dl.iteye.com/upload/attachment/590977/f38247c1-21f7-34f5-a58d-6633c707d1d0.jpg[/img]...
2011-11-18 16:24:17
170
StarFlow开发日志（20110423）
今天在家休息，完善人工环节环节操作功能。在操作管理中，配置在页面中显示的操作button，如下图所示：[img]http://dl.iteye.com/upload/attachment/469432/c891ef2e-4183-377f-a298-835e4e940d69.png[/img]在流程配置中，人工环节可以选择操作button，这样人工环节页面模板可以显示相应butto...
2011-04-23 16:11:38
116
EOS 中使用freemarker模板生成PDF文件导出
最近做一个项目，需要导出pdf文件，项目中之前有这样的需求，使用itext直接生成一个导出的文件格式，格式复杂点，实现起来很麻烦，也不好控制。想到如果用html生成PDF，会容易的多。搜索以后，发现使用flying saucer和freemarker可以满足我的要求，实现也不复杂。和之前做 导出excel的方案类似。。。附件中提供具体的实现方式，稍后把该方案实现到StarFrame中去...
2011-03-31 20:13:25
125
birt 数据源问题
很长时间没有写文章了。今天简单记录一下最近工作中遇到的问题。。。项目中用birt做报表，快上线测试，发现birt连接tomcat中配置的数据源一直增长，无法释放，这可吓坏了。tomcat默认使用的是dbcp。也更换了dbcp到最新版本，依然如此。最后换c3p0，经过测试，连接数比较稳定。[code="java"] [/code]一个比较复杂点的报表图，[i...
2011-03-28 14:03:48
100
StarFlow帮助文档
最近有空写了一个StarFlow帮助文档，希望对推动StarFlow应用有所帮助，文档不是很详细，以后会慢慢细化。文档参与考bps了，表示谢谢！ :D 目录结构：[img]http://dl.iteye.com/upload/attachment/420387/a273c2d1-3ad8-3eb0-945c-8186a3975444.png[/img]...
2011-02-18 11:13:18
164
使用zookeeper实现静态数据中心化配置管理
使用zookeeper实现静态数据中心化配置管理 各个项目都会存在静态数据配置，这些数据平台变化很少，为提高性能一般采用缓存的方式缓存数据。如果采用分布式缓存，网络成本比较高不太适合一般采用本地缓存，在单机环境下修改缓存数据方式比较简单，更新数据库的同时，也修改更新本地缓存，但在集群模式下可就没有这么简单，最简单直接的方式就是一台台服务器等去修改，费时费力。或者通过jms消息...
2011-01-29 17:40:05
186
原创 Using Default Values for Properties in Spring
[code="java"] ... ...[/code]
2011-01-05 19:29:18
107
NO Code直接根据Wsdl生成SOAP报文，发送http请求调用web service
作为客户端调用web service通用的做法，通常利用axis或cxf生成客户端代码，如果调用的服少还能应付，如果调用服务比较多，生成的代码很多，很难管理，自己以前就是这样干。 :( 想到过wsdl解析生成soap报文，再通过httpclient发送请求，由于各种服务类型和服务样式，兼容性很难处理，没有去实施。 最近接触soapui和camel时间比较多，从这两个工具中找到我想...
2010-12-16 17:38:05
1437
三种Singleton的实现方式
三种Singleton的实现方式，一种是用大家熟悉的DCL，另外两种使用cas特性来实现。[code="java"]public class LazySingleton { private static volatile LazySingleton instance; public static LazySingleton getInsta...
2010-12-10 09:49:08
101
Thread.sleep 四种标示方式
线程暂停10秒[code="java"]Thread.sleep(10000)Thread.sleep(TimeUnit.MILLISECONDS.convert(10, TimeUnit.SECONDS)Thread.sleep(TimeUnit.SECONDS.toMillis(10))TimeUnit.SECONDS.sleep(10)[/code]...
2010-12-03 22:34:41
147
camel web service Component 动态代理功能
随着企业信息化建设的发展，企业应用系统越来越多（某省电信软件系统有38套），而各个系统之间不是相互独立，彼此之间是有数据交互，参与建设的系统中，经常会与开通、crm等系统进行交互。就目前企业应用，主要使用web service进行接口交互。为了管理监控这些繁复多样的接口，服务集成的应用开始在企业中得到重视，在电信行业中，上至集团，下至省公司，都在加紧建设系统之间的服务集成。 在建...
2010-11-30 09:21:28
494
StarFlow 与J2EE项目的应用集成
StarFlow工作流已经完成有段时间了，这段时间一直做Flex版的流程设计器。同时开发一个StarFrame应用集成工程，包含基本的权限管理、基于birt报表和集成StarFlow工作流，今天完成了一个请假流程集成实例。借此简要描述一下集成的思路。等到元旦的时候会发布源代码。 StarFlow没有表单设计器，在项目中表单比较复杂，表单设计器没有多大用处。为了保持StarFlow...
2010-10-29 14:17:08
142
Spring AOP 记录系统操作日志，description支持Spring Expression
一般系统需要记录用户关键部分的操作记录，方便跟踪和审计。使用Spring AOP是完成这项任务的最好选择（为其他更好的方法？）。基本思路为，定义一个@OperationDescription。在要记录的方法上面添加@OperationDescription，其中type定义为操作类型方便查询，description记录的操作信息模板，支持Spring Expression语法，通过LocalV...
2010-08-25 15:40:57
231
充血模型设想实现（2010/07/30更新）
早两年，贫血模型和充血模型讨论的很热烈，但在具体实现时争论的比较多，关键还是由于Java不比动态语言那么容易去实现，如果能够在领域模型中动态添加相关访问数据库的方法，会是什么情况。。。 最近对操作字节码比较感兴趣，想在编译领域模型时，动态添加相关的字节码，达到丰富领域模型，同时需要hibernate 的支持，获取所有@Entity的领域模型，添加HibernateTemplate...
2010-07-19 23:12:22
130
Java Instrutment后门，偷着乐
早上六点多就醒，睡不着。本人没有睡懒觉的能力，杯具.... 可能大家对btrace比较熟悉，是一款就能在不改动当前程序的情况下，运行时的去监控Java程序的执行状况，例如可以做到内存状况的监控、方法调用的监控等等。实现机制是attach api + asm + instrumentation。Java Instrutment一个是允许在类加载之前，修改类字节，从JDK5中开始提供...
2010-07-10 08:54:34
248
MyEclipse Profile 结合visualvm 监控内存泄露
VisualVM是集成了多个JDK命令工具的一个可视化工具，它主要用来监控JVM的运行情况，可以用它来查看和浏览Heap Dump、Thread Dump、内存对象实例情况、GC执行情况、CPU消耗以及类的装载情况。在JDK Update7之后，VisualVM作为JDK的一部分发布，但同时VisualVM也发布独立的版本。VisualVM必须运行在JDK1.6以上的VM环境下，但可以用它...
2010-07-06 11:30:27
140
JDK5 内存泄露定位方法 - hprof
Diagnose common runtime problems with hprofhttp://www.javaworld.com/javaworld/jw-12-2001/jw-1207-hprof.html
2010-07-03 15:05:08
125
JDK6内存泄露定位方法 - jmap
编写java程序最为方便的地方就是我们不需要管理内存的分配和释放，一切由jvm来进行处理，当java对象不再被应用时，等到堆内存不够用时，jvm会进行垃圾回收，清除这些对象占用的堆内存空间，如果对象一直被应用，jvm无法对其进行回收，创建新的对象时，无法从Heap中获取足够的内存分配给对象，这时候就会导致内存溢出。而出现内存泄露的地方，一般是不断的往容器中存放对象，而容器没有相应的大小限制...
2010-07-03 15:03:02
145
获取memcached缓存对象数量，统计在线用户数据量
项目需要统计在线用户数量，系统部署在集群环境下，使用会话粘贴的方式解决Session问题。要想得到真实在线用户数，必须是所有节点的总和。这里考虑使用memcached存放用户登录数据，key为userid统计在线用户数据，只需要统计key的总数。memcached因为性能的缘故，没有提供遍历整个缓存当中对象的功能，不过memcached也提供了很多命令来监控memcached的状态，例如s...
2010-06-29 14:04:15
266
高可用负载均衡部署方案---适用中小应用
1：使用Nginx做两个负载均衡器。其中一个作为备份2：负载均衡器绑定一个虚拟IP。用户通过虚拟IP访问应用，由负载均衡器进行代理。如果其中一个应用节点失效，Nginx会从负载均衡器中去掉，等到再次可用时，再加入其中。3：如果负载均衡器1宕机，负载均衡器2接手工作，通过有一个后台作业，不停运行监测，如果载均衡器1不可到达。就给本机添加同一虚拟IP。这样用户访问就被负载均衡器2接手工作，用户...
2010-06-24 16:37:37
120
RabbitMQ 三种Exchange
[b]Direct Exchange[/b] – 处理路由键。需要将一个队列绑定到交换机上，要求该消息与一个特定的路由键完全匹配。这是一个完整的匹配。如果一个队列绑定到该交换机上要求路由键 “dog”，则只有被标记为“dog”的消息才被转发，不会转发dog.puppy，也不会转发dog.guard，只会转发dog。[img]http://dl.iteye.com/upload/attach...
2010-06-13 11:59:40
360
空空如也
淘宝图片上面的连接url的设计有什么特别考虑？ 有安全的考虑？
2012-06-16
weblogic session 不能被清除
2008-07-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人