liuzeheng-CSDN博客

原创大数据处理平台基础架构-sohu-smc

做数据已经1个季度了，这里再说下我们的整体构架，另外说下现在还有哪些问题。 Sohu-smc 数据处理平台基础架构图如图，左侧是整个大数据处理流程中数据的流向。其中绿色部分是日常工作的重点，黑色部分推荐组做，灰色部分相对固定。数据流程及说明：1：源数据：目前可能的数据来源，主要是一：nginx前端服务器日志（包括业务日志，和统计接口日志。日志可以按接口做

2014-10-22 12:09:56 2433

转载 java内存分析（jmap和jhat使用）

java内存分析（jmap和jhat使用）分类： java2012-07-26 16:54 708人阅读评论(0) 收藏举报javafileserver网络jdk工具以下介绍jdk 1.6自带的内存分析小工具的使用，非常小巧！与jprofiler不一样的效果。举例：对java进程id为16912的进程进行分析1、产生dump文件 c:\>

2014-03-31 14:36:39 1025

转载 vim +sed

vim中字符串出现次数的统计及字符创替换2013-08-01 10:05:17 我来说两句来源：u011156212的专栏收藏我要投稿vim中字符串出现次数的统计及字符创替换 vim中字符串出现次数的查找：在所有行中查找字符串出现的次数 :%s/字符串/&/gn 在m和n行之间查找字符串出现的次数:m,n

2014-03-07 11:28:57 3445

转载 JVM相关-未整理

jvm工具jps显示系统中所有Hotspot虚拟机进程jstat收集Hotspot虚拟机各方面运行数据jstack显示虚拟机的线程栈信息jinfo显示虚拟机的配置信息jmap用于生成虚拟机的内存快照信息jvm内存结构左边蓝色是虚存（应用运行时额外使用的内存，主要是系统级线程栈）、

2014-03-06 20:13:43 878

转载关于java进程最大值

而在出现内存泄露的机器上，其日志显示是无法创建本地线程的原因所引起的。这里的异常信息是：java.lang.OutOfMemoryError: unable to create new native thread，对应上述内存溢出的第4种场景。尽管可以初步怀疑是虚拟机参数的设置导致的问题，但实际上还是需要确认系统在自动化场景下有没有其他内存泄露问题。重新跑自动化，并中间使用“jstat –gc

2014-03-06 18:31:21 828

转载 Metrics-Java版的指标度量工具---2

4. HistogramsHistograms主要使用来统计数据的分布情况，最大值、最小值、平均值、中位数，百分比（75%、90%、95%、98%、99%和99.9%）。例如，需要统计某个页面的请求响应时间分布情况，可以使用该种类型的Metrics进行统计。具体的样例代码如下：package com.netease.test.metrics;import com

2014-02-25 09:38:16 1049

转载 Metrics-Java版的指标度量工具---1

Metrics-Java版的指标度量工具之一Metrics是一个给JAVA服务的各项指标提供度量工具的包，在JAVA代码中嵌入Metrics代码，可以方便的对业务代码的各个指标进行监控，同时，Metrics能够很好的跟Ganlia、Graphite结合，方便的提供图形化接口。基本使用方式直接将core包（目前稳定版本3.0.1）导入pom文件即可，配置如下：dependency

2014-02-25 09:36:41 1072

原创 20140211☞☞☞☞♫

一：mvn 项目模型 pom 4.0.0 ... ... ... ... ... ... ... ... ... ... ... ... ... ... ......... ... ... ... ......... ...

2014-02-11 11:37:15 564

原创 20140210

一：http状态码http请求结果分类：3位共5类1开头：消息（100,继续），请求还需要继续的一些指引2开头：处理成功（200，成功；201，创建成功），请求正常完成，并携带一些完成的细节3开头：重定向（临时，永久迁移，代理），表示请求需要重新定向到另外的链接来完成4开头：请求的异常（请求语义异常400，请求权限不够401，拒绝请求403，请求不存在404），请求本身不对

2014-02-11 11:36:27 721

原创消息-push系统架构

消息\推送架构图：说明部分快讯推送逻辑：（见图最下面部分）a. CMS系统：发布快讯后会往收集服务器队列（kestrel）中发送一条消息，消息内容为：推送类型+消息id。b. 收集collector工程会从该队列取出消息，并启动相应的collector线程，收集需要推送的push消息并发送到相关

2013-09-18 16:46:40 3475

原创部署发布脚本：linux+git+maven

待续

2013-09-14 00:55:45 1145

原创一个启动脚本

#!/bin/shexport JAVA_HOME=/usr/java/jdk1.6.0_14logPath=/opt/smc/log/socialityif [ ! -d "$logPath" ]; then mkdir "$logPath" filogPath=/opt/smc/log/sociality/serverif [ ! -d "$logP

2013-09-14 00:55:04 684