2014年01月_yongjian_luo

转载 LINUX下CPU Load Average的一点研究<转>

背景：公司的某个系统工作在基于Linux的Cent OS下，一个host下同时连接了许多client, 最近某台Host总是显示CPU Load Average过高，我们单纯的以为是CPU的占用过高，其实没这么简单，于是老板让我趁这个机会研究一下CPU Load Average，最近刚好想开学习LINUX的文章，就把这个当成一个起点吧。Load Average(平均负载)基本概念:

2014-01-23 18:31:45 1005

转载用monit监控系统关键进程<转>

monit是一款功能强大的系统状态、进程、文件、目录和设备的监控软件，用于*nix平台，它可以自动重启那些已经挂掉的程序，非常适合监控系统关键的进程和资源，如：nginx、apache、mysql和cpu占有率等。而监控管理Python进程，常用的是supervisor，后续会另外撰文介绍。下面分别介绍monit的安装、配置和启动。安装在debian或ubuntu上安装m

2014-01-23 14:31:21 913

转载 Storm-源码分析- Component ,Executor ,Task之间关系<转>

Component包含Executor(threads)的个数在StormBase中的num-executors, 这对应于你写topology代码时, 为每个component指定的并发数(通过setBolt和setSpout) Component和Task的对应关系, (storm-task-info) 默认你可以不指定task数, 那么task和executor为1

2014-01-23 10:23:17 692

转载 eclipse Maven配置以及使用方法<转>

网上有好多maven的安装方法，不过通过eclipse的help->Install new software这个安装的地址已经失效了，所以通过这种方法是不行的，需要通过eclipse Marketplace来安装。首先需要安装eclipse marketplace，步骤如下：Eclipse Marketplace是个插件应用商店，很实用的一个功能。打开 eclips

2014-01-22 13:44:40 725

转载 Windows下 maven3.0.4的安装步骤+maven配置本地仓库<转>

简单讲下maven的安装步骤：1.在安装maven之前，先确保已经安装JDK1.6及以上版本，并且配置好环境变量。2.下载maven3，最新版本是Maven3.0.4 ，下载地址：http://maven.apache.org/download.html 下载apache-maven-3.0.4-bin.zip文件后，并解压到 D:\cloud_cms\ma

2014-01-22 10:50:00 544

转载 Leiningen 安装<转>

Leiningen是一个Clojure项目管理工具。安装过程如下：1. 下载lein脚本https://raw.github.com/technomancy/leiningen/preview/bin/lein2. 复制到/usr/bin目录下，并允许执行[plain] view plaincopyprint?

2014-01-21 17:32:26 1376

转载【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建<转>

一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝的文章的，这里要谢谢罗宝兄弟，还有写这篇文章@晨色星空J2EE也给了我很大帮助，这里也谢谢@晨色星空J2EE之前在弄这个的时候，跟

2014-01-16 11:16:35 1011

转载基于物品的协同过滤推荐算法——读“Item-Based Collaborative Filtering Recommendation Algorithms”<转>

原文地址：http://blog.csdn.net/huagong_adu/article/details/7362908最近参加KDD Cup 2012比赛，选了track1，做微博推荐的，找了推荐相关的论文学习。“Item-Based Collaborative Filtering Recommendation Algorithms”这篇是推荐领域比较经典的论文，现在很多流行的推荐算法

2014-01-14 13:31:54 833

转载 hive修改表模式<转>

留个备份。hive用户可以通过alter语句更改table属性Alter Partitions增加partitions：[plain] view plaincopyALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spe

2014-01-13 15:33:33 861

原创 Sql将数据库的字段改名-保留字段中字符串的一部分

将数据库中的字段改名称，保留字段的一部分，sql语句如下：UPDATE fs_block SET block_name=REPLACE(block_name,'首页','首页新')WHERE block_id>=1916AND block_id AND block_name LIKE '首页%';

2014-01-10 18:11:26 1425

原创 Java反编译工具推荐

jd-gui是很久之前下载的一个Java反编译工具，可以将Jar包中的class类之间编译回.java文件，今天在网上下载了一个测试的jar包，没有使用方法，正好想起来了以前下载的一个反编译工具jd-gui，测试了一下，相当好用。果断反编译，看源码，哈哈~~

2014-01-09 17:53:06 581

转载 Storm常见模式——求TOP N<转>

转自：http://www.cnblogs.com/panfeng412/archive/2012/06/16/storm-common-patterns-of-streaming-top-n.htmlStorm的另一种常见模式是对流式数据进行所谓“streaming top N”的计算，它的特点是持续的在内存中按照某个统计指标（如出现次数）计算TOP N，然后每隔一定时间间隔输出实时计算后的

2014-01-09 17:41:19 682

转载 Storm常见模式——批处理<转>

转自：http://www.cnblogs.com/panfeng412/archive/2012/06/19/storm-common-patterns-of-batching.htmlStorm对流数据进行实时处理时，一种常见场景是批量一起处理一定数量的tuple元组，而不是每接收一个tuple就立刻处理一个tuple，这样可能是性能的考虑，或者是具体业务的需要。例如，批量查询

2014-01-09 17:40:46 580

转载 Storm常见模式——TimeCacheMap<转>

转自：http://www.cnblogs.com/panfeng412/archive/2012/06/26/storm-common-patterns-of-timecachemap.htmlStorm中使用一种叫做TimeCacheMap的数据结构，用于在内存中保存近期活跃的对象，它的实现非常地高效，而且可以自动删除过期不再活跃的对象。TimeCacheMap使用多个桶bucke

2014-01-09 17:40:18 602

转载 Storm常见模式——分布式RPC<转>

转自：http://www.cnblogs.com/panfeng412/archive/2012/07/02/storm-common-patterns-of-distributed-rpc.html本文翻译自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作为学习Storm DRPC的资料，转载必须以超链接形式标明文章

2014-01-09 17:39:42 679

转载 Storm集群安装部署步骤【详细版】<转>

作者: 大圆那些事 | 文章可以转载，请以超链接形式标明文章原始出处和作者信息网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实

2014-01-09 10:06:55 794

转载 Spark和Shark环境搭建<转>

转自: http://in.sdo.com/?p=325Spark/Shark小试最近在测试集群尝试把Spark以及Shark搭建起来，体验了一下。Spark是一个高效的分布式计算系统，相比Hadoop，它在性能上比Hadoop号称要高 100倍。Spark提供比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的

2014-01-08 16:30:40 1285

转载 spark 官方动手练习二：用spark浏览维基百科的数据<转>

在本章中，我们将首先使用Spark shell以交互方式浏览维基百科的数据。然后，我们会给出一个简要介绍了编写spark的程序。请记住，Spark是建立在Hadoop分布式文件系统（HDFS）之上的开源的计算引擎。交互数据分析现在，让我们用spark办对数据集中的进行排序和统计。首先，启动spark shell：[root@hadoop spark-0.8.0]# sp

2014-01-08 11:02:07 996

转载 Spark实现的hello world<转>

spark,又一个传说中的分布式实现,详情:http://spark-project.org/,安装这里就不写了，因为网上已有中文介绍，这里主要是介绍一下入门，和hadoop一样，学习的时候，首先学习spark提供的字符统计例子：javaWordCount原始代码如下：Java代码 import scala.Tuple2; import spar

2014-01-08 10:17:00 1724

转载 scala在eclipse开发环境配置<转>

最近由于要研究Apache开源项目,以前没有接触过java,看说明本来以为都是java的,后来下载下来一看,发现是.scala结尾的文件.才知道原来是用这个语言开发的.要看懂别人的代码只能从头开始学习scala才行.俗话说工欲善其事,必先利其器.先把调试环境搭建了才行.我的安装经历如下:1 下载和安装eclipse,最新版http://www.eclipse.org/dow

2014-01-07 19:06:18 863

转载 Linux：使用ulimit设置文件最大打开数<转>

大家都知道Linux系统默认打开文件数是1024，而实际的生产环境中，这个值总是显得太小，而太小的后果就是你的系统会报：too many open files 等这样的错误导致你系统死掉，所以我们总是要修改这个值，虽然表面上看来，Linux提供了ulimit这样的命令让你修改这个文件打开数，但不幸的是，过程远远没有看到的那么简单，下面子猴就谈谈这方面的问题。1、首先我们通过ulimit

2014-01-03 17:33:09 901

转载 CentOS 6.2部署Hadoop的注意事项<转>

最近新采购的一批机器，由于intel cpu体系架构的改变，新机器的系统需要升级，选择了CentOS 6.2系统。1 在新机器上将MR业务开启后，导致整个集群都反应很慢，运行的job几乎都被卡住；通过ganglia监控发现，机器的system cpu超过30%，机器几乎是满负载的情况。原因分析：RHEL 6.2和6.3系统中包含了一个新特性，被称为“transparent

2014-01-03 17:19:02 1107

原创 Hadoop集群 java.lang.OutOfMemoryError: unable to create new native thread异常

Hadoop集群新加的机器经常会出现 java.lang.OutOfMemoryError: unable to create newnativethread的异常，后来发现新机器是没有设置创建线程数量造成的，默认是1024，需要改系统配置文件，设大才行。查看生效方式是ulimit -u/etc/security/limits.conf文件中增加 username

2014-01-03 16:54:02 5507

原创 Java打印抛出异常的方法名称

多层的异常其实是嵌套的，以栈的形式存储，打印出的异常方法名顺序也是从最底层开始，最后打印最上层的方法名称。try{}catch (Exception e) {for(StackTraceElement ste:e.getStackTrace()){System.out.println(ste.getMethodName());}}

2014-01-03 15:00:02 2869

yongjian_luo的专栏