- 博客(96)
- 收藏
- 关注
RSS订阅使用 nmon_x86_rhel52 查看linux系统资源
$ wget http://jaist.dl.sourceforge.net/project/nmon/nmon_x86_rhel52 $ chmod a+x nmon_x86_rhel52$ ./ nmon_x86_rhel52
2012-05-21 20:14:44
233
配置hadoop使用lzo对中间数据进行压缩
分3步完成1.需要使用root安装liblzo动态链接库#rootcp ./lib64/liblzo2.so.2.0.0 /lib64cd /lib64/ln -s liblzo2.so.2.0.0 liblzo2.soln -s liblzo2.so.2.0.0 liblzo2.so.2--检查下是否拷贝进去了ls -l /lib64|grep lzo|w...
2012-05-18 11:45:17
291
java中类的加载Demo
package com.cash.utils;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;import com.cash.server.ICommonService;public class ClassUtil { p...
2011-06-10 17:10:09
228
把JSON格式的数据存储到MongDB中
package com.cash.xml;import java.io.IOException;import java.io.InputStream;import java.net.UnknownHostException;import org.apache.commons.io.IOUtils;import com.mongodb.DB;import c...
2011-05-25 17:29:49
405
xml和JSON格式相互转换的Java实现
依赖的包:json-lib-2.4-jdk15.jarezmorph-1.0.6.jarxom-1.2.1.jarcommons-lang-2.1.jarcommons-io-1.3.2.jarjaxen-1.1.jar 输入xml文件,输出JSON对象 package com.cash.util;import java.io.IO...
2011-05-25 17:24:29
218
原创 MySQL 关于 Value '0000-00-00 00:00:00' can not be represented as java.sql.Timestam
转载：http://hi.baidu.com/koeiol/blog/item/b36bfe60452964e6f6365462.html 处理Sql查询遇到这样一个问题（数据库是MySQL），有个字段定义类型是datetime，且非空无默认值，通过PHPMyAdmin界面填充测试数据的时候没有理会这个字段，看到个小警告，插入成功，但是在取数据的时候出现这样一个错误：V...
2011-05-18 14:36:31
263
Eclipse 报Update Progress(Time of error:……)错误解决
总是弹出Update Progress(Time of error:……)窗口 解决方法：1：关闭 Progress窗口2：设置 Window->Prefrences->General->Startup and Shutdown 把Automatic Update Scheduler的钩去掉 ...
2011-05-17 16:49:21
199
eclipse无法编译问题解决
eclipse无法编译问题解决 同事一不小心把.classpath文件入到svn中了，删除后，我这边一update，结果我本地的.classpath文件也就丢了。虽然工程再次设置好种种环境路径，可是更改的文件无法进行编译，虽然表现上是在编译，但是并没有产生编译后的class文件。 工程右键 --> Build Path --> Config Build Pat...
2011-05-13 17:15:23
151
Quartz报 local class incompatible: stream classdesc serialVersionUID =错误解决方法
显示本地的serialVersionUID和远程的serialVersionUID 不一致，需要停掉所以的Quartz任务，然后到数据库中删除相关数据 SELECT * FROM QRTZ_TRIGGERS Q;SELECT * FROM QRTZ_JOB_DETAILS Q;SELECT * FROM QRTZ_CRON_TRIGGERS Q; ...
2011-05-09 14:59:39
6469
1
错误信息No SessionFactory specified的解决方法
2011-05-09 13:59:54,125 INFO [STDOUT] Job NMS.SOC_StatPOlicy_1 threw an unhandled Exception: java.lang.IllegalArgumentException: No SessionFactory specified at org.springframework.util.Assert....
2011-05-09 14:53:39
1466
原创 [转载]【数据结构】B-Tree, B+Tree, B*树介绍
[转载]【数据结构】B-Tree, B+Tree, B*树介绍 转载链接：http://blog.sina.com.cn/s/blog_6776884e0100ohvr.html【摘要】 最近在看Mysql的存储引擎中索引的优化,神马是索引,支持啥索引.全是浮云，目前Mysql的MyISAM和InnoDB都支持B-Tree索引,InnoDB还支持B+Tree索...
2011-04-23 23:35:32
224
网络应用框架Apache MINA 一个应用样例
Apache MINA 是一个网络应用框架，有助于用户非常方便地开发高性能、高伸缩性的网络应用。它通过Java NIO提供了一个抽象的、事件驱动的、异步的位于各种传输协议（如TCP/IP和UDP/IP）之上的API，它对Java中的socket和NIO进行了有效和清晰的封装，方便开发人员开发TCP/UDP程序，从而抛开在使用原始的socket时需要考虑的各种繁杂而又烦人问题...
2011-04-21 10:17:08
114
Web Service简单例子
由于所有主要的平台均可通过 Web 浏览器来访问 Web，不同的平台可以借此进行交互。为了让这些平台协同工作，Web 应用程序被开发了出来。Web 应用程序是运行在 Web 上的简易应用程序。它们围绕 Web 浏览器标准被进行构建，几乎可被任何平台之上的任何浏览器来使用。通过使用 Web services，您的应用程序可向全世界发布功能或消息。Web services 使用 XM...
2011-04-20 10:37:27
89
原创 [转载]log4j.properties详解与例子
在项目中的classes 中新建立一个log4j.properties文件即可；（对于web project 需要在 WebRoot/WEB-INF目录下创建文件） 在实际编程时，要使Log4j真正在系统中运行事先还要对配置文件进行定义。定义步骤就是对Logger、Appender及Layout的分别使用。Log4j支持两种配置文件格式，一种是XML格式的文件，一种是...
2011-04-19 16:09:49
118
java中的枚举使用方法
public enum FtpActionType { LOGIN(1) { public String getTitle() { return "登陆"; } }, LOGOUT(2) { public String getTitle() { return...
2011-04-19 13:53:28
108
Katta集群的安装与启动
Step1) 必须先安装好分布文件系统hadoop dfs .每台机上面都有相同的用户。为了方便katta集群的配置和管理必须要在各个服务器之间建立“无密码公钥认证 ”的ssh。 Step2)下载最新的katta，每台服务器都解压到相同目录下。 Step3)修改conf/目录下的配置文件 a) masters: // 集群主机hostnamemaster...
2011-04-15 10:57:16
182
从Cassandra读取数据进行Map/Reduce的实现方法
本文以Cassandra 0.8中的hadoop_word_count为例：https://svn.apache.org/repos/asf/cassandra/branches/cassandra-0.8/examples/hadoop_word_count/ 需要安装插件：mapreducetools下载地址：http://www.alphaworks.ibm.co...
2011-04-15 10:47:06
470
使用eclipse编译Cassandra
Svn地址：https://svn.apache.org/repos/asf/cassandra/branches/cassandra-0.8/ 过程：File-New-Other-
2011-04-15 10:35:44
171
Windows下安装配置Cassandra
Windows下安装配置Cassandra下载：apache-cassandra-0.7.4-bin.tar.gz解压到D盘并重命名为D:\cassandra-0.7.4注意：0.7版本前配置文件为conf/storage-conf.xml；0.70版本之后变化为conf/cassandra.yaml需要修改conf/log4j-server.properties修改...
2011-04-13 16:21:08
127
bin/cassandra-cli报java.net.ConnectException: Connection refused错误
hosts中192.168.27.27 localhostbin/cassandra-cli cassandra> connect localhost/9160 正常cassandra> connect 192.168.27.27/9160 出现异常：java.net.ConnectException: Connection refused 而且无...
2011-04-13 16:19:29
244
mahout下处理的文件必须是SequenceFile格式的，所以需要把txtfile转换成sequenceFile
mahout下处理的文件必须是SequenceFile格式的，所以需要把txtfile转换成sequenceFile。SequenceFile是hadoop中的一个类，允许我们向文件中写入二进制的键值对，具体介绍请看eyjian写的http://www.hadoopor.com/viewthread.php?tid=144&ampmahout中提供了一种将指定文件下的文件转换成sequen...
2011-03-06 23:07:34
335
把当前目录下所有文件打包,并且移除打包前文件
把当前目录下所有文件打包,并且移除打包前文件#!/bin/bashfor i in `ls ./`; do tar -jcvf $i.tar.bz2 $i --remove-filesdone
2011-03-01 09:40:05
337
原创 hadoop作业reduce过程调优使用到的参数笔记
reduce的运行是分成三个阶段的。分别为copy->sort->reduce。由于job的每一个map都会根据reduce(n)数将数据分成map 输出结果分成n个partition，所以map的中间结果中是有可能包含每一个reduce需要处理的部分数据的。所以，为了优化reduce的执行时间，hadoop中是等job的第一个map结束后，所有的reduce就开...
2011-02-25 18:09:31
225
原创 hadoop作业map过程调优使用到的参数笔记
参数：io.sort.mb（default 100）当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。而是会利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。每一个map都会对应存在一个内存buffer,map会将已经产生的部分结果先写入到该buffer中，这个buffer默...
2011-02-25 17:25:15
120
K-means聚类方法
K-means聚类方法就是把空间内点，分成K类。同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。用均值来代表类中心，并用于衡量与新点的距离。初始值：根据先验知识找到K个均值，做迭代初始值。迭代公式：1：从n个数据对象中选择k个对象作为初始聚类中心2：将剩下的n-k个数据对象，按照他们和初始的k个值之间的距离大小，分配给与其最近的聚类。3：计...
2011-02-25 15:23:21
154
Hive使用一段时间后Hadoop集群占用空间暴增的原因
我使用的是hive。所有的数据也是在hive中 load data inpath 导入的导入的数据时保存到虚拟路径 hdfs:////user/hive/warehouse 以一个表一个文件夹的形式两天来一直面对着一个困惑从hive中load进去的数据只有600G但是页面显示的DFS Used却为4.2T这个数据时很不正常的因为简单地算一下 600G dfs.re...
2011-02-25 14:09:52
495
修改Hadoop集群的备份数
之前dfs.replication值为3，运行一段时间之后我使用完了磁盘空间，所以呢，现在我想通过降低备份的个数来释放空间。那么对于之前存储的文件会自动把备份数改为1吗？还是需要手动执行命令来执行呢？dfs.replication这个参数其实只在文件被写入dfs时起作用，虽然更改了配置文件，但是不会改变之前写入的文件的备份数。但是可以通过如下命令更改备份数：bin/h...
2011-02-25 14:03:54
680
HBase的数据模型
Hbase的数据模型row 行column 列row keys 行键column keys 列键column families 列族 Hbase的数据模型和Bigtable的数据模型是一致的,非常适用于数据密集型的系统.简单的说,Hbase可以简化描述为一个Map<byte[], Map<byte[], Map<byte[], Map&...
2011-02-25 10:02:37
127
原创 淘宝开源实时数据传输平台TimeTunnel
TimeTunnel是一个高效的、可靠的、可扩展的实时数据传输平台，广泛应用于实时日志收集、数据实时监控、广告效果实时反馈、数据库实时同步等领域。TimeTunnel基于发布\订阅的消息模型开发，支持消息多用户订阅 。开源地址：http://code.taobao.org/project/view/411/...
2011-02-23 22:59:33
674
[2] HBase表的基本操作
[hadoopuser@master hbase-0.20.3]$ bin/hbase shellHBase Shell; enter 'help<RETURN>' for list of supported commands.Version: 0.20.3, rUnknown, Fri Apr 9 11:15:50 CST 2010hbase(main):001...
2011-02-23 15:33:10
118
[4] Scribe使用例子3
中央Scribe服务器故障情况下，从属Scribe服务器会本地缓存日志，待中央Scibe服务器恢复后再传送日志。测试过程如下：1：首先启动中央Scribe服务器./bin/scribed examples/example2central.conf2：使用从属Scribe服务器记录日志信息echo "test message 1 " | ./bin/scribe_...
2011-02-23 13:58:38
127
[3] Scripe使用例子2
这个例子展示多个Scribe实例的情况下如何记录日志的。本例子通过一台服务器上不同的端口启用Scribe服务来模拟多台Scribe服务器的运作情况的。1：创建用于存放日志文件的目录mkdir /tmp/scribetest1mkdir /tmp/scribetest22:首先在1463端口启动中央Scribe服务器，这个服务器会将日志写磁盘。（配置项参加./exa...
2011-02-23 12:02:23
240
[2] Scribe的安装和简单使用例子
Scribe的安装一、安装前提:1:libevent 解压缩安装./configuremakemake install2:boost (版本>=1.36)解压缩安装./configuremakemake install3:Facebook基础服务thrift (版本>=0.5.0)fb303先安装thri...
2011-02-23 11:38:17
223
[1] Facebook Scribe简介
Facebook Scribe简介Scribe是用来收集日志的服务器.它可以扩展到大规模的机器集群中,无论是网络故障还是服务器节点故障,都不会对日志收集造成影响.大规模集群系统中每个节点服务器上都运行了一个Scribe服务,这个Scribe服务器可以收集信息然后将信息发送到一个中央Scribe服务器(也可以是多个中央Scribe服务器)如果中央Scribe服务器(或中央服务器组)出现故障...
2011-02-23 10:48:09
475
Linux下常用的命令
显示当前目录下各个文件的大小ll -h (相对于 ls -lh)显示当前目录下各个文件夹的文件总大小ls | xargs du -sh当前服务器的空间使用情况 df -h当前文件夹下所有文件总大小du -smh *查看文件cat 1.txt | moretail -n 10 1.txt | grep uuidhead -n 10...
2011-02-22 14:02:26
77
Hive HBase整合使用
Hive HBase整合使用将Hive中的数据导入到HBase中wiki上的介绍链接如下：http://wiki.apache.org/hadoop/Hive/HBaseIntegration 各版本要求：hadoop-0.20.2hbase-0.20.3hive-0.6.0（之前的版本都不支持）zookeeper-3.3.0 确认目录下有这个ja...
2011-02-18 18:01:59
117
Sqoop配置安装
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop的User Guide地址：http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide...
2011-02-18 11:12:34
156
使用mysql查询纯真IP库的方法
为了把点格式的ip地址转换成整数表示的ip地址，创建如下MYSQL函数：create function ip_calc(ip varchar(20)) returns bigint(20)return substring_index(ip,'.',1)*256*256*256+substring_index(substring_index(ip,'.',2),'.',-1)*...
2011-02-18 10:31:35
214
基于Hadoop的一些工具一句话介绍
Pig 是在MapReduce上构建的查询语言(SQL-like),适用于大量并行计算。 Chukwa 是基于Hadoop集群中监控系统，可以用他来分析和收集系统中的数据(日志) Hive 是DataWareHouse 和 Map Reduce交集，适用于ETL方面的工作 HBase 是一个面向列的分布式数据库。 Map ...
2011-02-17 16:05:13
115
chukwa配置安装过程(1)
chukwa配置安装过程(1)1:tar zxvf chukwa-0.4.0.tar.gz需要被监控的节点都有分发一份,每个节点都将会运行一个collector2:修改 ./chukwa-0.4.0/conf/chukwa-env.sh这里面的配置项都要根据实际情况配置一遍3:修改(如果没有则创建) ./chukwa-0.4.0/conf/agents配...
2011-02-17 15:44:41
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人