- 博客(25)
- 资源 (32)
- 收藏
- 关注
原创 Elasticsearch学习
[jifeng@jifeng03 ~]$ curl 'http://jifeng04:9200/?pretty'{ "status" : 200, "name" : "Calypso", "version" : { "number" : "1.1.1", "build_hash" : "f1585f096d3f3985e73456debdc1a0745f512bbc"
2014-09-24 16:26:43 4114 1
原创 CentOS 卸载OpenJdk和Tomcat开机启动
1:查看java[zhoujifeng@gz1-cdc-01 ~]$ java -versionjava version "1.7.0_45"OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15)OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)
2014-09-23 18:56:42 2715
转载 十道海量数据处理面试题与十个方法大总结
海量数据处理:十道面试题与十个海量数据处理方法总结作者:July、youwang、yanxionglu。时间:二零一一年三月二十六日本文之总结:教你如何迅速秒杀掉:99%的海量数据处理面试题。有任何问题,欢迎随时交流、指正。出处:http://blog.csdn.net/v_JULY_v。 第一部分、十道海量数据处理面试题1、海量日志数据
2014-09-21 21:47:20 763
原创 mahout贝叶斯分类器测试样例
MAHOUT 0.9版本的贝叶斯分类器测试样例测试非常简单,执行下面这条语句,然后选择第2项就OK了。[jifeng@jifeng01 hadoop]$ $MAHOUT_HOME/examples/bin/classify-20newsgroups.shPlease select a number to choose the corresponding task to run1. cn
2014-09-20 16:08:12 2612
转载 mysql中间件研究(Atlas,cobar,TDDL)
mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover等,但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品,Atlas,cobar,tddl,让我们看看它们各自有些什么优点和新特性吧。AtlasAtlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项
2014-09-18 23:03:15 2403
转载 Mysql在大型网站的应用架构演变
本文主要描述在网站的不同的并发访问量级下,Mysql架构的演变。可扩展性架构的可扩展性往往和并发是息息相关,没有并发的增长,也就没有必要做高可扩展性的架构,这里对可扩展性进行简单介绍一下,常用的扩展手段有以下两种:Scale-up:纵向扩展,通过替换为更好的机器和资源来实现伸缩,提升服务能力Scale-out:横向扩展, 通过加节点(机器)来实现伸缩,提升服务能力
2014-09-18 22:33:29 891
转载 Hadoop计算中的Shuffle过程
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce,Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里我尽
2014-09-18 22:23:46 1208
原创 hbase shell&java 获取多版本的值
在HBase中 一个row对应的相同的列只会有一行。使用scan 或get 得到都是最新的数据,如果我们对这某一row所对应的列进行了更改操作后,并不会多生成一条数据,不会像数据库一样,插入时多生成一条记录,在HBase中对同一条数据的修改或插入都只是put操作,最终看到的都是最新的数据,其它的数据在不同的version中保存,默认是隐藏的,通过时间戳区分,Hbase默认保存最近的三个版本
2014-09-17 17:00:15 19012 2
转载 spring 事务说明
在 spring 中一共定义了六种事务传播属性, 如果你觉得看起来不够直观, 那么我来转贴一个满大街都有的翻译引用l PROPAGATION_REQUIRED -- 支持当前事务,如果当前没有事务,就新建一个事务。这是最常见的选择。l PROPAGATION_SUPPORTS -- 支持当前事务,如果当前没有事务,就以非事务方式执行。l
2014-09-16 17:29:17 812
原创 phoenix 3.1 + hbase 0.94.21 的安装和使用
Apache Phoenix 是 HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问,并将你的 SQL 查询转成 HBase 的扫描和相应的动作。兼容性:Phoenix 2.x - HBase 0.94.xPhoenix 3.x - HBase 0.94.xPhoenix 4.x - HBase 0.98.1+
2014-09-12 23:41:33 8643 1
原创 redhat 5.6 启动出现 UNEXPECTED INCONSISTENCY RUN fsck MANUALLY
昨天断电关机,今天redhat启动出现 UNEXPECTED INCONSISTENCY RUN fsck MANUALLY
2014-09-12 10:40:17 15599
翻译 Hive 0.13 数据类型
hive支持的数据类型路下数值类型 Numeric TypesTINYINT (1字节,数据范围: -128 to 127)SMALLINT (2字节,数据范围: -32,768 to 32,767)INT (4字节,数据范围:-2,147,483,648 to 2,147,483,647)BIGINT (8字节,数据范围: -9,223,372,036,854,775,808 to 9,223,372,036,854,775,807)FLOAT (4字节, 单精度浮点数)DOUBLE (8字
2014-09-11 19:55:34 16565
原创 hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExceptionFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Iteration request failed :
2014-09-09 23:51:30 34121 4
转载 Hadoop Pig学习笔记 各种SQL在PIG中实现
我这里以Mysql 5.1.x为例,Pig的版本是0.8 同时我将数据放在了两个文件,存放在/tmp/data_file_1和/tmp/data_file_2中.文件内容如下: tmp_file_1:Txt代码 zhangsan 23 1 lisi 24 1 wangmazi 30 1 meinv
2014-09-09 09:15:56 1049
原创 sqoop 1.4.5 导入 hbase 0.94.21
[jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.x.x.x:3306/lir --username dss --password abc123 --table bb_month --hbase-table bb_month --hbase-create-table --hbase-row-key ID --
2014-09-08 21:36:06 2852
原创 sqoop 1.4.5 增量导入hive 0.12.0
导入命令bin/sqoop import --connect jdbc:mysql://10.6.X.X:3306/lir --username dss --password abc123 --table bb_month --hive-import -m 100bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --tabl
2014-09-08 21:03:03 7359
原创 sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive exited with status 1
sqoop 导入 hivehive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)BERROR tool.ImportTool: Encountered IOException running import
2014-09-08 02:11:25 21317
原创 ERROR Streaming result set com.mysql.jdbc.RowDataDynamic@1d5a7f6 is still active. No statements may
[jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --username dss --password 123123 --table bb_month --hive-import -m 100Warning: /home/jifeng/sqoop/../hcatalog does n
2014-09-08 01:37:37 11456 3
原创 WARNING : There are about 34 missing blocks. Please check the log or run fsck.
'jifeng01:9000'Started:Sat Sep 06 22:41:47 CST 2014Version:1.2.1, 1503152Compiled:Mon Jul 22 15:23:09 PDT 2013 by mattfBrowse the filesystem jifeng01:9000 Log
2014-09-06 23:06:04 6891
原创 MongoDB 2.6.4 主从同步
1:启动master[jifeng@jifeng04 mongodb-linux-x86_64-2.6.4]$ mkdir log[jifeng@jifeng04 mongodb-linux-x86_64-2.6.4]$ mongod -dbpath /home/jifeng/mongodb-linux-x86_64-2.6.4/data --port 10000 --master --re
2014-09-05 15:31:48 4475
转载 Mysql 主从数据库同步详解
目录 一、 环境说明 ........................................................................................................................... 1 二、 同步方式 ...................................................
2014-09-03 17:49:27 858
转载 MAVEN常用命令
Maven库:http://repo2.maven.org/maven2/Maven依赖查询:http://mvnrepository.com/Maven常用命令: 1. 创建Maven的普通java项目: mvn archetype:create -DgroupId=packageName -DartifactId=project
2014-09-03 15:01:10 619
原创 Red Hat Enterprise Linux Server release 5.6 安装 MongoDB 2.6.4
1:下载[jifeng@jifeng04 ~]$ wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-2.6.4.tgz--2014-09-03 12:39:31-- http://downloads.mongodb.org/linux/mongodb-linux-x86_64-2.6.4.tgz正在解析主机 down
2014-09-03 14:30:51 2240
hadoop native
2014-08-03
openerp-7.0
2014-07-30
postgresql-9.1.14-1-1
2014-07-30
ImageMagick
2014-02-17
redmine-2.4.3
2014-02-14
subclipse-1.8.22
2013-09-04
hadoop-1.1.2 源代码
2013-07-03
hadoop-1.1.2.tar
2013-07-03
druid-0.2.20
2013-06-29
ActivePerl-5.6.1.635-MSWin32-x86.msi
2010-01-19
用Socket 打造跨语言跨操作系统的网络MORPG游戏
2008-08-03
FLEX+Delphi,FLEX+Java,FLEX+C# 的聊天室
2008-07-18
FLEX+Delphi,FLEX+Java 的聊天室
2008-07-18
中国诗词风
2006-03-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人