风行天下

hadoop 网络游戏 探索

Elasticsearch学习

[jifeng@jifeng03 ~]$ curl 'http://jifeng04:9200/?pretty' { "status" : 200, "name" : "Calypso", "version"...

2014-09-24 16:26:43

阅读数:3965

评论数:1

CentOS 卸载OpenJdk和Tomcat开机启动

1:查看java [zhoujifeng@gz1-cdc-01 ~]$ java -version java version "1.7.0_45" OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15) Op...

2014-09-23 18:56:42

阅读数:2470

评论数:0

十道海量数据处理面试题与十个方法大总结

海量数据处理:十道面试题与十个海量数据处理方法总结 作者:July、youwang、yanxionglu。 时间:二零一一年三月二十六日 本文之总结:教你如何迅速秒杀掉:99%的海量数据处理面试题。有任何问题,欢迎随时交流、指正。 出处:http://blog.csdn.net/v...

2014-09-21 21:47:20

阅读数:652

评论数:0

mahout贝叶斯分类器测试样例

MAHOUT 0.9版本的贝叶斯分类器测试样例测试非常简单,执行下面这条语句,然后选择第2项就OK了。 [jifeng@jifeng01 hadoop]$ $MAHOUT_HOME/examples/bin/classify-20newsgroups.sh Please select a n...

2014-09-20 16:08:12

阅读数:2358

评论数:0

开源项目托管GitHub简单使用

1:https://github.com/ 注册账户 2:安装git

2014-09-20 11:31:21

阅读数:702

评论数:0

mysql中间件研究(Atlas,cobar,TDDL)

mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover等,但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品,Atlas,cobar,tddl,让我们看看它们各自有些什么优点和新特性吧。 Atlas Atl...

2014-09-18 23:03:15

阅读数:2246

评论数:0

Mysql在大型网站的应用架构演变

本文主要描述在网站的不同的并发访问量级下,Mysql架构的演变。 可扩展性 架构的可扩展性往往和并发是息息相关,没有并发的增长,也就没有必要做高可扩展性的架构,这里对可扩展性进行简单介绍一下,常用的扩展手段有以下两种: Scale-up:纵向扩展,通过替换为更好的机器和资源来实现...

2014-09-18 22:33:29

阅读数:775

评论数:0

Hadoop计算中的Shuffle过程

Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce,Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job性能调优的工作,需要深入代码研究MapReduc...

2014-09-18 22:23:46

阅读数:1059

评论数:0

hbase shell&java 获取多版本的值

在HBase中 一个row对应的相同的列只会有一行。使用scan 或get 得到都是最新的数据,如果我们对这某一row所对应的列进行了更改操作后,并不会多生成一条数据, 不会像数据库一样,插入时多生成一条记录,在HBase中对同一条数据的修改或插入都只是put操作,最终看到的都是最新的数据,其它...

2014-09-17 17:00:15

阅读数:16874

评论数:2

spring 事务说明

在 spring 中一共定义了六种事务传播属性, 如果你觉得看起来不够直观, 那么我来转贴一个满大街都有的翻译 引用 l          PROPAGATION_REQUIRED -- 支持当前事务,如果当前没有事务,就新建一个事务。这是最常见的选择。 l          PROPAGA...

2014-09-16 17:29:17

阅读数:671

评论数:0

phoenix 3.1 + hbase 0.94.21 的安装和使用

Apache Phoenix 是 HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问,并将你的 SQL 查询转成 HBase 的扫描和相应的动作。 兼容性: Phoenix 2.x - HBase 0.94.x Phoenix 3.x - HBa...

2014-09-12 23:41:33

阅读数:7764

评论数:1

redhat 5.6 启动出现 UNEXPECTED INCONSISTENCY RUN fsck MANUALLY

昨天断电关机,今天redhat启动出现 UNEXPECTED INCONSISTENCY RUN fsck MANUALLY

2014-09-12 10:40:17

阅读数:12960

评论数:0

Hive 0.13 数据类型

hive支持的数据类型路下 数值类型 Numeric Types TINYINT (1字节,数据范围: -128 to 127) SMALLINT (2字节,数据范围: -32,768 to 32,767) INT (4字节,数据范围:-2,147,483,648 to 2,147,483,647...

2014-09-11 19:55:34

阅读数:13740

评论数:0

hive加载大文件(3G)

1:上传文件到hadoop

2014-09-11 18:47:28

阅读数:1555

评论数:0

hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException

hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException FAILED: Execution Error, return code 1 from org.apache.had...

2014-09-09 23:51:30

阅读数:29306

评论数:4

Hadoop Pig学习笔记 各种SQL在PIG中实现

我这里以Mysql 5.1.x为例,Pig的版本是0.8     同时我将数据放在了两个文件,存放在/tmp/data_file_1和/tmp/data_file_2中.文件内容如下:     tmp_file_1: Txt代码   zhangsan    23...

2014-09-09 09:15:56

阅读数:910

评论数:0

sqoop 1.4.5 导入 hbase 0.94.21

[jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.x.x.x:3306/lir --username dss --password abc123 --table bb_month --hbase-table ...

2014-09-08 21:36:06

阅读数:2659

评论数:0

sqoop 1.4.5 增量导入hive 0.12.0

导入命令 bin/sqoop import --connect jdbc:mysql://10.6.X.X:3306/lir --username dss --password abc123 --table bb_month --hive-import -m 100 bin/sqoop imp...

2014-09-08 21:03:03

阅读数:6881

评论数:0

sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive exited with status 1

sqoop 导入 hive hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B E...

2014-09-08 02:11:25

阅读数:15717

评论数:1

ERROR Streaming result set com.mysql.jdbc.RowDataDynamic@1d5a7f6 is still active. No statements may

[jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --username dss --password 123123 --table bb_month --hive-import -m...

2014-09-08 01:37:37

阅读数:7865

评论数:3

提示
确定要删除当前文章?
取消 删除
关闭
关闭