- 博客(367)
- 资源 (32)
- 收藏
- 关注
原创 hbase shell&java 获取多版本的值
在HBase中 一个row对应的相同的列只会有一行。使用scan 或get 得到都是最新的数据,如果我们对这某一row所对应的列进行了更改操作后,并不会多生成一条数据,不会像数据库一样,插入时多生成一条记录,在HBase中对同一条数据的修改或插入都只是put操作,最终看到的都是最新的数据,其它的数据在不同的version中保存,默认是隐藏的,通过时间戳区分,Hbase默认保存最近的三个版本
2014-09-17 17:00:15 19012 2
转载 spring 事务说明
在 spring 中一共定义了六种事务传播属性, 如果你觉得看起来不够直观, 那么我来转贴一个满大街都有的翻译引用l PROPAGATION_REQUIRED -- 支持当前事务,如果当前没有事务,就新建一个事务。这是最常见的选择。l PROPAGATION_SUPPORTS -- 支持当前事务,如果当前没有事务,就以非事务方式执行。l
2014-09-16 17:29:17 812
原创 phoenix 3.1 + hbase 0.94.21 的安装和使用
Apache Phoenix 是 HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问,并将你的 SQL 查询转成 HBase 的扫描和相应的动作。兼容性:Phoenix 2.x - HBase 0.94.xPhoenix 3.x - HBase 0.94.xPhoenix 4.x - HBase 0.98.1+
2014-09-12 23:41:33 8643 1
原创 redhat 5.6 启动出现 UNEXPECTED INCONSISTENCY RUN fsck MANUALLY
昨天断电关机,今天redhat启动出现 UNEXPECTED INCONSISTENCY RUN fsck MANUALLY
2014-09-12 10:40:17 15599
翻译 Hive 0.13 数据类型
hive支持的数据类型路下数值类型 Numeric TypesTINYINT (1字节,数据范围: -128 to 127)SMALLINT (2字节,数据范围: -32,768 to 32,767)INT (4字节,数据范围:-2,147,483,648 to 2,147,483,647)BIGINT (8字节,数据范围: -9,223,372,036,854,775,808 to 9,223,372,036,854,775,807)FLOAT (4字节, 单精度浮点数)DOUBLE (8字
2014-09-11 19:55:34 16565
原创 hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExceptionFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Iteration request failed :
2014-09-09 23:51:30 34121 4
转载 Hadoop Pig学习笔记 各种SQL在PIG中实现
我这里以Mysql 5.1.x为例,Pig的版本是0.8 同时我将数据放在了两个文件,存放在/tmp/data_file_1和/tmp/data_file_2中.文件内容如下: tmp_file_1:Txt代码 zhangsan 23 1 lisi 24 1 wangmazi 30 1 meinv
2014-09-09 09:15:56 1049
原创 sqoop 1.4.5 导入 hbase 0.94.21
[jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.x.x.x:3306/lir --username dss --password abc123 --table bb_month --hbase-table bb_month --hbase-create-table --hbase-row-key ID --
2014-09-08 21:36:06 2852
原创 sqoop 1.4.5 增量导入hive 0.12.0
导入命令bin/sqoop import --connect jdbc:mysql://10.6.X.X:3306/lir --username dss --password abc123 --table bb_month --hive-import -m 100bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --tabl
2014-09-08 21:03:03 7358
原创 sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive exited with status 1
sqoop 导入 hivehive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)BERROR tool.ImportTool: Encountered IOException running import
2014-09-08 02:11:25 21317
原创 ERROR Streaming result set com.mysql.jdbc.RowDataDynamic@1d5a7f6 is still active. No statements may
[jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --username dss --password 123123 --table bb_month --hive-import -m 100Warning: /home/jifeng/sqoop/../hcatalog does n
2014-09-08 01:37:37 11456 3
原创 WARNING : There are about 34 missing blocks. Please check the log or run fsck.
'jifeng01:9000'Started:Sat Sep 06 22:41:47 CST 2014Version:1.2.1, 1503152Compiled:Mon Jul 22 15:23:09 PDT 2013 by mattfBrowse the filesystem jifeng01:9000 Log
2014-09-06 23:06:04 6891
原创 MongoDB 2.6.4 主从同步
1:启动master[jifeng@jifeng04 mongodb-linux-x86_64-2.6.4]$ mkdir log[jifeng@jifeng04 mongodb-linux-x86_64-2.6.4]$ mongod -dbpath /home/jifeng/mongodb-linux-x86_64-2.6.4/data --port 10000 --master --re
2014-09-05 15:31:48 4474
转载 Mysql 主从数据库同步详解
目录 一、 环境说明 ........................................................................................................................... 1 二、 同步方式 ...................................................
2014-09-03 17:49:27 858
转载 MAVEN常用命令
Maven库:http://repo2.maven.org/maven2/Maven依赖查询:http://mvnrepository.com/Maven常用命令: 1. 创建Maven的普通java项目: mvn archetype:create -DgroupId=packageName -DartifactId=project
2014-09-03 15:01:10 619
原创 Red Hat Enterprise Linux Server release 5.6 安装 MongoDB 2.6.4
1:下载[jifeng@jifeng04 ~]$ wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-2.6.4.tgz--2014-09-03 12:39:31-- http://downloads.mongodb.org/linux/mongodb-linux-x86_64-2.6.4.tgz正在解析主机 down
2014-09-03 14:30:51 2240
原创 Redhat 停止sendmail的方法
[jifeng@feng01 ~]$ /sbin/chkconfig --list sendmailsendmail 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭[jifeng@feng01 ~]$ /sbin/chkconfig --level 2345 sendmail off制作 /etc/rc2.d/K30sendmail 的符号链接
2014-08-30 22:47:00 2513
原创 cat access.2012010.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5
[jifeng@jifeng01 hadoop]$ cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5 210.51.237.245 998180.168.213.182 995124.205.50.21 994192.250.4
2014-08-30 15:43:44 4872
转载 centos 查看版本
有以下命令可以查看:# lsb_release -aLSB Version: :core-3.1-ia32:core-3.1-noarch:graphics-3.1-ia32:graphics-3.1-noarchDistributor ID: CentOSDescription: CentOS release 5.4 (Final)Release:
2014-08-27 14:42:19 889
原创 mahout安装测试
Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头,目前已经有了三个公共发行版本。Mahout包含许多实现,包括聚类、分类、推荐过滤、频繁子项挖掘。此外,通过使用 Apache Hadoop 库,Mahout 可以有效地扩展到云中。Mahout 的创始人 Grant Ingersoll 介绍了机器学习的基本概
2014-08-26 18:02:16 15612 1
原创 Win系统下用Eclipse中运行远程hadoop MapReduce程序出现Permission denied错误
八月 23, 2014 9:12:31 下午 org.apache.hadoop.util.NativeCodeLoader WARNING: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable八月 23, 2014 9:12:31 下午 or
2014-08-23 22:39:56 8386
原创 编译hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar
1.下载后hadoop-1.1.2.tar.gz文件,里面包含源代码,并解压到E:\hadoop\hadoop-1.2.12.
2014-08-22 17:08:51 11100 2
原创 scp错误 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
执行scp或ssh-[jifeng@jifeng01 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub jifeng@jifeng0328@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
2014-08-22 11:02:09 7118
原创 awk进行文本处理
1 awk的内置变量awk 所内建的字段变量及其涵意如下 :字段变量含义$0一字符串, 其内容为目前 awk 所读入的数据行.$1$0 上第一个字段的数据.$2$0 上第二个字段的数据....其余类推
2014-08-21 19:04:57 1187
原创 Mysql 查询所有表的行数和大小
SELECT TABLE_NAME,TABLE_ROWS,DATA_LENGTH/1024/1024 "DATA_LENGTH",CREATE_TIME,TABLE_COLLATION FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = 'lir' ORDER BY TABLE_ROWS DESC
2014-08-21 13:38:36 21172 2
转载 MapReduce实现join操作
前阵子把MapReduce实现join操作的算法设想清楚了,但一直没有在代码层面落地。今天终于费了些功夫把整个流程走了一遭,期间经历了诸多麻烦并最终得以将其一一搞定,再次深切体会到,什么叫从计算模型到算法实现还有很多路要走。数据准备首先是准备好数据。这个倒已经是一个熟练的过程,所要做的是把示例数据准备好,记住路径和字段分隔符。准备好下面两张表:(1)m_ys_lab
2014-08-19 16:51:36 1091
原创 hive join测试
hive> create table course(id int,c1 string,c2 string,c3 string,c4 string)row format delimited fields terminated by ' ';OKTime taken: 0.07 secondshive> create table student(id int,name string,age in
2014-08-19 16:26:44 2052
原创 VisualBox中增大linux硬盘空间的方法
1:在VisualBox的安装目录中VBoxManage.exe modifyhd e:\os\RedHat5.6.vdi --resize 20000
2014-08-18 16:16:53 2170
原创 Sqoop 1.99.3 & hadoop-1.2.1 安装配置
1:解压[jifeng@jifeng01 ~]$ tar zxf sqoop-1.99.3-bin-hadoop100.tar.gz [jifeng@jifeng01 ~]$ lsapache-ant-1.9.4 hbase-0.94.21.tar.gz sqoop-1.99.3-bin-hadoop100apache-ant-1.
2014-08-17 22:25:49 5975 2
原创 Java 的插件框架 PF4J
PF4J 是一个 Java 的插件框架,为第三方提供应用扩展的渠道。使用 PF4J 你可以轻松将一个普通的 Java 应用转成一个模块化的应用。PF4J 本身非常轻量级,只有 50KB 左右,目前只依赖了 slf4j。Gitblit 项目使用的就是 PF4J 进行插件管理。Maven:?12345
2014-08-17 20:12:38 6854 1
原创 hive 简单操作和错误
[jifeng@jifeng02 ~]$ hiveLogging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.propertieshive> create database test_hive;OK
2014-08-17 15:50:51 6744
原创 Hive学习和配置Mysql
1.Hive简介 起源自facebook由Jeff Hammerbacher领导的团队 构建在Hadoop上的数据仓库框架 设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据 2008年facebook把hive项目贡献给Apache Hive的组件与体系架构 用户接口:shell, thrift, web等 Thrift服务
2014-08-17 12:11:14 4948
原创 Hive 0.12.0安装配置
1:解压tar zxf hive-0.12.0-bin.tar.gzmv hive-0.12.0-bin hadoop移动到hadoop目录2:配置环境变量[jifeng@jifeng02 hive-0.12.0-bin]$ cat ../../.bash_profile# .bash_profile# Get the aliases and functionsif
2014-08-17 10:47:47 2103
原创 Pig 0.12.1安装和使用
1 :安装解压,配置环境变量,验证 pig安装是否成功[jifeng@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [jifeng@jifeng02 ~]$ vi .bash_profile# .bash_profile# Get the aliases and functions . ~/.bashrcfi# User spe
2014-08-16 23:09:34 1910
转载 map-reduce的八个流程
下面讲解这八个流程 Inputformat——》map——》(combine)——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit:文件的子集--文件分割体0. 简介:这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉,请先参阅Ma
2014-08-15 12:32:04 1026
转载 redis作为hibernate的二级缓存
hibernate的二级缓存有好多,像ehcache。不过项目的缓存使用的是redis,而redis官方没有实现hibernate的二级缓存接口,只得自己实现。看看公司的高手如何做的吧。先看配置: bean id="entityManagerFactory" class="org.springframework.orm.jpa.LocalContainerEntityManager
2014-08-13 11:02:39 17281 1
原创 memcached安装运行
1. 安装libevent tar zxvf libevent-2.0.21-stable.tar.gzcd libevent-2.0.21-stable./configure makemake install --用root用户,否则没权限2:安装memcachedtar zxvf memcached-1.4.5.tar.gzcd memcach
2014-08-11 00:31:58 1882
hadoop native
2014-08-03
openerp-7.0
2014-07-30
postgresql-9.1.14-1-1
2014-07-30
ImageMagick
2014-02-17
redmine-2.4.3
2014-02-14
subclipse-1.8.22
2013-09-04
hadoop-1.1.2 源代码
2013-07-03
hadoop-1.1.2.tar
2013-07-03
druid-0.2.20
2013-06-29
ActivePerl-5.6.1.635-MSWin32-x86.msi
2010-01-19
用Socket 打造跨语言跨操作系统的网络MORPG游戏
2008-08-03
FLEX+Delphi,FLEX+Java,FLEX+C# 的聊天室
2008-07-18
FLEX+Delphi,FLEX+Java 的聊天室
2008-07-18
中国诗词风
2006-03-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人