kongjunlongaa的博客

初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂，不要紧糊涂的不止你一个，如某个菜鸟的帖子的疑问，when to use Hbase and when to use Hive？....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。Pig一种操作hadoop的轻量级脚本语言，最初又雅

如果想详细了解hbase的安装：http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/1.  快速单击安装在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本

进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)>whoami表的

Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。一、从本地文件系统中导入数据到Hive表先在Hive里面创建好表，如下：

1，hive首先要起动远程服务接口，命令：nohup hive –service hiveserver  & 2，Java工程中导入相应的需求jar包，列表如下:antlr-runtime-3.0.1.jarhive-exec-0.7.1.jarhive-jdbc-0.7.1.jarhive-metastore-0.7.1.jarhive-service

/testjavaperl/lib/zookeeper-3.4.6.jarMay 05, 2016 8:53:26 AM org.apache.hive.jdbc.Utils parseURLINFO: Supplied authorities: hdp-hiveserver-prd.app.paic.com.cn:10000May 05, 2016 8:53:26 AM org.ap

本地计算机ip：192.168.1.100远程计算机ip：192.168.1.244   远程计算机打开 mysql 服务器：#/etc/init.d/mysql.server start   本地计算机连接远程 mysql服务器：./mysql -h "192.168.1.244" -u root -p   发生以下错误：   ERROR 1130 (HY000):

MESSAGE: [unixODBC][MySQL][ODBC 3.51 Driver]Can't connect to local MySQL server through socket '/tmp/mysql.sock' 出现这种问题的原因是有许多，我当时在网上找了很多都没有解决，我只是Linux 安装了mysql  客户端，远程连接mysql 服务端网上很多需要安装服务端

此处借用 ODBC 来操作timesten 数据库，前提安装tt数据库#!/usr/bin/perluse warnings;use DBI;use DBD::ODBC;use strict;main:{   my ($batch_count,$spliter,$ins_sql);   my ($starttime,$endtime);   

host_port=>'127.0.0.1:6379,127.0.0.1:6377',dbcollections=>'rediscon111',password=>'rooti',dbname=>'0',    #redis的数据库名 0 ，1 ，2 $redis = Redis->new(server => $host.':'.$port,name => $dbcollectio

#! /usr/bin/perl use DBI; my $driver="DBI:mysql";my $host="10.21.1.62";my $port=3306; my $database="mario"; my $user="root";  my $passwd="Paic1234"; my $rules="mo_alert_set"; 

eval{  (my $host,my $port)=split(/:/,$host_port_iter);my $url = "mongodb://".$host.":".$port;#my $authdbname = 'admin';$client = MongoDB::MongoClient->new(   host => $url.'/'.$dbname,   

目录(?)[-]概述Hbase数据模型Hbase物理模型HBase架构及基本组件Hbase使用场景Hbase与HDFS对比参考文档概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主

1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的

在操作MySQL时，经常需要将字符转换成数字，这一步虽然简单，但不常用的话也很容易忘记，现将在网上找到的方法记录如下：1.将字符的数字转成数字，比如'0'转成0可以直接用加法来实现例如：将pony表中的d 进行排序，可d的定义为varchar，可以这样解决select * from pony order by (d+0)2.在进行ifnull处理时，比如 ifnull(a/

MySQL 下面没有RowNum，排序后序号却无法得到，比较麻烦！SELECT @rownum:=@rownum+1 rownum,calendar_date From(SELECT @rownum:=0,calendar_date FROM mo_workdate WHERE calendar_date!='' ORDER BY calendar_date) t;

exists对外表用loop逐条查询，每次查询都会查看exists的条件语句，当 exists里的条件语句能够返回记录行时(无论记录行是的多少，只要能返回)，条件就为真，返回当前loop到的这条记录，反之如果exists里的条 件语句不能返回记录行，则当前loop到的这条记录被丢弃，exists的条件就像一个bool条件，当能返回结果集则为true，不能返回结果集则为 false如下：

几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库（DataBase)HBaseConfigurationHTable表（Table)HTableDescriptor列族（Column Family)Put列修饰

成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令：show dbs:显示数据库列表 show collections：显示当前数据库中的集合（类似关系数据库中的表） show users：显示用户use ：切换当前数据库，这和MS-SQL里面的意思一样 db.help()：显示数据库操作命令，

ase/lib/velocity-1.7.jar:/appcom/hbase/lib/xmlenc-0.52.jar:/appcom/hbase/lib/zookeeper-3.4.5.jar16/05/17 17:41:17 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/usr/java/packages/li

jdbc(Java Data Base Connectivity)是数据库中间代理商为了是java连接数据库而定的一个协议 或者说是方法,通过jdbc-odbc的方法进行数据库连接,是连接一次创建一次的做法 1,由数据库驱动和协议组成连接数据的方法,调用中间商提供的类包,进行创建连接 2.再由连接去调用3种状态. 3.由状态来提供对数据库的操作 jndi(Jav

最近在写perl程序进行数据的采集，perl教程在网上少的可怜呐，至少我找到的资料是很少的。在连接数据库方面下面这个博客写的还是很清晰的，所以就转过来了。源文地址：http://blog.csdn.net/like_zhz/article/details/5441946DBI和DBD的不同关系模型：######################################

1 探究Zookeeper   安装过HBase的开发者一定知道，HBase本身就嵌入了Zookeeper，你可以选择安装嵌入的Zookeeper，也可以安装一个分布式的Zookeeper集群。具体的安装步骤，可以到我的博客里查找。   我们可以手工与Zookeeper交互的方式就是使用HBaseshell命令。使用zk_dump来查看HBase的安装等信息。

package com.paic.mario.service.impl;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbas

use strict;use MongoDB;use MongoDB::OID;use Data::Dumper;use MongoDB::MongoClient;my $client = MongoDB::MongoClient->new(    host => 'mongodb://127.0.0.1:27017/admin',    username => "

调试的代码如下：                       stmt = conn.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE,ResultSet.CONCUR_READ_ONLY);ResultSet res; if(sql.contains(";")){               String[] mysql = sq

当我们执行数据库查询返回一个ResultSet的时候，很多情况下我们需要知道这个ResultSet的大小，即它的行数和列数。我们知道它的列数可以通过resultSet.getMetaData().getColumnCount()很容易地得到，然而，java API没有提供直接访问ResultSet行数的接口。这个时候，有三个办法可以解决：1.改用select count语句，然后直

出现问题截图如下：解决办法重新back,选择新的nameOK了如下图：

C:\jbdevstudio\jboss-eap\jboss-as\server\default\deploy\MBDB.XML前提:JBOSS_HOME=jboss的home目录(安装目录)有测试JBoss4.2.0-GA版本数据源的jndi名字为OracleDS 配置密码为明码的Oracle数据源1 将%JBOSS_HOME%\docs\examples\j

实现业务系统中的用户权限管理　B/S系统中的权限比C/S中的更显的重要，C/S系统因为具有特殊的客户端，所以访问用户的权限检测可以通过客户端实现或通过客户端+服务器检测实现，而B/S中，浏览器是每一台计算机都已具备的，如果不建立一个完整的权限检测，那么一个“非法用户”很可能就能通过浏览器轻易访问到B/S系统中的所有功能。因此B/S业务系统都需要有一个或多个权限系统来实现访问权限检测，让经过

1、创建表的同时创建主键约束 （1）无命名 create table student ( studentid int primary key not null, studentname varchar(8), age int); （2）有命名 create table students ( studentid int , studentname varcha

Oracle语句1. 用户表create table mvc_user(  USER_ID   number(6),  USER_NAME   VARCHAR2(100)  primary key,  PASSWORD    VARCHAR2(100));2.角色表CREATE TABLE mvc_role(    Role_ID  number(6)  p

mysql 5.6.23是mysql当前的最高版本，我下载的是Mysql Community Server(GPL版本)。下载地址：http://dev.mysql.com/downloads/mysql/下载版本如下：首先是Windows系统下的，如图1：                                图1我的电脑是32位的，所以我

转载:http://heyiyi.blog.51cto.com/205455/16006151.安装Informix_Client_SDK1)root用户登录，添加informix home目录、组、用户# mkdir -p /opt/informix# groupadd informix# useradd -G informix -d /opt

Informix是IBM公司出品的关系数据库管理系统（RDBMS）家族。作为一个集成解决方案，它被定位为作为IBM在线事务处理（OLTP）旗舰级数据服务系统。 IBM对Informix和DB2都有长远的规划，两个数据库产品互相吸取对方的技术优势。在2005年早些时候，IBM推出了Informix Dynamic Server（IDS）第10版。目前最新版本的是IDS11（v11.50，代码名为“C

com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packet

目录(?)[+]搭建数据：[sql] view plain copy create table tb_user1 (id integer primary key, user_name varchar2(20) not null);    insert into tb_user1 values (1, 'user11

在网上查找了很多通过Oracle生成时间戳的方法，大部分都是比较复杂，以下这个方法应该是比较简单，而且能实现秒级及毫秒级的时间戳，推荐一下：秒级时间戳SQL> SELECT (SYSDATE - TO_DATE('1970-1-1 8', 'YYYY-MM-DD HH24')) * 86400 FROM DUAL;(SYSDATE-TO_DATE('1970-1-18','YY

SQL> select username, account_status from dba_users;USERNAME                       ACCOUNT_STATUS------------------------------ --------------------------------SYS                            O

用DNINMSV31账户登录数据库进行如下操作：CREATE USER NORTHBOUND IDENTIFIED BY NORTHBOUND DEFAULT TABLESPACE "TBS_DNINMSV31" TEMPORARY TABLESPACE "TEMP2" QUOTA UNLIMITED ON "TBS_DNINMSV31";GRANT "CONNEC