2014年06月_超级侠哥

12月 11月 10月 09月 08月 07月 06月

原创 hbase基本的表管理和访问

1.导入hbase依赖的jar包hadoop

2014-06-27 18:32:58 490

原创 Hadoop学习—直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件

1.编写程序如下：package com.sun.hadoop.filesystem;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apa...

2014-06-25 16:00:09 521

原创命令行实现hadoop上传JAR文件，运行《hadoop权威指南第二版》测试最大气温的应用

本人的配置环境如下：Ubuntu13.10hadoop 1-

2014-06-24 19:29:53 882

转载 Apache Maven 入门篇(下)

Apache Maven 入门篇(下) 作者：George Mahttp://www.oracle.com/technetwork/cn/community/java/apache-maven-getting-started-2-405568-zhs.html第一篇文章大概的介绍了一下Apache Maven以及它的下载和安装，并且运行了一个简单的示例。那么在对maven有

2014-06-24 10:36:44 344

转载 Apache Maven 入门篇 ( 上 )

Apache Maven 入门篇 ( 上 ) 作者：George Ma写这个 maven 的入门篇是因为之前在一个开发者会的动手实验中发现挺多人对于 maven 不是那么了解，所以就有了这个想法。这个入门篇分上下两篇。本文着重动手，用 maven 来构建运行 hellow world 程序，体会一下不用任何 IDE ，只用 maven 是咋回事。然后下篇就讲解一下 maven

2014-06-24 10:34:13 335

转载 sqoop 1.99 安装配置

摘要：1. sqoop 1.99的安装配置2. client使用3. 从HBase，Hive导数据到mysql版本sqoop-1.99.2-bin-hadoop100Sqoop是Hadoop系统数据和RDBMS互导数据的工具。1.99新版的一个包里包含两个部分：客户端和服务器端。必须在集群中安装好一个节点的服务器端。所有客户端和该服务器端相连。服务器端作为mapre

2014-06-19 11:08:55 499

转载分布式服务框架 Zookeeper -- 管理分布式环境中的数据

www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的

2014-06-17 10:29:21 356

转载 PIG统计来访IP

启动hadoop，启动pig：将本地文件拷贝到hdfs中：载入txt文件，通过空格作为分隔符，取得第一个字段ip写入内存中A表：通过dump查看A表内容：根据ip分组A表得到Grouped_A表，并使用DESCRIBE查看Grouped_A表结构，我们发现Grouped_A 表第一个Field名叫group，并不叫ip：通过dump查看Grouped_A内容

2014-06-16 16:00:43 1022

转载 PIG安装配置及案例应用

转载：1.各组件版本 Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位 JDK version："1.6.0_25-ea"Hadoop software version：hadoop-0.20.205.0.tar.gzHbase version：hbase-0.90.5Pig version：pig-0.9.2.ta

2014-06-16 11:30:54 634

转载 hive入门学习线路指导

转：hive入门学习线路指导www.aboutyun.com/thread-7598-1-1.html(出处: about云开发)由于含有以上警告，所以没把原文贴出来，望大家自行前往阅读。同时吐槽CSDN，能不能专业点把禁用的url给显示出来，浪费大家的时间~~~

2014-06-13 22:30:26 432

原创程序员如何准备面试中的算法

备战面试中算法的五个步骤对于立志进一线互联网公司，同时不满足于一辈子干纯业务应用开发，希望在后端做点事情的同学来说，备战面试中的算法，分为哪几个步骤呢？如下：1、掌握一门编程语言首先你得确保你已掌握好一门编程语言：C的话，推荐Dennis M. Ritchie & Brian W. Kernighan合著的《C程序设计语言》，和《C和指针》；C++ 则推荐《C+

2014-06-11 18:31:35 615

转载 hive的Specified key was too long; max key length is 767 bytes问题解决

当在hive中show table 时如果报以下错时 FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the

2014-06-09 20:27:02 785

转载 Hive本地独立模式安装

在HDFS上建立tmp和/usr/hive/warehouse目录，并赋予组用户的写权限，这是HIVE默认的数据文件存放目录。在命令行下输入“hive”，如若可以进入hive的shell页面，并能浏览说明hive已经可以使用。安装好MYSQL服务器端和客户端，启动mysql服务。为HIVE建立相应的MYSQL帐号，并赋予足够的权限。用HIVE的帐号测

2014-06-09 19:36:27 904

转载 ubuntu13.10安装hive0.12.0

参考转载：http://blog.csdn.net/yonghutwo/article/details/23700749

2014-06-09 19:23:01 491

转载 java操作HBase

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hado

2014-06-06 15:43:51 436

转载在Hadoop 2.3上运行C++程序各种疑难杂症（Hadoop Pipes选择、错误集锦、Hadoop2.3编译等）

http://blog.csdn.net/lanxuezaipiao/article/details/23026369

2014-06-05 17:08:12 761

转载【hadoop摸索系列】记录使用libhdfs访问hdfs的关键问题

转载：http://www.cnblogs.com/qq120848369/p/3666757.htmlhadoop官方的二进制发布版本一直是32位平台编译的，对于java来说跨平台不影响使用，但是为了在c/c++程序中操作hdfs就做不到了，因为libhdfs.so是二进制不兼容的。我使用的是stable版本的hadoop 2.20，直接从官方下载了二进制发布版本，在目...

2014-06-05 10:42:03 735

转载 HDFS C++接口——libhdfs的编译、配置、使用

转载：http://speakingbaicai.blog.51cto.com/5667326/1309023一、环境操作系统：centos 6.3 64bitsHadoop版本：1.0.4本文假设Hadoop的安装目录为，Java的安装目录为二、编译：在目录下，执行1ant compile-c

2014-06-05 10:40:44 1961

转载 ubuntu13.10下MyEclipse进行swing时乱码问题

转至http://blog.csdn.net/ystyle_/article/details/11718679去myeclipse找到了JDK的目录MyEclipse/Common/binary/com.sun.java.jdk.linux.x86_1.6.0.013/进入jre/lib/fonts/执行如下语句： sudo mkdir fallback

2014-06-02 21:32:53 442