2015年03月_一饼团队

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

Java代码如下：FileSystem fs = FileSystem.get(conf); in = fs.open(new Path("hdfs://192.168.130.54:19000/user/hmail/output/part-00000")); 抛出异常如下：Exception in thread "main" java.lang.IllegalArgumentExce

2015-03-26 18:13:22 8437

转载 Linux下Hadoop Eclipse插件编译安装

刚刚开始研究Hadoop，在写Map Reduce程序的时候觉得用vim不够用，于是想在Eclipse下面配置一下相关的环境。按照Hadoop in Action的说法，本来想用Hadoop Studio，但是发现现在只有30天的试用版，于是找了一下，发现Hadoop本身有带Eclipse的插件，于是觉得可以用一下。不过又发现Hadoop的Eclipse插件现在没有二进制版直接提供，只能自己

2015-03-26 18:11:39 549

转载【hadoop sqoop】 ERROR Streaming result set com.mysql.jdbc.RowDataDynamic@1d5a7f6 is still active. No

用sqoop导入mysql出现错误：[html] view plaincopy[jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --username dss --password 123123 --table bb_month --hive-import

2015-03-11 15:36:09 4068

转载【hadoop sqoop】运行sqoop 报 Could not find or load main class org.apache.sqoop.Sqoop

又是一个缺少JAR 包导致的错误。从apache网站上下载sqoop-1.4.3.tar.gz 解压后运行sqloop 报错。[hadoop@hadoop1 jobTracker]$ sqoop Error: Could not find or load main class org.apache.sqoop.Sqoop后来分析原因是缺少sqoop-1.4.3.j

2015-03-11 15:23:21 6164 1

原创【hadoop hive】hive建表报错：Specified key was too long; max key length is 767 bytes

hive 建表报错，建表语句：create table table_test(id string,name string);报错信息如下：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDOData

2015-03-11 14:44:14 2335

原创 CAS sso单点登录

CAS server下载地址：https://www.apereo.org/cas/downloadCAS client下载地址：http://downloads.jasig.org/cas-clients/本教程环境：CAS server：CAS server 4.0.0CAS client： CAS client 3.3.3Tomcat： apache-t

2015-03-11 10:31:53 844

原创【hadoop hive】hive启动报错java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.unset(Ljava/l

Hive启动时报错，报错信息如下：Logging initialized using configuration in jar:file:/usr/local/opt/hive-0.14.0/lib/hive-common-0.14.0.jar!/hive-log4j.propertiesException in thread "main" java.lang.NoSuchMethodEr

2015-03-10 17:48:29 19606 7

HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系

2015-03-10 13:58:20 1016

原创【zookeeper】Interrupted while waiting for message on queue

Interrupted while waiting for message on queuejava.lang.InterruptedExceptionat java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.reportInterruptAfterWait(AbstractQueuedSynchron

2015-03-09 18:06:51 7485 2

转载 Error:No suitable device found: no device found for connection "System eth0"

环境描述：Virtual Box 下的虚拟机Rhel6u2 X64故障说明：在克隆几台虚拟机，发现启动后不能配置IP地址等信息，使用linux命令: “ifup eth0”也不能激活网卡，而在使用"service network restart",出现错误： Error:No suitable device found: no dev

2015-03-06 15:04:59 513

转载 Python模块学习 ---- fileinput

fileinput模块提供处理一个或多个文本文件的功能，可以通过使用for循环来读取一个或多个文本文件的所有行。它的工作方式和readlines很类似，不同点在于它不是将全部的行读到列表中而是创建了一个xreadlines对象。下面是fileinput模块中的常用函数：input() #返回能够用于for循环遍历的对象filename() #返回当前文件的名称line

2015-03-03 13:38:03 643

转载 GitHub使用教程for Eclipse

1.下载egit插件打开Eclipse，git需要eclipse授权，通过网页是无法下载egit的安装包的。在菜单栏依次打开eclipse→help→install new software→add，Name栏中输入egit，location栏中输入 http://download.eclipse.org/egit/updates/ ，点击ok进行下载。下载完成后会提示重启eclipse；如果

2015-03-02 18:07:48 671