2013年01月_零点起航

12月 11月 10月 09月 06月 05月 04月 03月 02月 01月

原创 linux常见的一些问题

1、正常使用的虚拟机在物理机非法断电后出现 This virtual machine appears to be in use 的错误而不能正常引导，解决办法是删除VMWare虚拟机安装目录下面的所有的.lck目录和文件。

2013-01-21 09:23:35 290

原创 TestNG 与 Ant Task

TestNG 与 Ant Task使用如下方法在ant任务中定义TestNG：看源码打印？taskdefresource="testngtasks"classpath="testng.jar"/>下面的任务运行了TestNG测试，并且总是运行在分支式JVM中。它接受如下属性：属性说明必需

2013-01-10 15:00:26 936

原创 HDFS的文件操作

HDFS的文件操作格式化HDFS命令：user@namenode:hadoop$ bin/hadoop namenode -format 启动HDFS命令：user@namenode:hadoop$ bin/start-dfs.sh列出HDFS上的文件命令：user@namenode:hadoop$ bin/hadoop dfs -ls 使用hadoop A

2013-01-10 14:05:44 711

原创用把数据从hdfs写入到mysql

sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。在接触sqoop之前，我自己写了一个传输类来实现sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。在接触sqo

2013-01-10 14:03:09 3344 1

原创 hadoop乱码

hadoop乱码文件存入hadoop出现乱码，尤其是在windows下的cygwin环境测试时候囧建议使用如下配置，而不是去改hadoop源码： hadoop-env.shexport HADOOP_OPTS="-server -Dfile.encoding=utf-8 -Duser.language=zh"

2013-01-10 13:57:52 642

原创 Java数据类型和MySql数据类型对应表

Java数据类型和MySql数据类型对应表java mysql 数据类型对照类型名称显示长度数据库类型JAVA类型JDBC类型索引(int)描述 VARCHARL+NVARCHARjava.lang.String12 CHARNCHARjava.lang

2013-01-09 14:16:58 319

原创 hadoop访问数据库

Hadoop主要用来对非结构化或半结构化（HBase）数据进行存储和分析，而结构化的数据则一般使用数据库来进行存储和访问。本文的主要内容则是讲述如何将Hadoop与现有的数据库结合起来，在Hadoop应用程序中访问数据库中的文件。 1.DBInputFormatDBInputFormat是Hadoop从0.19.0开始支持的一种输入格式，包含在包org.apache.hadoop.ma

2013-01-08 14:08:39 642

原创 hadoop常见问题

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.conf

2013-01-06 13:54:46 520

原创 hadoop完全分布式配置

Hadoop的经验总结一、准备工作：① 安装虚拟机：要把ip设为静态的，不然自动重启时ip会有变化；在虚拟机上安装好JDK，然后克隆两台虚拟机，Ip分别为：172.19.121.123、172.19.121.121、172.19.121.124，在三台机器相同路径下创建相同的用户，在用户下安装hadoop。② Hadoop安装，在官网下载tar.gz安装包，解压即可.

2013-01-04 14:44:26 609

原创 hadoop中与文件读取相关的类FSDataInputStream、FileSystem 及其方法

一、从Hadoop URL 中读取数据使用java.net.URL对象打开一个数据流InputStream in = new URL("hdfs://host/path").openStream();二、FileSystem 对象取得FileSystem实例有两种静态方法：（1）public static FileSystem get（Confi

2013-01-04 10:32:19 6766