epitomizelu的专栏

原创 ssh localhost失败

如果ssh localhost返回这样的提示：Agent admitted failure to sign using the key 、解决方案：      添加id_rsa到ssh-agent ：  ssh-add id_rsa      如果提示： “Could not open a connection to your authentication ag

原创 java.lang.OutOfMemoryError: Java heap space

出现这种异常，明显是jvm内存不够得原因，要修改所有的datanode的jvm内存大小。在hadoop-0.20.2/conf/mapred-site.xml里设置一下hadoop的mapred.child.java.opts。该值默认为200M。在文件中添加如下键值对：mapred.child.java.opts-Xmx512M

转载 hadoop :java.io.FileNotFoundException: File does not exist:

点击打开链接转自：http://blog.163.com/silver9886@126/blog/static/35971862201441134010403/1.用hadoop的eclipse插件下M/R程序的时候，有时候会报Exception in thread "main" java.lang.IllegalArgumentException: Pathname

转载 Doxygen + Graphviz windows下的看源码神器

转自：http://www.java123.net/v/511979.html 查看一些开源代码经常被一些函数的调用关系给绕进去，经过网上查阅资料，发现了这个好用的方法，拿出来和大家分享下安装和应用的过程。本人常用windows系统，所以主要讲解下windows下相关的内容要使用doxygen生成漂亮的调用关系图，那就必须安装下图形生成工具graphviz软件，要通过html生成c

原创 源码分析Hadoop FileInputFormat如何分片

Hadoop采用的是分布式并行计算的模式来处理大数据，在处理时必然要对数据进行分片，将数据由大化小，将一个大的任务化为几个小的任务，这就是hadoop处理大数据的核心思想。        这里要讨论的是hadoop对数据进行分割的方片，这里的分片是逻辑上的，不同于Hdfs对数据的分块，分片并没有改变数据的存储位置。分片在hadoop中由InputFormat这个类体系来完成。

转载 使用Eclipse的几个必须掌握的快捷方式

转发自：http://doggou.javaeye.com/blog/211741“工若善其事，必先利其器”，感谢Eclipse，她 使我们阅读一个大工程的代码更加容易，在阅读的过程中，我发现掌握几个Eclipse的快捷键会使阅读体验更加流畅，写出来与诸君分享，欢迎补充.1. Ctrl+左键 这个是大多数人经常用到的，用来查看变量、方法、类的定义2. Ctrl+O 

原创 异常eclipse Hadoop Failed to set permissions of path的解决

eclipse Hadoop Failed to set permissions of pathwindow下在eclipse中执行hadoop程序时报错，如下：原因文末有写（来自网友），所有的解决方案都是修改FileUitl文件，然后重新编译hadoop核心包，替换现有的hadoop核心包。其实没有那么麻烦，只要在scr目录下重新建包，包里面包含FiltUitl类，将之前的FileUit

原创 配置Paoding分词时出现的错误：java.lang.AbstractMethodError: org.apache.lucene.analysis.TokenStream.incrementTo

出现异常：在使用lucene3与paoding集成的时候可能会出现以下错误：Exception in thread "main" java.lang.AbstractMethodError: org.apache.lucene.analysis.TokenStream.incrementToken()Z at org.apache.lucene.index.DocInverterPer

原创 Hadoop生态系统参考书

原创 北风网Hadoop套餐教程 Hive 入门实战：Mysql+Hive

1，本例将hadoop的错误日志经过Hive导入到mysql中。这里不讨论实验的实际意义，目的是通过调用Hive的java API，加深对Hive的理解，熟悉Hive的运用。2，实验的逻辑：2.1，将hadoop的日志交由Hive数据仓库管理。2.2，由Hive数据仓库对日志数据进行清理，将error级别的日志信息导入到mysql数据库中。逻辑上其实及其简单：将hadoop日志导入

原创 如何解决Eclipse下“找不到或无法加载主类”的错误

转发自：http://blog.sina.com.cn/s/blog_7ebc46500101gtff.html有时候 Eclipse 会发神经，好端端的 project 就这么编译不了了，连 Hello World 都会报“找不到或无法加载主类”的错误，我已经遇到好几次了，以前是懒得深究就直接重建project了，但遇到次数多了必须深究下了，现总结几种解决方案，大家根据自己的情况逐一尝

原创 Hive 用户自定义函数UDF详解

本例自定义一个Hive UDF函数，功能是将从Hive数据仓库查询出来的字符串进行大小写转换。第一步，创建java工程，添加jar包。 Ø导入Hive的lib目录下的jar包以及hadoop安装目录下的hadoop-core.jar第二步，新建package包，包中新建java类，该类一定要继承org.apache.hadoop.hive.ql

原创 基于虚拟机的centos版本linux操作系统如何联网

1，我的环境：win7，Oracle  VM VirtualBox，centos2，修改配置文件：/etc/sysconfig/network-scripts/ifcfg-eth0文件，如下：3，设置网络连接方式

转载 centos中文输入法设定

此文为转发，原文地址：http://blog.csdn.net/newizan/article/details/19012233 centos 6.4用yum安装中文输入法1.需要root权限，所以要用root登录 ，或su root2.yum install "@Chinese Support"3.exit4.回到桌面，system->preferences-

原创 Hive分区、分桶操作及其比较

1，Hive分区。 是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找。

原创 Hive的数据类型

Hive支持的数据类型如下：原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY (Hive 0.8.0以上才可用)TIMESTAMP (Hive 0.8.0以上才可用)复合类型:arrays: ARRAYmaps: MAPstructs: STRUCTunion: UNIONTYPE我没有从数据类型本身

原创 Hive简介和安装

1，Hive是基于hadoop的数据仓库解决方案，由facebook贡献给Apache。Hive出现的初衷是让不熟悉编程的数据分析人员也能够使用hadoop处理大数据，这是怎么实现的呢？2，我们先来看看Hive提供的接口，从下面Hive的架构图中可以很明显的看出来，Hive 提供了Hive shell，JDBC/ODBC，Web接口来使用和管理Hive数据仓库。Hive的shell

原创 Mahout推荐系统构建

参考博客：1，Mahout推荐算法基础。http://blog.csdn.net/ppcat_001/article/details/77368222，用Maven构建Mahout项目。http://blog.fens.me/hadoop-mahout-maven-eclipse/Mahout的推荐引擎已经高度模块化，用户能基于Mahout用极简单的代码构建自己的推荐引擎。这篇