- 博客(18)
- 资源 (21)
- 问答 (1)
- 收藏
- 关注
原创 ssh localhost失败
如果ssh localhost返回这样的提示:Agent admitted failure to sign using the key 、解决方案: 添加id_rsa到ssh-agent : ssh-add id_rsa 如果提示: “Could not open a connection to your authentication ag
2014-12-27 11:18:12 614
原创 java.lang.OutOfMemoryError: Java heap space
出现这种异常,明显是jvm内存不够得原因,要修改所有的datanode的jvm内存大小。在hadoop-0.20.2/conf/mapred-site.xml里设置一下hadoop的mapred.child.java.opts。该值默认为200M。在文件中添加如下键值对:mapred.child.java.opts-Xmx512M
2014-12-18 21:10:31 507
转载 hadoop :java.io.FileNotFoundException: File does not exist:
点击打开链接转自:http://blog.163.com/silver9886@126/blog/static/35971862201441134010403/1.用hadoop的eclipse插件下M/R程序的时候,有时候会报Exception in thread "main" java.lang.IllegalArgumentException: Pathname
2014-12-18 21:04:08 20745
转载 Doxygen + Graphviz windows下的看源码神器
转自:http://www.java123.net/v/511979.html 查看一些开源代码经常被一些函数的调用关系给绕进去,经过网上查阅资料,发现了这个好用的方法,拿出来和大家分享下安装和应用的过程。本人常用windows系统,所以主要讲解下windows下相关的内容要使用doxygen生成漂亮的调用关系图,那就必须安装下图形生成工具graphviz软件,要通过html生成c
2014-12-17 15:49:03 502
原创 源码分析Hadoop FileInputFormat如何分片
Hadoop采用的是分布式并行计算的模式来处理大数据,在处理时必然要对数据进行分片,将数据由大化小,将一个大的任务化为几个小的任务,这就是hadoop处理大数据的核心思想。 这里要讨论的是hadoop对数据进行分割的方片,这里的分片是逻辑上的,不同于Hdfs对数据的分块,分片并没有改变数据的存储位置。分片在hadoop中由InputFormat这个类体系来完成。
2014-12-17 15:14:55 971
转载 使用Eclipse的几个必须掌握的快捷方式
转发自:http://doggou.javaeye.com/blog/211741“工若善其事,必先利其器”,感谢Eclipse,她 使我们阅读一个大工程的代码更加容易,在阅读的过程中,我发现掌握几个Eclipse的快捷键会使阅读体验更加流畅,写出来与诸君分享,欢迎补充.1. Ctrl+左键 这个是大多数人经常用到的,用来查看变量、方法、类的定义2. Ctrl+O
2014-12-16 11:22:23 353
原创 异常eclipse Hadoop Failed to set permissions of path的解决
eclipse Hadoop Failed to set permissions of pathwindow下在eclipse中执行hadoop程序时报错,如下:原因文末有写(来自网友),所有的解决方案都是修改FileUitl文件,然后重新编译hadoop核心包,替换现有的hadoop核心包。其实没有那么麻烦,只要在scr目录下重新建包,包里面包含FiltUitl类,将之前的FileUit
2014-12-15 20:30:34 1948
原创 配置Paoding分词时出现的错误:java.lang.AbstractMethodError: org.apache.lucene.analysis.TokenStream.incrementTo
出现异常:在使用lucene3与paoding集成的时候可能会出现以下错误:Exception in thread "main" java.lang.AbstractMethodError: org.apache.lucene.analysis.TokenStream.incrementToken()Z at org.apache.lucene.index.DocInverterPer
2014-12-15 13:35:42 2565
原创 北风网Hadoop套餐教程 Hive 入门实战:Mysql+Hive
1,本例将hadoop的错误日志经过Hive导入到mysql中。这里不讨论实验的实际意义,目的是通过调用Hive的java API,加深对Hive的理解,熟悉Hive的运用。2,实验的逻辑:2.1,将hadoop的日志交由Hive数据仓库管理。2.2,由Hive数据仓库对日志数据进行清理,将error级别的日志信息导入到mysql数据库中。逻辑上其实及其简单:将hadoop日志导入
2014-12-14 18:11:38 1317
原创 如何解决Eclipse下“找不到或无法加载主类”的错误
转发自:http://blog.sina.com.cn/s/blog_7ebc46500101gtff.html有时候 Eclipse 会发神经,好端端的 project 就这么编译不了了,连 Hello World 都会报“找不到或无法加载主类”的错误,我已经遇到好几次了,以前是懒得深究就直接重建project了,但遇到次数多了必须深究下了,现总结几种解决方案,大家根据自己的情况逐一尝
2014-12-14 16:37:31 19105 6
原创 Hive 用户自定义函数UDF详解
本例自定义一个Hive UDF函数,功能是将从Hive数据仓库查询出来的字符串进行大小写转换。第一步,创建java工程,添加jar包。 Ø导入Hive的lib目录下的jar包以及hadoop安装目录下的hadoop-core.jar第二步,新建package包,包中新建java类,该类一定要继承org.apache.hadoop.hive.ql
2014-12-14 10:09:21 8504
原创 基于虚拟机的centos版本linux操作系统如何联网
1,我的环境:win7,Oracle VM VirtualBox,centos2,修改配置文件:/etc/sysconfig/network-scripts/ifcfg-eth0文件,如下:3,设置网络连接方式
2014-12-13 22:17:04 431
转载 centos中文输入法设定
此文为转发,原文地址:http://blog.csdn.net/newizan/article/details/19012233 centos 6.4用yum安装中文输入法1.需要root权限,所以要用root登录 ,或su root2.yum install "@Chinese Support"3.exit4.回到桌面,system->preferences-
2014-12-13 22:04:18 620
原创 Hive分区、分桶操作及其比较
1,Hive分区。 是指按照数据表的某列或某些列分为多个区,区从形式上可以理解为文件夹,比如我们要收集某个大型网站的日志数据,一个网站每天的日志数据存在同一张表上,由于每天会生成大量的日志,导致数据表的内容巨大,在查询时进行全表扫描耗费的资源非常多。那其实这个情况下,我们可以按照日期对数据表进行分区,不同日期的数据存放在不同的分区,在查询时只要指定分区字段的值就可以直接从该分区查找。
2014-12-13 17:39:29 27683 3
原创 Hive的数据类型
Hive支持的数据类型如下:原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY (Hive 0.8.0以上才可用)TIMESTAMP (Hive 0.8.0以上才可用)复合类型:arrays: ARRAYmaps: MAPstructs: STRUCTunion: UNIONTYPE我没有从数据类型本身
2014-12-13 15:06:02 532
原创 Hive简介和安装
1,Hive是基于hadoop的数据仓库解决方案,由facebook贡献给Apache。Hive出现的初衷是让不熟悉编程的数据分析人员也能够使用hadoop处理大数据,这是怎么实现的呢?2,我们先来看看Hive提供的接口,从下面Hive的架构图中可以很明显的看出来,Hive 提供了Hive shell,JDBC/ODBC,Web接口来使用和管理Hive数据仓库。Hive的shell
2014-12-12 11:00:41 1117
原创 Mahout推荐系统构建
参考博客:1,Mahout推荐算法基础。http://blog.csdn.net/ppcat_001/article/details/77368222,用Maven构建Mahout项目。http://blog.fens.me/hadoop-mahout-maven-eclipse/Mahout的推荐引擎已经高度模块化,用户能基于Mahout用极简单的代码构建自己的推荐引擎。这篇
2014-12-11 15:02:47 911
2.Hadoop-lzo.7z lzo源码+包
2021-11-21
squirrelsqlclientxz.7z
2021-06-01
hadoop2.7.5-Windows版.zip
2021-04-15
java多线程设计模式
2016-01-23
空间数据分析与R实践
2016-01-05
android界面卡死,光标还在闪烁,没有ANR,百分百必现,求大神解救?
2020-04-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人