Hadoop开发相关
hezhixue
这个作者很懒,什么都没留下…
展开
-
Eclipse Hadoop开发 DFSLocation显示不完整
如果在Eclipse开发Hadoop时,DFSLocation显示不出你本想应该在这里显示的内容时,可以试试这一方法:在终端中输入输入bin/hadoop dfsadmin -safemode leave 命令,退出安全模式然后重新连接尝试即可!原创 2013-11-24 20:37:17 · 2870 阅读 · 0 评论 -
Pig 的安装和配置
1 P ig 的安装条件 Hadoop 0.20.2Pig 有两种运行模式: Local 模式和 MapReduce 模式。如果需要让作业在分布式环境下运行,则需要安装Hadoop ,否则用户可以选择不安装。另外,当前 Hadoop 最新的版本为 0.20.2 ,当然用户也可以选择安装其它版本,不过这里建议安装最新的 Hadoop 版本。因为新的版本修正了以前版本中的一些错误,并且添转载 2014-01-14 18:44:34 · 571 阅读 · 0 评论 -
Hive安装
1. 下载Hive下载地址:http://www.fayea.com/apache-mirror/hive/,我下载的是HiveHive-0.9.0(http://www.fayea.com/apache-mirror/hive/hive-0.9.0/hive-0.9.0.tar.gz)。2. 把Hive移动到/home/hadoop目录下并解压hadoop@ubuntu:~/转载 2014-01-14 15:05:37 · 518 阅读 · 0 评论 -
Hbase shell详情
HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错 HBase Shell 命令时用键盘上的“Delete”进行删除,“Backspace”不起作用。在启动 HBase转载 2014-01-13 16:59:42 · 461 阅读 · 0 评论 -
Hadoop+HBase 安装配置
hadoop版本:hadoop-0.20.2 http://apache.etoak.com//hadoop/common/hadoop-0.20.2/安装配置Hadoop请参考:http://booby325.iteye.com/admin/blogs/1309940HBase版本:Hbase-0.90.3 http://apache.etoak.com//hbase转载 2014-01-13 15:50:33 · 499 阅读 · 0 评论 -
MapReduce编程System.out.println输出在哪里可找到?
MapReduce编程System.out.println输出在哪里可找到?转载请注明出处: 【http://datasearch.ruc.edu.cn/~boliangfeng/blog】,谢谢。刚进行MapReduce编程时,很多人都会问这样的问题Map Reduce函数中的System.out.println打印输出为什么在终端屏幕看不到?事实上语句是运行的,只不过Job转载 2014-01-12 10:19:49 · 4254 阅读 · 0 评论 -
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
Hadoop在处理海量数据分析方面具有独天优势。今天花了在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下。首先,了解Hadoop的三种安装模式:1. 单机模式. 单机模式是Hadoop的默认模。当配置文件为空时,Hadoop完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapR转载 2013-11-23 11:52:03 · 460 阅读 · 0 评论 -
Ubuntu-10.10如何给用户添加sudo权限
Ubuntu-10.10系统安装过程中,系统会提示建立一个默认用户,比如用户名为:xuwei。这个默认用户具有一定的管理功能,即可以通过sudo命令执行root权限的操作。由于Ubuntu系统不允许通过root用户登录系统,所以这个默认用户即是实际意义上的管理员。现在的问题是:如果新建一个用户:hadoop,然后要将此用户设置为与xuwei相同的管理员用户。此问题有2种方式实现:1转载 2013-11-23 11:04:37 · 547 阅读 · 0 评论 -
eclipse Unable Run on hadoop? 解决办法
目前的集群环境,需要远程连接hdfs在使用eclipse3.3 是可以连接到hdfs,不过很遗憾,每次在运行程序时,run on hadoop都会报异常奇异常界面: 解决办法是: 我是使用eclipse3.7 可以完美使用,而且在linux系统下试了下连接hbase 也okmyecl转载 2013-10-29 18:23:15 · 588 阅读 · 0 评论 -
Hadoop 在格式化 namenode 时出现以下问题:
hadoop@ubuntu :~$ hadoop namenode -format^[[3~12/10/24 16:51:41 INFO namenode.NameNode: STARTUP_MSG: /************************************************************STARTUP_MSG: Starting NameNode转载 2013-10-29 16:27:39 · 1814 阅读 · 0 评论 -
Hadoop namenode无法启动
最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录 首先在home目录下建立一个hado转载 2013-10-29 16:26:52 · 431 阅读 · 0 评论 -
HBase Java API详解
HBase是Hadoop的数据库,能够对大数据提供随机、实时读写访问。他是开源的,分布式的,多版本的,面向列的,存储模型。在讲解的时候我首先给大家讲解一下HBase的整体结构,如下图:HBase Master是服务器负责管理所有的HRegion服务器,HBase Master并不存储HBase服务器的任何数据,HBase逻辑上的表可能会划分为多个HRegion,然后存储在H转载 2013-12-09 12:45:02 · 489 阅读 · 0 评论 -
使用 FileSystem JAVA API 对 HDFS 进行读、写、删除等操作
Hadoop文件系统 基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类,通过以下两种静态工厂方法可以过去FileSystem实例: public static FileSystem.get(Configur转载 2013-12-08 09:07:41 · 469 阅读 · 0 评论 -
ubuntu下安装JDK详解
前段时间给笔记本win7+ubuntu+CentOS三系统,由于最后安装的CentOS其 grub不能引导ubuntu12.04 LTS,只能重装了一下ubuntu,用ubuntu的grub对三个系统进行引导。重装ubuntu后首要做的事情就是安装JDK了。现在整理一下安装JDK的过程分享给大家。安装JDK其实只要搞定两个问题,安装目录以及配置文件。如果你只想要快速安装JDK,请略转载 2013-12-07 16:30:56 · 418 阅读 · 0 评论 -
ubuntu 12.04 eclipse增加桌面快捷方式
1. 创建桌面启动器(编辑/usr/share/applications/eclipse.desktop)[Desktop Entry]Encoding=UTF-8Name=eclipseComment=Eclipse IDEExec=/opt/eclipse/eclipseIcon=/opt/eclipse/icon.xpmTerminal=falseStartupNo转载 2013-11-24 01:16:14 · 581 阅读 · 0 评论 -
轻松使用Hadoop RPC
Hadoop RPC是Hadoop的一个重要部分,提供分布式环境下的对象调用功能,源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码,只是在配置项上面有所改动。关于Hadoop RPC的机制分析和源码解读,网上已经有许多资料,一搜一大把,这里就不在描述了。本文通过一个小例子,介绍如何调用Hadoop RPC。1. 应用场景Had转载 2014-01-27 10:46:28 · 441 阅读 · 0 评论