- 博客(109)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hbase 新api连接java实现
1，用HTableDescriptor tableDesc = new HTableDescriptor(TableName.valueOf(tableName)); 代替 HTableDescriptor tableDesc = new HTableDescriptor(tableName);2，用org.apache.hadoop.hbase.Cell 代替 org.apache
2014-10-28 17:48:50
1029
转载 Hadoop学习三十：Win7 Eclipse调试Centos Hadoop2.2-Mapreduce
一. 自己搭建开发环境 今天自己搭建了一套Centos5.3 + Hadoop2.2 + Hbase0.96.1.1的开发环境，Win7 Eclipse调试MapReduce成功。可能是版本比较高的原因，出了问题，网上找不到完整解决方案，只能靠自己。 二. Hadoop安装 这个就不啰嗦了，网上大把文章。我下载的是hadoop-2.2.0.tar.g
2014-10-28 14:47:02
678
转载 hbase有哪些可视化工具,图形界面管理工具
1.hbase有那些管理工具，首先hbase有自带的简单的web界面2.还有一种HBase图形界面管理工具HBaseXplorerHBaseXplorer 是一款HBase管理工具,采用JAVA界面方式,查看和管理数据都很发布.HBaseXplorer原名为 hbase-gui-admin ,是由 zpasal 开发的一款HBase管理工具下载地址:https://github.c
2014-10-24 15:57:16
53524
8
转载 Flume-ng将数据插入hdfs与HBase-0.96.0
问题导读：1.如何配置分布式flume2.master与node之间该如何配置，有什么异同？3.启动命令是什么？4.flume把数据插入hbase，该如何配置？一、Flume-ng配置插入hdfs1）简介Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Fl
2014-10-24 14:33:17
667
原创 flume+Hbase搭建问题详解
近期在做日志系统，所以选配 flume-ng去连接hbase# Describe the sinka1.sinks.k1.type = org.apache.flume.sink.hbase.AsyncHBaseSinka1.sinks.k1.table = Router #设置hbase的表名a1.sinks.k1.columnFamily = log #设置
2014-10-24 14:24:18
5661
3
转载 Unable to load native-hadoop library for your platform
问题：在运行hadoop的时候，出现警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable原因：Apache提供的hadoop本地库是32位的，而在64位
2014-10-23 11:28:04
473
转载 Hadoop集群配置（最全面总结）
Hadoop集群配置（最全面总结） huangguisu 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/c
2014-10-22 17:58:57
422
转载 hbase安装配置（整合到hadoop）
如果想详细了解hbase的安装：http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/1. 快速单击安装在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本
2014-10-22 17:47:58
416
转载 【Hadoop】Hadoop/Yarn中hdfs与mapreduce相关问题汇总
在hadoop启动的时候，会出现各种各样的问题，NameNode，JobTracker等各个模块都会有莫名奇妙的问题出现，在这里对hdfs的问题进行一下简单的记录。注：问题无先后次序，可能这次没遇到下次又遇到，所以统一记录在次一：HDFS问题1：HDFS initialized but not 'healthy' yet, waiting...这个日志会在启动had
2014-10-22 17:42:15
696
转载 【Hbase】ubuntu下单节点安装hbase存储使用hdfs
本次单机配置是使用了hdfs，而单机状态下也可以使用本机存储。使用本地文件存储的配置方式请详见：http://hi.baidu.com/s120922718/item/b441c8c287b25c3544941655使用hdfs配置，可以看官方文档 ：http://hadoop.apache.org/docs/stable/single_node_setup.html通过上述可以看
2014-10-22 17:37:58
380
转载 64位CentOS 6.5下配置Hadoop 2.5.1伪分布式环境
CentOS 6.5集群安装64位Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-06/102665.htmHadoop集群（第5期）_Hadoop安装配置 http://www.linuxidc.com/Linux/2012-12/76694p11.htm至于为什么写这篇文章，主要是Hadoop 2.3之后从框架上做出了质变，所以配置与运行
2014-10-22 15:48:35
498
转载 Hadoop 新 MapReduce 框架 Yarn 详解
简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。读者通过本文中新旧 hadoop map-reduce 框架的对比，更能深刻理解新的 yarn 框架的技术原理
2014-10-22 15:47:02
347
转载 SSH无密码验证登录的实现
1. 前期准备： 检查是否安装了SSH服务和rsync服务(rsync是一个远程数据同步工具，可以通过LAN/WLAN快速同步多台主机之间的文件) rpm -qa | grep openssh rpm -qa | grep rsync 我的Centos 5.6下的显示： www.2cto.com 如果没有安装则执行一下安装：yum
2014-10-22 15:43:30
362
转载 Hadoop Hdfs 配置（一）
环境: Jdk1.6 Hadoop-2.20.1 Fuse-2.8.1 Jdk1.6 下载地址http://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/VerifyItem-
2014-10-22 12:08:07
472
转载 hadoop 2.2.0安装开发环境（单机伪分布模式）
最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。首先要了解一下Hadoop的运行模式：单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节
2014-10-22 10:41:51
451
转载 hdfs安装和配置过程以及hadfs的工作原理（备忘）
在老师的帮助下，折腾了大半天终于把hdfs部署到ubuntu上去了。在这里记录一下各步骤备忘：在讲步骤之前，先总结一下自己对hadoop的工作你原理的理解：1.这个分布式系统是通过一个namenode(运行在master上的一个进程）来作为master来统筹管理多个作为slavers的datanode（运行在slavers上的一个进程）；2.master将各sl
2014-10-22 10:10:09
720
转载 Hbase入门笔记( 二 )-- Hadoop单机环境配置
关于Hbase的介绍，可以参见http://wiki.apache.org/hadoop/Hbase与http://en.wikipedia.org/wiki/HBase。本文主要介绍在Ubuntu10.04环境下安装配置单机版原生的HBase。在网络上找到的文章要么语焉不详，要么ungeliable.于是记录一下自己的安装配置过程，做个STEP BY STEP的图文并茂的教程，谨防自己以后忘
2014-10-22 10:03:16
383
转载 HDFS
引言 最近在研究Hadoop的HDFS分布式文件系统,在网上找了一些资料，稍微整理了下，并对HDFS分布式存储进行了简单的存储测试，跟FTP服务器存储进行了对比，测试数据在文档后面。现在先来了解下什么是Hadoop吧！ 什么是Hadoop？ Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它
2014-10-21 14:35:20
396
转载 flume 1.4 安装
flume-ng 1.4的安装flume-ng是一个分布式、高可靠和高效的日志收集系统，具体说明参看flume-ng使用指南：http://blog.csdn.net/zhu_xun/article/details/16859645flume-ng是flume的新版本的意思，其中“ng”意为new generate(新一代)，目前来说，flume-ng 1.4是最新的版本1
2014-10-21 13:55:43
422
转载 深入理解Java中的final关键字
本文由 ImportNew - 唐小娟 翻译自 Javarevisited。欢迎加入Java小组。转载请参见文章末尾的要求。Java中的final关键字非常重要，它可以应用于类、方法以及变量。这篇文章中我将带你看看什么是final关键字？将变量，方法和类声明为final代表了什么？使用final的好处是什么？最后也有一些使用final关键字的实例。final经常和static一起使用来声明
2014-10-21 11:10:10
343
转载 Java异常的面试问题及答案-Part 1
本文由 ImportNew - 韩远青 翻译自 Journaldev。欢迎加入Java小组。转载请参见文章末尾的要求。Java提供了一个健壮的、面向对象的方法来处理出现异常，称为Java异常处理。 我以前写过一篇长文章来介绍Java异常处理，今天我将列出一些重要的Java异常面试的问题及答案，希望对你们的面试有所帮助。1.什么是Java异常答：异常是发生在程序执行过程中阻碍
2014-10-21 10:55:13
374
转载 避免Java应用中NullPointerException的技巧和最佳实践
本文由 ImportNew - 熊铎 翻译自 Javarevisited。欢迎加入Java小组。转载请参见文章末尾的要求。Java应用中抛出的空指针异常是解决空指针的最好方式，也是写出能顺利工作的健壮程序的关键。俗话说“预防胜于治疗”，对于这么令人讨厌的空指针异常，这句话也是成立的。值得庆幸的是运用一些防御性的编码技巧，跟踪应用中多个部分之间的联系，你可以将Java中的空指针异常控制在一个
2014-10-21 10:46:40
423
转载 为什么String类是不可变的？
本文由 ImportNew - 唐小娟 翻译自 Journaldev。欢迎加入Java小组。转载请参见文章末尾的要求。String是所有语言中最常用的一个类。我们知道在Java中，String是不可变的、final的。Java在运行时也保存了一个字符串池(String pool)，这使得String成为了一个特别的类。String类不可变性的好处只有当字符串是不可变的，
2014-10-21 10:45:56
404
转载 使用AOP与注解记录Java日志
本文由 ImportNew - 李 广 翻译自 javacodegeeks。欢迎加入Java小组。转载请参见文章末尾的要求。有些时候，我想要把每个运行过的方法接收到的参数、返回值和执行时间等信息记录（通过slf4j 和 log4j）下来。在AspectJ、jcabi-aspects和Java注解的帮助下我实现了这个想法。1234
2014-10-20 11:53:37
573
转载 为什么要使用SLF4J而不是Log4J
本文由 ImportNew - Jaskey 翻译自 javarevisited。欢迎加入Java小组。转载请参见文章末尾的要求。每一个Java程序员都知道日志对于任何一个Java应用程序，尤其是服务端程序是至关重要的，而很多程序员也已经熟悉各种不同的日志库如java.util.logging、Apache log4j、logback。但如果你还不知道SLF4J（Simple loggin
2014-10-20 11:52:11
441
转载 Flume NG：Flume 发展史上的第一次革命
Flume NG：Flume 发展史上的第一次革命看看新闻网＞看引擎＞IBM背景Cloudera 开发的分布式日志收集系统 Flume，是 hadoop 周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到 hdfs中。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLu
2014-10-20 11:40:45
465
原创 日志系统系列flume-ng+kafka+storm+HDFS搭建实验
最近公司要求搞个日志系统，以前接触不多，最近看了好多资料什么flume flume-ng kafka
2014-10-20 11:21:46
1905
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人