Hadoop生态系统
穿越技术印记的河流
我喜欢,驾驭着代码在风驰电掣中创造完美!
我喜欢,操纵着代码在随必所欲中体验生活!
我喜欢,书写着代码在时代浪潮中完成经典!
每一段新的代码在我手中诞生对我来说就象观看刹那花开的感动!
展开
-
搭建hadoop完全分布式环境,CentOS6.5安装Hadoop2.7.3完整流程
转载地址:http://www.open-open.com/lib/view/open1435761287778.html总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。1、环境,3台CentOS6.5,64位,Hadoop2.7.3需要64位Linux,操作系统十几分钟就可以安装完成,Mast转载 2017-09-15 21:20:37 · 831 阅读 · 0 评论 -
HBase基本数据操作详解【完整版,绝对精品】
引言之前详细写了一篇HBase过滤器的文章,今天把基础的表和数据相关操作补上。本文档参考最新(截止2014年7月16日)的官方Ref Guide、Developer API编写。所有代码均基于“hbase 0.96.2-hadoop2”版本编写,均实测通过。欢迎转载,请注明来源:http://blog.csdn.net/u010967382/article/details/3787870转载 2017-12-04 15:22:44 · 411 阅读 · 0 评论 -
HBase学习笔记
版权声明:本文为博主原创文章,未经博主允许不得转载。文章实例下载文件:http://download.csdn.net/detail/ruishenh/9551930原文地址:http://blog.csdn.net/ruishenh/article/details/51694730hbase 是什么官方说明:Use Apache HBase™ when youneed random, real转载 2017-11-22 18:01:39 · 407 阅读 · 0 评论 -
hbase filter(过滤器)和coprocessor(协处理器)统计行数的简单应用
1.关于filter的用法及说明参见这三篇博文,基本涵盖了绝大部分filter,很详细,还有实测代码,感谢博主的付出,特收藏.HBase Filter:http://blog.sina.com.cn/s/blog_7431c7c50101c5ig.htmlHBase(0.96以上版本)过滤器Filter详解及实例代码:http://blog.csdn.net/u010967382/article转载 2017-11-10 17:05:49 · 666 阅读 · 0 评论 -
Hive学习总结
1. HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reduce转载 2017-10-30 19:17:14 · 1097 阅读 · 0 评论 -
ZooKeeper 常用操作API详解
转载:http://www.aboutyun.com/thread-12817-1-1.html问题导读:1、ZooKeeper的常用API方法都有那些?2、Zookeeper 到底能帮我们解决那些问题?3、如何实现共享锁(Locks)? ZooKeeper是一个用于分布式应用程序的分布式开源协调服务。它使用一组简单的操作原语,使得分布式应用可以实现更高层次的服务——如同步、配置维护、群组转载 2017-09-28 15:11:42 · 5464 阅读 · 0 评论 -
Yarn调度器Scheduler详解
理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景。为此,Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调度器可以选转载 2017-09-01 16:50:23 · 380 阅读 · 0 评论 -
HBase Java API 使用示例
在使用HBase Java API 之前,大家首先要了解HBase Java API类,可参考博客:http://www.cnblogs.com/ggjucheng/p/3380267.html几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库(DataBase)HBaseConfigurationHTable表(Table)HTableDescr转载 2017-09-26 15:26:39 · 365 阅读 · 0 评论 -
HBase新版本Java API编程实战及基本操作方法封装
我的HBase版本是0.98 首先说明一下,如果用eclipse操作hbase时,如果报Unknown host错误,找不到主机,是因为你没有配IP地址的映射 方法是 找到你的系统盘里面的C:\Windows\System32\drivers\etc下的hosts文件,打开,增加一个映射 加一个映射 192.168.52.140 master1话不多说,直接看代码,注释很详细impor转载 2017-09-26 15:22:38 · 499 阅读 · 0 评论 -
Hbase Java API 介绍及使用示例
几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库(DataBase)HBaseConfigurationHTable表(Table)HTableDescriptor列族(Column Family)Put列修饰符(Column Qualifier)GetScanner一、HBaseConfiguration关系:org.apache.hadoop.转载 2017-09-18 14:49:38 · 660 阅读 · 0 评论 -
Hadoop学习线路指导
问题导读:1.hadoop编程需要哪些基础?2.hadoop编程需要注意哪些问题?3.如何创建mapreduce程序及其包含几部分?4.如何远程连接eclipse,可能会遇到什么问题?5.如何编译hadoop源码? 阅读此篇文章,需要些基础下面两篇文章零基础学习hadoop到上手工作线路指导(初级篇)http://www.aboutyun.com/thread-6780-1-1.html转载 2017-08-31 14:10:40 · 782 阅读 · 0 评论 -
ZooKeeper——Curator客户端基本使用
Curator使用Curator是Netflix公司一个开源的zookeeper客户端,在原生API接口上进行了包装,解决了很多ZooKeeper客户端非常底层的细节开发。同时内部实现了诸如Session超时重连,Watcher反复注册等功能,实现了Fluent风格的API接口,是使用最广泛的zookeeper客户端之...转载 2018-04-28 10:36:11 · 362 阅读 · 0 评论