hadoop zookeeper hbase hive
文章平均质量分 80
全能码农-ss
这个作者很懒,什么都没留下…
展开
-
Hadoop学习总结之七:HDFS 操作
转自:http://www.xuehuile.com/blog/db693eb859b64c39b945d7ae333a1343.html package com.java.api.hdfs; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import jav转载 2015-01-27 11:26:09 · 411 阅读 · 0 评论 -
ZooKeeper系列之二:Zookeeper常用命令
转自 :http://blog.csdn.net/xiaolang85/article/details/13021339 ZooKeeper服务命令: 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作 1. 启动ZK服务: sh bin/zkServer.sh start2. 查看ZK服务状态: sh b转载 2015-01-20 14:53:08 · 416 阅读 · 0 评论 -
Hadoop学习总结之六:HADOOP基本操作命令
转自:博客园 逖靖寒 逖靖寒的世界 HADOOP基本操作命令 HADOOP基本操作命令 在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动HADOOP 1. 进入HADOOP_HOME目录。 2.转载 2015-01-20 15:38:58 · 428 阅读 · 0 评论 -
HIVE 安装
综合整理自: https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallationandConfiguration http://blog.csdn.net/zouxinfox/article/details/5901391 http://www.mazsoft.com/转载 2015-02-09 14:22:29 · 349 阅读 · 0 评论 -
Hbase原理、基本概念、基本架构
转自:http://blog.csdn.net/woshiwanxin102213/article/details/17584043 Hbase原理、基本概念、基本架构 分类: Hadoop hbase2013-12-26 16:36 9873人阅读 评论(7) 收藏 举报 hadoophbase 目录(?)[+]转载 2015-02-09 14:56:50 · 394 阅读 · 0 评论 -
Hbase 学习笔记(四): Hbase的架构和实现原理
转自:http://ygydaiaq-gmail-com.iteye.com/blog/1733367 Hbase 学习笔记(四): Hbase的架构和实现原理 博客分类: Hbase Hbase架构存储 一、架构思路 Hbase是基于Hadoop的项目,所以一般情况下我们使用的直接就是HDFS文件系统,这里我们不深谈HDFS如何转载 2015-02-09 15:07:46 · 432 阅读 · 0 评论 -
Hbase 学习笔记(一): 基础客户端API
转自:http://ygydaiaq-gmail-com.iteye.com/blog/1709398 Hbase 学习笔记(一): 基础客户端API 博客分类: Hbase Hbase笔记 一、环境 在Hadoop上快速搭建Hbase环境非常简单,下载软件包解压以后写好配置文件就可以直接运行了,不多作叙述。 二、基础客转载 2015-02-09 15:02:19 · 426 阅读 · 0 评论 -
Hbase 学习笔记(二): 高级模块
转自:http://ygydaiaq-gmail-com.iteye.com/blog/1716844 Hbase 学习笔记(二): 高级模块 博客分类: Hbase Hbase笔记 上一篇介绍了Hbase在操作数据中的基本的API,包括增删查。增删都是相对简单的操作,与传统的RDBMS相比,这里的查询操作略显苍白,只能根据特定的主键查转载 2015-02-09 15:04:11 · 492 阅读 · 0 评论 -
Hbase 学习笔记(三):管理模块
转自:http://ygydaiaq-gmail-com.iteye.com/blog/1721850 Hbase 学习笔记(三):管理模块 博客分类: Hbase Hbase 上一篇我们介绍了对Hbase中数据的一些高级的操作,至此,我们可以很好的管理和操作Hbase的数据了,这一篇将主要介绍Hbase提供的管理(Administrativ转载 2015-02-09 15:05:58 · 346 阅读 · 0 评论 -
hadoop 基本文件操作命令
转自:http://blog.sina.com.cn/s/blog_68b4c68f0101429x.html hadoop 基本文件操作命令 (2012-05-15 09:58:38) 转载▼ 标签: 杂谈 分类: Hadoop 1.将本地文件拷贝到 hdfs 文件系统中 bin/hadoop fs转载 2015-01-23 18:11:10 · 432 阅读 · 0 评论 -
zookeeper原理
转自:http://cailin.iteye.com/blog/2014486 zookeeper原理 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁转载 2015-01-20 11:15:54 · 490 阅读 · 0 评论 -
Hadoop学习总结之五:Hadoop的运行痕迹
转自:博客园 觉先 Hadoop学习总结之五:Hadoop的运行痕迹 Hadoop 学习总结之一:HDFS简介 Hadoop学习总结之二:HDFS读写过程解析 Hadoop学习总结之三:Map-Reduce入门 Hadoop学习总结之四:Map-Reduce的过程解析 在使用hadoop的时候,可能遇到各种各样的问题,然而由于hadoop的运行机制比较复杂,转载 2015-01-20 15:26:56 · 463 阅读 · 0 评论 -
Hadoop学习总结之二:HDFS读写过程解析
转自:博客园 觉先 Hadoop学习总结之二:HDFS读写过程解析 一、文件的打开 1.1、客户端 HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为: public FSDataInputStream open(Path f, int bufferSize)转载 2015-01-20 15:22:02 · 447 阅读 · 0 评论 -
Hadoop学习总结之三:Map-Reduce入门
转自:博客园 觉先 Hadoop学习总结之三:Map-Reduce入门 1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/- 0067011990999991950051507+00转载 2015-01-20 15:23:20 · 427 阅读 · 0 评论 -
hbase基本概念和hbase shell常用命令用法
转自:http://www.cnblogs.com/end/archive/2012/08/23/2652451.html hbase基本概念和hbase shell常用命令用法 1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的转载 2015-01-28 18:36:14 · 489 阅读 · 0 评论 -
ZooKeeper典型使用场景一览
转自:http://www.kuqin.com/system-analysis/20111120/315148.html ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍,本文将结合作者身边的项目例转载 2014-12-30 15:03:29 · 495 阅读 · 0 评论 -
zookeeper安装
转自:http://blog.csdn.net/lin_fs/article/details/7395307 如题本文介绍的是ZooKeeper 的安装和配置过程,此过程非常简单,关键是如何应用(将放在下节及相关节中介绍)。 单机安装、配置: 安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个目录如:/home/frank/ZooK转载 2014-12-30 14:56:02 · 283 阅读 · 0 评论 -
hbase、zookeeper及hadoop部署
转自:http://blog.csdn.net/wf1982/article/details/6601003 一 机器 192.168.0.203 hd203: hadoop namenode & hbase HMaster 192.168.0.204 hd204: hadoop datanode & hbase HRegionServer & zookeeper 192.16转载 2014-12-30 14:50:09 · 441 阅读 · 0 评论 -
Thinking in BigData(八)大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
转自:http://blog.csdn.net/yczws1/article/details/19178265 (转者注:感谢dufman,这文章写的真好!) 纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、Hive转载 2015-02-06 11:11:25 · 728 阅读 · 0 评论 -
Hadoop学习总结之四:Map-Reduce的过程解析
转自:博客园 觉先 Hadoop学习总结之四:Map-Reduce的过程解析 一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的: public static RunningJob runJob(JobConf job) throws IOExcept转载 2015-01-20 15:25:34 · 478 阅读 · 0 评论 -
zookeeper demo
package zookeeper; import java.io.IOException; import java.util.concurrent.CountDownLatch; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.KeeperException; import org.apache.zook原创 2015-01-20 14:56:02 · 558 阅读 · 0 评论 -
Hadoop 学习总结之一:HDFS简介
转自:博客园 觉先 Hadoop 学习总结之一:HDFS简介 一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,转载 2015-01-20 15:19:48 · 466 阅读 · 0 评论 -
各种算法一Zookeeper与paxos算法
Paxos 和 FastPaxos 网上很多,总是云里雾里的,今看到一片短文,聊聊数百字,如醍醐灌顶,某茅塞顿开,再仔细查看,原来此君是写小说的。佩服!佩服! 如下是转载内容,理解zookeeper中的paxos算法实现,请看第五段。 转自:http://blog.csdn.net/ronghao100/article/details/7384752 一、转载 2015-02-09 15:15:20 · 2177 阅读 · 0 评论