hadoop
DBGuardian
这个作者很懒,什么都没留下…
展开
-
Hadoop集群之HDFS
1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理转载 2014-02-23 19:18:38 · 927 阅读 · 0 评论 -
HBase技术介绍
莫问HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储转载 2014-03-02 21:32:41 · 630 阅读 · 0 评论 -
Hive HBase 整合
博客分类:hive HBaseHadoopJavaApache数据结构 hive hbase整合,要求比较多,1.hive的得是0.6.0(当前最新的版本)2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3,其他版本需要重新编译hive_hbase-handler 但是新版的hbase(0.90)变动特别大转载 2014-03-04 22:56:07 · 557 阅读 · 0 评论 -
hadoop2.2.0 centos 编译安装详解
废话不讲,直切正题。搭建环境:Centos x 6.4 64bit1、安装JDK我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html,选择对应的JDK版本,解压JDK,然后配置环境变量,转载 2015-03-14 09:19:50 · 552 阅读 · 0 评论 -
Azkaban-开源任务调度程序(使用篇)
上篇文章说到了安装,这次说说使用登录https://localhost:8443注意是https,采用的是jetty ssl链接。输入账号密码azkaban/azkanban(如果你之前没有更改的话)首页首页有四个菜单projects:最重要的部分,创建一个工程,所有flows将在工程中运行。 scheduling:显示定时任务 executing:显示当前运行...原创 2019-03-10 14:29:03 · 703 阅读 · 0 评论