hadoop
文章平均质量分 91
唐九
这个作者很懒,什么都没留下…
展开
-
Hadoop之Hbase详解
Hbase(Hadoop Database)是一种高可靠性,高性能,面向列,可伸缩的分布式存储系统。行键:每行都有唯一的行键,行键没有数据类型,它内部被认为是一个字节数组。列簇:数据在行中被组织成列簇,每行有相同的列簇,但是在行之间,相同的列簇 不需要有相同的列修饰符。在引擎中,HBase将列簇存储在它自己 的数据文件中,所以,它们需要事先被定义,此外,改变原创 2016-01-18 11:24:27 · 765 阅读 · 0 评论 -
Hadoop之HDFS介绍
之前在文章中提到过Hadoop的核心由HDFS ,MapReduce以及yarn组成Hadoop是一个由Apache基金会所开发的分布式系统基础架构,该项目的创建者Doug Cutting。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储Hadoop实现了一个分布式文件系统(Hadoop Distributed File System原创 2016-01-18 11:44:22 · 1028 阅读 · 0 评论 -
Hadoop之hive详解
什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制.本质是将SQL转换为MapReduce程序.为什么要使用Hive操作接口采用类SQL语法,提供快速开发的能力避免了去写MapReduce,减少开发人员的学习成本原创 2016-01-19 16:44:04 · 705 阅读 · 0 评论 -
Hadoop介绍
提到Hadoop,我们会想到big data,而所谓的大数据就是指海量的数据,大数据特点有四个层面:第一: 数据体量巨大。从TB级别,跃升到PB级别;第二: 数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三:处理速度快,1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的数据挖掘技术有着本质的不同。第四: 只要合理利用数据并对其进行正确、准确的分析,原创 2015-10-21 10:40:59 · 715 阅读 · 0 评论 -
Hadoop安装部署
Hadoop安装部署Hadoop安装部署方式:本地模式,伪分布模式,集群模式修改Hadoop的配置文件 本地模式: hadoop-env.sh --- JAVA_HOME /usr/java/jdk 伪分布模式: hadoop-env.sh原创 2016-01-08 16:10:58 · 520 阅读 · 0 评论 -
Ambari2.1安装HDP2.3
最近才接触Hortonworks Data Platform(HDP),安装时遇到挺多坑,以下是本人成功安装的具体步骤,分享一下首先介绍一下Ambari和HDP,官网上http://hortonworks.com/products/data-center/hdp/很详细,这里我就大致说一下。Ambari 是 Apache Software Foundation 中的一个项目,是一个原创 2016-10-14 16:53:32 · 1050 阅读 · 0 评论