大数据-云计算
文章平均质量分 67
杨智友
这个作者很懒,什么都没留下…
展开
-
Hadoop数据存储
Hadoop数据存储Hadoop能高效处理数据的基础是有其数据存储模型做支撑,典型的是Hadoop的分布式文件系统HDFS和HBase。一、HDFS文件系统1.0、 HDFS简介HDFS是Hadoop的分布式文件系统的实现,它设计的目的是存储海量的数据,并为分布式在网络中的大量客户端提供数据访问。想成功的使用HDFS,就要其实现方式及工作原理。1.1、HDFS架构HDFS的设计思想基于Google原创 2016-05-24 22:49:24 · 14391 阅读 · 0 评论 -
Hadoop组件之Hive
Hadoop组件之HiveHive 是一个构建在Hadoop上的数据仓库框架,是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展。Hive设计的目的是让精通sql技能但java编程技能相对较弱的分析师能够对Facebook存放在HDFS中的大规模数据集执行查询。Hive简介Hive提供了基于SQL的接口,即Hive查询语言(HiveQL),能够将查询语言转换成Ja原创 2016-06-01 14:58:45 · 508 阅读 · 0 评论 -
使用eclipse编写HBase的增删改查
使用eclipse编写HBase的增删改查HBase提供了java api来对HBase进行一系列的管理涉及到对表的管理、数据的操作等。常用的API操作有:1、 对表的创建、删除、显示及修改可以用HBaseAdmin,当创建了表,可以通过HTable的实例来访问表。2、 插入数据创建一个Put对象,在这个Put对象里可以指定要给哪个列增加数据,以及当前的时间戳等值,然后通过调用HTable.put(原创 2016-08-03 22:38:51 · 1991 阅读 · 0 评论 -
centos7搭建hadoop2.7.2完全分布式集群
centos7搭建hadoop2.7.2完全分布式集群我之前使用的是centos6.8安装hadoop2.7.2,但报错如下:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable.是由于缺少hadoo原创 2016-08-02 14:09:44 · 2970 阅读 · 0 评论 -
HBase使用Put插入数据
HBase使用Put插入数据package com.hbase;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration原创 2016-08-06 23:31:00 · 11198 阅读 · 0 评论