Hadoop
文章平均质量分 97
real向往
温故而知新
展开
-
Hadoop集群搭建
目录 Hadoop简介Hadoop的架构Hadoop如何工作?Hadoop的优点Hadoop集群搭建SSH免密码登录配置两个从节点Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hado...原创 2018-11-11 10:56:08 · 532 阅读 · 0 评论 -
hadoop streaming+python编程初级实践
一、Hadoop streaming 详解Hadoop streaming能够让Ruby、Python、PHP、和C++等非Java类语言编写的map或reduce程序在hadoop集群上运行,且map/reduce程序只要遵循从标准输入stdin,到标准输出stdout即可。1.1 Hadoop流命令使用参数 可选/必选 解释 -input 必选 输入文件...原创 2018-11-28 21:10:14 · 1565 阅读 · 1 评论 -
Hbase 单机、伪分布、完全分布部署
一、Hbase简介HBase是 Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。它目前已经是 Apache众多开源项目中的一个顶级项目。 HBase的运行依赖于其他文件系统,它模仿并提供了基于 Google文件系统(GFS, Google File System)中大表( Bigtable)数据库的所有功能。 HBase的目标是存储并处理...原创 2018-11-29 17:33:59 · 1292 阅读 · 0 评论 -
HBase常用shell命令
一、介绍本篇博文主要举一个例子来说明一下HBase shell,文末将会介绍两篇详细的关于HBase常用Shell使用的博文。二、实验内容 name score English Math Computer zhangsan 69 8...原创 2018-11-30 19:34:12 · 1884 阅读 · 0 评论 -
熟悉常用的HDFS操作
实验平台[hadoop@MASTER ~]$ cat /etc/redhat-releaseCentOS release 6.6 (Final)[hadoop@MASTER ~]$ hadoop versionHadoop 2.7.7[hadoop@MASTER ~]$ java -versionjava version "1.8.0_151"实验内容和要求 编程实现以下...原创 2018-11-28 19:48:29 · 2423 阅读 · 0 评论 -
Hive的安装与部署(MySQL作为元数据库)
一、Hive简介Hive是一个基于 Hadoop的文件系统上的数据仓库架构。它为数据仓库的管理提供了许多功能:数据 ETL (抽取、转换和加载)工具、数据存储管理和大型数据集的查询与分析能力。同时 Hive 还定义了类 SQL 的语言 ― Hive QL , Hive QL 允许用户进行和 SQL 相似的操作。 Hive QL 还允许开发人员方便地使用 mapper 和 reducer 操作,...原创 2018-12-06 15:26:39 · 1034 阅读 · 0 评论 -
Hbase 导入CSV文件的两种方法
要求把格式如下的数据导入到Hbase表中过程一、利用ImportTsv将CSV文件导入1.先创建一个表(hbase-csv1),且列族为info[hadoop@MASTER ~]$ hbase shellhbase(main):002:0> create 'hbase-csv1','info'2.把文件上传至HDFS#要上传的文件[hadoop@MA...原创 2018-12-03 21:58:07 · 17932 阅读 · 7 评论 -
Pig的安装及基本使用
一、PIG介绍 Pig是MapReduce的一个抽象。它是一个工具/平台,用于分析较大的数据集,并将它们表示为数据流。Pig通常与 Hadoop 一起使用;我们可以使用Pig在Hadoop中执行所有的数据处理操作。要编写数据分析程序,Pig提供了一种称为 Pig Latin 的高级语言。该语言提供了各种操作符,程序员可以利用它们开发自己的用于读取,写入和处理数据的功能。要使用 Pi...原创 2018-12-17 21:55:16 · 4988 阅读 · 1 评论