hearting的博客

简介Hive是基于Hadoop的一一个数据仓库工具，可以将结构化的数据文件映射为一-张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，Hive在Hadoop之 上提供了数据查询的能力，主要解决非关系型数据查询问题。Hive可以被认为是一种数据仓库，包括数据的存储以及查询Hive包括一个高层语言的执行引擎，类似于SQL的执行引擎Hive建立在Hadoop的其它组成部分之上，Hive依赖于HDFS进行数据保存，依赖于MapReduce完成查询操作Hive与

文章目录Hive 的基本安装Mysql 的安装与设置Hive 的配置Hive 的基本安装从 官网 下载Hive二进制包，进入/opt目录，解压apache-hive-3.1.0-bin.tar.gz到该目录下，并将解压的文件重命名为hive；cd /opt tar -zxvf apache-hive-3.1.0-bin.tar.gzmv apache-hive-3.1.0-bin hive设置环境变量，编辑vi /etc/profile，在末尾添加以下两行代码；export HIVE

文章目录基本操作添加数据查看数据删除表修改表结构权限管理#HBase Shell常用命令入门shell命令描述version查看版本alter修改列族（column family)模式count统计表中行列数create创建表describe显示表的相关信息delete删除指定对象的值（行、列对应的值，可以指定时间）deleteall删除指定行的所有元素值disable使表无效enable使表有效drop删除表

#安装配置HBase下载链接说明：HBase的版本一定要和之前已经安装的Hadoop的版本保持兼容，不能随便选择版本。Hadoop和HBase版本支持参考链接安装本教程安装hbase-1.3.5。如果没有安装Hadoop请参考安装Hadoop1 解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local，命令如下：sudo tar -zxf ~/下载/hbase-1.3.5-bin.tar.gz -C /usr/local2 将解压的文件名hbase-1.1

文章目录关于分布式数据库HBase的理解HDFS与HBase的关联HBase与传统的关系数据库的区别主要体现在以下几个方面：BigTable行列时间戳HBase数据模型概述功能组件HBase数据的访问系统架构用户读写数据缓存的刷新HLog工作原理关于分布式数据库HBase的理解##概述HBase是分布式可拓展的NOSQL数据库。提供对半结构化、结构化、以及非机构画大数据的实时读写和随机访问能力。是Google BigData的开源实现。HDFS与HBase的关联HDFS实现了一个分布式的文件系统

mapreduce基础知识Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析应用”的核心框架Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 hadoop 集群上MapReduce编程模型MapReduce 由 两 个 阶 段 组 成 ：Map 和 Reduce。m...

hadoop1.x和hadoop2.x的区别：Hadoop1.x版本：内核主要由Hdfs和Mapreduce两个系统组成，其中Mapreduce是一个离线分布式计算框架，由一个JobTracker和多个TaskTracker组成。JobTracker的主要作用：JobTracker是框架的中心，接收任务，计算资源，分配资源，分配任务，与DataNode进行交流等功能。决策程序失败时 重启等操...

##使用HDFS的Java接口进行文件的读写。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fsk8ZK9Q-1585232884001)(picture/1.png)]FileSystem对象要从Hadoop文件系统中读取文件，最简单的办法是使用java.net.URL对象打开数据流，从中获取数据。不过这种方法一般要使用FsUrlStreamHandlerF...

常用的shell命令，在之后使用的时候可以作为参考。hadoop fs选项名称使用格式含义-ls-ls <路径>查看指定路径的当前目录结构-lsr-lsr <路径>递归查看指定路径的目录结构-du-du <路径>统计目录下个文件大小-dus-dus <路径>汇总统计目录下文件(夹)大小...

安装配置Hadoop开发环境下载Hadoop我们去官网下载：http://hadoop.apache.org/配置Hadoop环境来搭建一个单节点的集群，配置一个伪分布式，为什么不做分布式呢？其实分布式的配置和伪分布式差不多，只是分布式机器增加了而已，其他没什么两样。##设置SSH免密登录在之后操作集群的时候我们需要经常登录主机和从机，所以设置SSH免密登录时有必要的。输入如下代码...