hadoop
文章平均质量分 86
words8
这个作者很懒,什么都没留下…
展开
-
HDFS的Java API操作
目录引言API实操1、连接hdfs(一)2、连接hdfs(二)3、创建文件夹4、上传文件5、遍历文件夹6、下载文件7、重命名文件或者文件夹8、删除文件或者文件夹9、小文件合并引言HDFS在生产应用中主要是客户端的开发,其核心步骤是从HDFS提供的API中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件。API介绍: 1. API(Application Programming Interface,应用程序接口)是一些预先定义的接口(如函数、HTTP接口),或指原创 2021-08-16 12:02:00 · 1787 阅读 · 0 评论 -
即席查询(Ad Hoc)入门(Kylin)
目录1、什么是即席查询2、前置概念3、Kylin3.1 Kylin简介2.2 Kylin架构1、什么是即席查询即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。即席查询与通常查询从SQL语句上来说,并没有本质的差别。它们之间的差别在于:通常的查询在系统设计和实施时是已知的,是定制开发的;所以我们可以在系统实施时通过建立索引、分区等技术来优化这些查询,使这些查询的效率很高。而即席查询是用户在使用时临时生产的,是用户自定义查询条件的;系统无法原创 2021-08-04 17:31:50 · 10565 阅读 · 0 评论 -
shell中单引号(‘‘)、双引号(““)、反引号(``)的区别
shell中单引号(’’)、双引号("")、反引号(``)的区别脚本#!/bin/bashdo_date=$1echo '$do_date'echo "$do_date"echo "'$do_date'"echo '"$do_date"'echo `date`echo ${date}结果[evil@hadoop102 bin]$ vim test.sh [evil@hadoop102 bin]$ chmod 777 test.sh [evil@hadoop102 bin]$原创 2021-07-20 13:16:52 · 305 阅读 · 0 评论 -
快速入门Hive语法
DDL1、数据库创建: creat database [if not exists] database_name; //若所创的数据库已存在,[if not exists]可确保不报错 2、显示数据库: show databases [like 'str*']; //like进行正则匹配 show databases databaseName; show databases extended databaseName; //更详细地查看信息原创 2021-07-07 18:55:12 · 3015 阅读 · 4 评论 -
Hive(一)---- 简介和安装部署
目录1、什么是Hive2、Hive的优缺点3、Hive架构原理4、Hive和数据库比较5、Hive的部署5.1 Hive安装5.2 mysql安装和mysql存放metastone 1、什么是Hive1)hive 简介Hive:由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。2) Hive 本质:将 HQL 转化成 MapReduce 程序Hive 处理的数据原创 2021-07-06 17:02:04 · 493 阅读 · 0 评论 -
Hadoop--MapReduce详解(Map、Shuffle、Reduce)
目录1、MapReduce概述1.1 MapReduce是什么1.2 MapReduce核心思想和简单过程1.3 MapReduce的优缺点2、MapReduce工作机制2.1 MapReduce常用数据序列化类型2.2 MapReduce简单过程图示2.2.1 MapReduce进程2.2.2 数据切片与MapTask并行度2.2.3 分区机制与ReduceTask并行度2.2.4 排序2.2.5 MapReduce过程描述2.3 MapReduce工作机制2.3.1 MapTask工作机制2.3.2 S原创 2021-07-05 17:04:35 · 8302 阅读 · 0 评论 -
Hadoop--NN和2NN工作机制
目录1、NameNode元数据的存储2、NameNode工作机制3、NN和2NN工作机制 1、NameNode元数据的存储Fsimage 和 Edits 文件Fsimage 和 Edits 文件都存储在磁盘中Fsimage文件:HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件inode的序列化信息。Edits文件:存放HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到Edits文件中。说白了就是,Fsimage存放一定时间原创 2021-06-19 18:40:09 · 647 阅读 · 2 评论 -
Hadoop--HDFS读写数据流程
目录1、HDFS概述2、文件块大小3、HDFS写数据流程3.1 流程详解3.2 节点距离计算3.3 机架感知(副本存储节点选择)4、HDFS读数据流程 1、HDFS概述HDFS产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。HDFS定义HDFS (Hadoop Distibuted File System),原创 2021-06-19 16:28:34 · 429 阅读 · 0 评论 -
Hadoop框架和四大组件简介
+原创 2021-06-18 23:46:49 · 2559 阅读 · 2 评论 -
分布式系统搭建(CentOS7虚拟机)
VM版本:15.0.4 build-12990004Linux: 7.9.2009 (Core)Hadoop: hadoop-2.8.0JDK: jdk1.8.0_161目录1、创建一台虚拟机进行基本配置2、 安装jdk和hadoop3、克隆两台虚拟机4、分布式系统配置5、启动分布式系统1、创建一台虚拟机进行基本配置这里就不进行虚拟机的创建了。这里额外创建了一个evil用户,之后利用evil用户进行hadoop的相关操作。网络配置命令:vim /etc/sysconfi.原创 2021-03-09 14:09:26 · 687 阅读 · 0 评论