自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (1)
  • 收藏
  • 关注

原创 hive-jdbc-uber-2.6.5.0jar包自提

就是个jar包

2022-03-16 16:09:32 4892 13

原创 Hbase安装流程及踩坑心得

关于安装zookeeper和hbase前言网上已经有相当多的zookeeper和hbase的安装教程了。那为什么总是在安装的时候,还是可以遇到那么多问题。有话说搭建一个自己的大数据平台,手把手安装大数据相关组件,从组件的版本匹配,组件源下载,再到着手解压配置。一个环境搭建下来,我发现我可能需要浏览数几十个页面,才能真的完成我的搭建流程。鉴于之前在学习的过程中,曾经给一位朋友写了一份非常详细的hadoop集群搭建的说明书。记录一下这一次在从最基础的hadoop集群搭建,到各个组件的安装配置。由于精

2021-07-19 00:32:50 1587

原创 Apache Impala

记一次impala的认识与学习。概念impala是一个实时的sql查询工具,类似于hive的操作方式,只不过执行的效率极高,号称当下大数据生态圈中执行效率最高的sql类软件。impala来自于cloudera,后来贡献给了apacheimpala工作底层执行以来于hive,与hive共用一套元数据存储,在使用impala的时候,必须保证hive服务是正常可用的,至少metastore开启。impala最大的跟hive的不同在于,不在把sql编译成mr程序执行编译成执行计划树。

2021-07-05 23:36:15 554 2

原创 HIVE(一)

一、数据仓库介绍专业定义 英文名称Data Warehourse,可简写成DW。 是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。 它是单个数据存储,处于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 通俗解释 面向分析的存储系统(面向数据分析的存储系统) 一个面向主题的(Subject Oriented)、集成的(Integrate)、不可修改的(Non-Volatile)、反映历史变化(Time

2021-06-24 21:37:10 188

原创 Hadoop(三)

da@TOC欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:全新的界面设计 ,将会带来全新的写作体验;在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;

2021-06-08 11:21:45 374 1

原创 Hadoop(二)

上篇答案:HDFS为何将文件分成block块存储?减少底层操作系统的IO读取时的寻址时间方便更高效的流式读取,提高吞吐量HDFS block块的默认大小时多少?dfs.blocksize为Hadoop定义block块大小的设置参数,在hdfs-site.xml中版本不一样,默认值不同。Hadoop2.2.x及以后版本均为128MHDFS block块的大小是否可以更改?一个block块文件不会跨文件存储一个block块文件最多只会存储一个文件对应的数据一个block块

2021-05-19 23:06:11 324

原创 Hadoop(一)

Haoop(一)文章目录Haoop(一)hadoop初识概述项目起源发展历程名字由来Hadoop核心组件与应用核心组件组件介绍Hadoop生态圈Ambari平台介绍分布式文件系统HDFS分布式文件系统HDFS1.产生背景2.特点介绍应用场景HDFS设计架构1.HDFS是什么2.HDFS组件角色2.1 Namenode2.2 DataNode2.3 Client3.HDFS设计架构3.1 基本架构3.2 读文件流程3.3 写文件流程HDFS高可靠性措施1.冗余备份2.跨机架副本存放3.心跳检测4.数据完整性

2021-04-11 10:22:46 399

大数据平台搭建(终极版).pdf

1.大数据平台的基础搭建(hadoop+yarn) 2.适合第一次接触且想要搭建大数据平台的同志。 3.该教程由本人自己编写,为一拖三搭建教程。根据教程必然成功搭建。 4.编写不易,积分下载。

2021-07-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除