Gavin_周-CSDN博客

原创【基础】磁盘的写入方式

文章目录前言磁盘读取时间基本概念顺序读写随机读写顺序读写比随机读写快的原因前言在阅读常用的一些大数据组件时，经常会看到一个名词"磁盘顺序写"，本文就磁盘的写入方式及为什么存在新能差异做简单的阐述。磁盘读取时间基本概念寻道时间，表示磁头在不同磁道之间移动的时间。旋转延迟，表示在磁道找到时，中轴带动盘面旋转到合适的扇区开头处。传输时间，表示盘面继续转动，实际读取数据的时间。720...

2019-04-30 18:10:09 3745

原创【Hadoop初级】HDFS常用操作命令

HDFS常用操作命令显示当前目录结构hdfs dfs -ls显示具体某个目录hdfs dfs -ls 目录名创建目录hdfs dfs -mkdir删除文件 -r 递归删除文件或目录hdfs dfs -rm -r上传本地文件至HDFS (上传本地目录至目标目录)hdfs dfs -put /root/gavin/jdk-8u201-linux-x64....

2019-04-29 13:52:46 156

原创 SQL 中的 join 及group by

文章目录前提：Join 分类INNER JOINleft join(也称为 LEFT OUTER JOIN)right join( 也称为 RIGHT OUTER JOIN)Group by前提：本篇文章使用了2张表，其表内容如下：websites：access_log其中：websites.id=access_log.site_idJoin 分类SQL JOIN 子...

2019-04-24 21:43:47 8295

原创【Flink on YARN 部署(上)】Flink on YARN 理论概念

文章目录前言Flink on YARNYARN中一些重要的概念ResourceManagerNodeManagerApplicationMasterContainerFlink 在 YARN上的分布及提交流程Flink 在 YARN 上的分布提交流程前言将Flink 提交在 YARN 上是企业的一种常用做法，这样做的目的是为了提高集群的利用率。Flink on YARN 有2种部署方式...

2019-04-22 20:52:45 472

原创【理解Flink必备(一)】Flink核心概念理解-- Dataflow Programming Model

笔者根据官方文档原文进行翻译，水平有限，如有理解偏差，请及时联系笔者更正。Flink Version:1.8.0文章目录Levels of AbstractionPrograms and DataflowsParallel DataflowsWindowsTimeStateful OperationsCheckpoints for Fault ToleranceBatch on Streami...

2019-04-20 14:52:21 1065

原创【理解Flink必备(二)】Flink核心概念理解-- Distributed Runtime Environment

【理解Flink必备】Flink核心概念理解-- Distributed Runtime Environment笔者根据官方文档原文进行翻译，如有理解偏差，请及时联系笔者更正。Flink Version:1.8.0Tasks and Operator Chains 任务和操作链For distributed execution, Flink chains operator subtasks...

2019-04-18 14:00:57 312

原创 Runnable 存在的意义及 Volatile关键字的主要作用

Runnable 存在的意义及 Volatile关键字的主要作用前言：平时我们在使用多线程时，常用的方法会有以下三种：继承 Thread实现 Runnable实现Callable翻开 Thread 源码：publicclass Thread implements Runnable { /* Make sure registerNatives is the first ...

2019-04-15 13:56:08 550

原创迅速搭建一个学习使用的大数据环境(持续更新)

迅速搭建一个学习使用的大数据环境(持续更新)前言：大数据环境的安装，有很多种，例如CDH,Ambari,这两种都可以快速的安装大数据环境，并且搭配了精美的bashboard,笔者也曾在学习过程中安装以上2种组件，安装完成后，并没有深度使用，总感觉缺少了自己一个个修改配置文件的实在感(为自己的lazy找借口，各位勿喷),本帖粗中有细，譬如kafka-manager的JMX通信，譬如mongo...

2019-04-13 21:31:10 1072

Gavin_周的博客