点滴记录IT技术进程

import org.apache.flink.api.scala._

一、大数据的概念概念大数据是指：无法在现有的常规软件工具对其内容进行抓取、管理和处理的数据集合。特征Volume：数据量足够大Variety：数据的种类多样Velocity：数据的增长速度快Value：数据蕴藏价值大二、大数据的行业价值1. 分析用户的行为，建立数据模型， 并进行预测在用户行为分析方面，最典型的是美国沃尔玛公司将尿不湿和啤酒放在一起销售的策略...

文章目录一、Flume概述1. 引言2. 数据源二、Flume架构1. 架构图2. 组件及其功能3. Flume运行流程4. Flume核心组件SourceChannelSink三、Flume安装1. 运行环境2. 安装步骤四、Flume使用入门1. 配置文件2. 启动Flume五、Flume和log4j集成1. 依赖2. 配置日志文件3. 配置flume配置文件4. 启动运行5. 查看结果六、多...

单机版zookeeper的安装。

Kafka的安装和原理介绍。

HDFS的原理和使用介绍。

HBase的使用和原理介绍。

Hadoop的基础——HDFS的基础学习。

Hadoop之MapReduce入门学习demo演示。

Scala基础学习，包括基础变量、控制结构和函数。

对Scala中的对象和特质进行学习。

Spark 3.1.1版本的单机版安装教程。

利用scala语言，在单机Spark环境下进行单词计数的IDEA项目搭建和demo运行。

Scala语言编写的Spark应用在服务器上的简要部署步骤。

SparkStream流式处理单词统计。

利用Spark SQL分析数据的几个入门案例demo。

一个简单的Flink单词统计入门案例。

Flink的基础使用总结，适合入门的程序员参考，以助于构建知识框架。

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。下面我们先来看一下azkaban的安装和配置。安装&配置solo server modesolo server mode 使用的内嵌的H2 DB，所有的web server和executor server运行在一个相同的进程中，该种模式适合测试或者任务调度规模比较...