![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
青春烂笔头
大数据开发、java开发
展开
-
ClickHouse入门学习(一):基本安装与使用
ClickHouse入门学习(一):基本安装与使用一、安装部署1.1 单机部署一、安装部署1.1 单机部署由于docker部署软件快速高效,因此本文采用docker容器的方式部署clickhouse。# step1: 拉取clickhouse镜像docker pull yandex/clickhouse-server# step2: 启动容器docker run -d --name=clickhouse-server \--ulimit nofile=262144:262144 \-p原创 2021-11-20 10:57:05 · 338 阅读 · 0 评论 -
kafka概述
1分布式消息队列kafka1.1 kafka概述 Kafka is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of...原创 2018-10-17 16:50:29 · 242 阅读 · 0 评论 -
Storm入门教程
本教程是在学习Storm时候整理的笔记1 Storm基础1.1 storm介绍1.2 Storm原理1.3编程模型(一)原创 2018-10-24 11:40:51 · 206 阅读 · 0 评论 -
1 Storm介绍
1 storm介绍 storm是Twitter开源的分布式大数据处理框架,实时版Hadoop. Storm对于实时计算的意义类似于Hadoop对于批处理的意义。 hadoop Map Reduce storm Spout Bolt storm应用场景1)流数据处理:Storm处理源源不断的消息,结果保存到持久化介质中。2)...原创 2018-10-24 11:44:08 · 190 阅读 · 0 评论 -
2 storm原理
介绍Storm基本原理1 集群结构 Storm集群采用主从架构方式,主节点是Nimbus,从节点是Supervisor,有关调度相关的信息存储到ZooKeeper集群中* Nimbus 主控节点,用于提交任务、分配集群任务,集群监控等* zookeeper 集群中协调、共有数据的存放(如心跳信息、集群的状态和配置信息),Nimbus将分配给Superv...原创 2018-10-24 11:59:37 · 284 阅读 · 0 评论 -
3 编程模型
storm常用接口目录1 ISpout接口2 IComponent接口3 IBolt接口1 ISpout接口* 概述 核心接口,负责将数据发送到topology中去处理。 storm会跟踪Spout发出去的tuple的DAG* 核心方法 open: 初始化操作 close: 资源释放操作 nextTuple: 发送数据 ...原创 2018-10-24 13:15:02 · 119 阅读 · 0 评论 -
3 SparkSQL DataFrame和DataSet
标签:大数据 Spark3 SparkSQL DataFrame和DataSet1 概述Spark SQL 是 Spark 处理结构化数据的一个模块.与基础的 Spark RDD API 不同, Spark SQL 提供了查询结构化数据及计算结果等信息的接口.2 Datasets and DataFrames2.1. DataSets一个 Dataset 是一个分布式的数据集合。 Da...原创 2018-11-18 17:07:43 · 180 阅读 · 0 评论 -
Flink入门笔记(一):Flink安装部署
文章目录1. 安装flink(一)2. flink Standalone模式部署2.1. 修改配置文件3. YARN模式安装3.1. Hadoop安装3.1.1. Hadoop下载与解压3.1.2. Hadoop配置文件的配置3.1.3. 启动hadoop3.1.4. 启动hadoop过程中需要输入密码,非常繁琐,因此需要在Linux下配置免密码登录。3.2. flink on yarn 提交任...原创 2019-08-10 20:46:12 · 521 阅读 · 0 评论 -
Kafka入门系列(一):Kafka概述
Kafka入门系列(一):Kafka概述1. Kafka概述1.1. 定义1.2. 消息队列1.2.1. 传统消息队列的应用场景1.2.2. 使用消息队列的好处1.3. 消息队列的两种模式1.3.1. 点对点模式1.3.2. 发布/订阅模式1.4. Kafka架构1. Kafka概述1.1. 定义Kafka 是一个分布式的基于发布/订阅模式的消息队...原创 2019-09-28 00:25:46 · 664 阅读 · 0 评论