大数据
Leon.ENV
Never Limit
展开
-
Storm中Topology、Worker、Executor和Task的关系
Storm中Topology、Worker、Executor和Task的关系,如图:1、1个Topology对应1个或多个Worker进程,1个Worker进程只属于1个Topology2、1个Worker进程包含1个或多个Executor线程3、1个Executor线程可以执行同类型的1个或多个Task,要么都是spout的Task,要么都是bolt的Task。如果 Executor数量 < Task数量 ,Executor线程会循环顺序调用Task实例。4、1个Task就是最.原创 2020-12-24 20:04:28 · 4054 阅读 · 6 评论 -
Hadoop环境的配置搭建和基本概念
------------------------- 第一部分(1_hadoop配置) -------------------------------------1、配置hadoop-env.sh添加JAVA_HOME信息,如:export JAVA_HOME=/usr/java/jdk1.62、配置core-site.xml参数:fs.default.name作用:原创 2015-05-05 10:40:50 · 2045 阅读 · 0 评论 -
数据湖架构
前言在大数据时代,大数据项目成了各大公司迫在眉睫的实现案例,于是各大公司各显神通,出现了很多数据平台和架构的设计方案。但是,很多大数据项目的落地过程并不容易,最大的问题是,很多客户反应已经接入了那么多的数据,为什么在出报表或要分析相关数据时的周期却那么长,通常需要1至2周,更重要的是很多时候分析的结果并不能给公司带来高收益或高效率,进而不能够给公司的决策上带来帮组,这样数据湖就变成了“垃圾场”。数据湖-单向数据湖的问题造成数据湖的价值之低的主要原因有以下几点: 数据量大:大量...原创 2020-11-17 09:39:31 · 3434 阅读 · 0 评论