![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 93
梦清凌
这个作者很懒,什么都没留下…
展开
-
Hadoop实战篇-集群版(2)
Hadoop实战篇(2)作者 | WenasWei前言在上一篇的Hadoop实战篇介绍过了Hadoop-离线批处理技术的本地模式和伪集群模式安装,接下来继续学习 Hadoop 集群模式安装; 将从以下几点介绍:Linux 主机部署规划Zookeeper 注册中心安装集群模式安装Hadoop 的目录结构说明和命令帮助文档集群动态增加和删除节点一 Linux环境的配置与安装HadoopHadoop集群部署规划:Hadoop需要使用到 Linux 环境上的一些基本的配置需要,Hado原创 2021-11-18 16:56:10 · 648 阅读 · 0 评论 -
Hadoop实战篇(1)
Hadoop实战篇(1)作者 | WenasWei前言在前面介绍过了Hadoop-离线批处理技术的整体架构,接下来便开始学习安装配置并使用 Hadoop ; 将从以下几点介绍:Linux 环境的配置与安装 HadoopHadoop 的三种安装模式介绍本地模式安装伪集群模式安装一 Linux环境的配置与安装HadoopHadoop需要使用到 Linux 环境上的一些基本的配置需要,Hadoop 用户组和用户添加,免密登录操作,JDK安装1.1 VMWare中Ubuntu网络配置在使原创 2021-06-05 23:11:54 · 2081 阅读 · 1 评论 -
Logstash-数据流引擎
Logstash-数据流引擎作者 | WenasWei一 LogstashLogstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据,并将数据标准化到您选择的目标位置。清除所有数据并使其民主化,以用于各种高级下游分析和可视化用例。1.1 Logstash简介Logstash 是一个数据流引擎:它是用于数据物流的开源流式 ETL(Extract-Transform-Load)引擎在几分钟内建立数据流管道具有水平可扩展及韧性且具有自适应缓冲不可知原创 2021-05-31 23:09:21 · 993 阅读 · 3 评论 -
大数据-数据处理分类篇
数据处理分类篇作者 | WenasWei一 数据发展大数据是这个时代最热的话题,大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。其实数据一直都在,只不过是记录数据的方式在变化。自古至今,可以简单分为四个阶段: 书籍载体阶段、计算机存储阶段、互联网阶段和物联网阶段。1.1 书籍载体阶段第一个阶段,以前没有 IT 前使用的是书本等记录数据,这个时候受限于原创 2021-04-23 01:55:18 · 1556 阅读 · 0 评论 -
Storm-实时计算系统
Storm-实时计算系统作者 | WenasWei一 Storm1.1 Storm简介Storm 最早是由 BackType 公司开发的实时处理系统,底层由 Clojure 实现。Clojure 也是一门基于 JVM 的高级面向函数式的编程语言。2011年 Twitter 公司收购了 BackType 公司,便使用 Storm 帮助企业解决了实时海量数据处理的问题。阿里巴巴在 Storm 基础上,使用 Java 代替 Clojure 实现了核心,并在性能上进行了优化,产生了JStorm。目前 St原创 2021-04-21 02:36:02 · 1123 阅读 · 0 评论 -
Hadoop-离线批处理技术
Hadoop-离线批处理技术作者 | WenasWei一 HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是:HDFS1和MapReduce2。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。Apache Hadoop软件库是一个框架,该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。原创 2021-04-19 19:46:52 · 1347 阅读 · 2 评论 -
认知:大数据-Big Data
大数据-Big Data作者 | WenasWei一 大数据大数据(Big Data)也称为海量数据(Massivee),是随着计算机技术及互联网技术的高速发展而产生的数据现象,2013年也称为大数据元年。标志着全球正式步入了大数据时代。大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点(IBM提出):Volume(大量)Velocity(高速)Vari原创 2021-04-11 11:04:54 · 2148 阅读 · 0 评论