大数据Hadoop
文章平均质量分 83
Murmure__
这个作者很懒,什么都没留下…
展开
-
Hadoop HA 搭建(三台主机)
Hadoop HA 搭建搭建准备安装步骤一、关闭防火墙二、解压组件三、配置文件四、新增环境变量五、发送到其他两个节点六、初始化HDFS七、启动Hadoop查看启动结果搭建准备Centos 7 主机三台主机名IP 地址master192.168.1.121slave1192.168.1.122slave2192.168.1.123软件版本软件名称软件版本JDK8u261Zookeeper3.5.9Hadoop2.7.7原创 2021-02-23 16:50:06 · 1301 阅读 · 0 评论 -
Storm安装与配置
Storm安装与配置环境下载安装配置启动环境操作系统:Centos 7Hadoop版本:2.9.2JDK版本:1.8.0_221Storm版本:1.2.3Zookeeper版本:3.5.8集群规划:主机名IPmaster192.168.1.121slave1192.168.1.122slave2192.168.1.123下载下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-原创 2021-01-23 16:56:40 · 2621 阅读 · 1 评论 -
Spark安装与配置
Spark安装与配置环境下载安装配置启动Spark的交互式界面环境操作系统:Centos 7Hadoop版本:2.9.2JDK版本:1.8.0_221Spark版本:2.4.7集群规划:主机名IPmaster192.168.1.121slave1192.168.1.122slave2192.168.1.123下载下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.7/原创 2021-01-23 15:41:11 · 584 阅读 · 0 评论 -
Flume安装与配置
Flume安装与配置Flume介绍下载安装配置案例Flume介绍一款分布式的海量应用日志采集、聚合、传输的框架,支持配置多种数据发送方与接收方,具有高可用、高可靠的特性。比如可以同时从文件目录、log4j、http、avro、kafka等渠道收集日志,通过传输输出到kafka、hdfs、MySQL、文件等。在传输过程中可以对数据做简单处理。flume的核心是agent,而agent包含source、channel、sink三个组件。source:source组件是专门用来收集数据的,可以处理各种类型原创 2021-01-23 11:36:02 · 7283 阅读 · 0 评论 -
Kafka安装与配置
Kafka安装与配置Kafka介绍环境下载安装配置启动KafkaKafka介绍Kafka是一款流行分布式消息分布订阅系统,除Kafka之外还有MQ、Redis等。我们可以把消息队列视为一个管道,管道的两端分别是消息生产者(producer)和消息消费者(consumer),消息生产者产生日志等消息后可以发送到管道中,这时消息队列可以驻留在内存或者磁盘上,直到消费者来把它读走为止。Producer:消息生产者,负责把产生的消息发送到Kafka服务器上。Consumer:消息消费者,从Kafka服务器原创 2021-01-22 18:14:23 · 682 阅读 · 1 评论 -
Hbase安装与配置
这里写目录标题了解Hbase下载安装配置启动了解HbaseHBase特性数据容量大,单表可以有百亿行、百万列,数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性多版本,每一列存储的数据可以有多个version稀疏性,为空的列并不占用存储空间,表可以设计的非常稀疏读写强一致,非 “最终一致性” 的数据存储,使得它非常适合高速的计算聚合自动分片,通过Region分散在集群中,当行数增长的时候,Region也会自动的切分和再分配Hadoop/HDFS集成,和HDFS开箱即用,不用太麻烦的衔原创 2021-01-21 18:26:21 · 1807 阅读 · 3 评论 -
Zookeeper安装与配置
Zookeeper安装与配置一、了解 Zookeeper二、下载 Zookeeper三、安装zookeeper 具有单机模式和集群模式1、单机模式2、集群模式一、了解 ZookeeperZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。Zookeeper维护一个类似文件系统的数据结构。需要在Hadoop集群上面搭建,可以选择搭建单机模式和集群模式二、下载 Zookeeper下载链接:http:/原创 2021-01-17 12:39:09 · 8622 阅读 · 16 评论 -
Sqoop安装与配置
sqoop一、了解sqoop下载sqoop安装包安装sqoop配置sqoopsqoop基本命令示例一、了解sqoopsqoop 是 Hadoop 和关系数据库服务器之间传送数据的工具。主要用于在hive和关系型数据库间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。核心的功能有两个:导入、迁入导出、迁出下载sqoop安装包下载地址:https://mirrors.tuna.tsinghua.edu.cn/ap原创 2021-01-15 19:20:41 · 12630 阅读 · 0 评论