lljazxx的博客

kafka的ack机制kafka的ack机制有3种：0，1，-1这3种会围绕持久性和延时性来比较0：最差的持久性，最低的延时性producer不等待broker同步完成的确认，就继续发送下一批消息，当服务器发生故障时，就很可能发生数据丢失。例如leader已经死亡，producer不知情，还会继续发送消息broker接收不到数据就会数据丢失1：较好的持久性，较低的延时性produce...

大数据相关组件大全简述本文提到的有：Hadoop，HDFS，MapReduce，Yarn，Zookeepe，Hive，HBase，Kafka，Storm，Sqoop，Flume，Scala，SparkHadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题。HADOOP通常是指一个更广泛的概念——HADOOP生态圈Hadoop =...

hadoop集群 安装 部署软件安装等严格按照目录Root用户虚拟机环境准备克隆三台虚拟机修改主机名 /etc/sysconfig/network sync然后重启主机名分别为：hadoop101；hadoop102；hadoop103；修改克隆虚拟机的静态ip,分别为：IP分别为：192.168.1.101；192.168.1.102；192.168.1.103配置主机名...

HBase安装 部署Zookeeper正常部署点击查看zookeeper安装部署首先保证Zookeeper集群的正常部署，并启动之：[root@hadoop101 zookeeper-3.4.10]$ bin/zkServer.sh start[root@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start[root@hadoop103 ...

Zookeeper概述概述ZooKeeper是一个开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。Zookeeper从设计模式角度来理解：是一个基于观察者模式...

Zookeeper安装分布式安装部署1．集群规划在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。2．解压安装1）解压zookeeper安装包到/opt/module/目录下[root@hadoop101 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/（2）在/op...

大数据技术之HiveHive基本概念Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive基于Hadoop来完成工作。Hive是基于Hadoop的一个数据仓库工具（E抽取T转换L加载），可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析（翻译工作）数据底层的实现...

Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，hadoop通常是指一个更广泛的概念——hadoop生态圈创始人： Lucene–Doug CuttingHadoop组成点击详解1）Hadoop HDFS：（hadoop distribute file system ）一个高可...

大数据大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是海量，高增长率和多样性的信息资产。主要解决海量数据的存储和海量数据的分析计算问题。大数据特点简称：4V大量（volume）：数据量大高速（velocity）：高速处理，在如此海量的数据面前，处理数据的效率就是企业的生命多样性（variety）：数据多样性，包括结构化数据和...