Kason_iWiki

目前企业中比较常见的消息队列产品主要有 Kafka、ActiveMQ 、RabbitMQ 、RocketMQ 等。在大数据场景主要采用 Kafka 作为消息队列。

删除逻辑是：首先计算日志段总大小与retention.bytes之间的差值（diff），得到需要删除的日志总大小，然后从第一个日志段开始查找，若diff与该日志段字节之差不小于0，则将该日志段加入到待删除集合中，以此类推，直到diff与查找的日志段大小之差小于0，查找结束，迭代待删除的日志段文件，进行物理删除。每个分区的日志文件存储的时候又会分成一个个的segment，默认日志段（segment）的大小是1GB，segment是日志清理的基本单元，当前正在使用的segment是不会被清理的。

发现这两个id不一致，经查阅相关资料，id不一致会导致Initialization failed for Block pool。线上收到hadoop集群datanode掉线告警。然后再次尝试启动datanode进程。发现未存在datanode进程。

8. 部署Mahout数据挖据工具8.1 部署Mahout进入先电大数据平台主界面，点击左侧的动作按钮，添加Mahout服务。

7. 部署Hbase分布式列数据库7.1 部署HBase进入先电大数据平台主界面，点击左侧的动作按钮，添加HBase服务。7.2 HBase用户指南7.2.1 测试验证#su – hbase$ hbase shell7.2.2 HBase Shell常用命令HBase Shell常用的几个命令如下：名称命令表达式创建表create ‘表...

6. 部署Hive数据仓库6.1 部署Hive进入先电大数据平台主界面，点击左侧的动作按钮，添加Hive服务# mysql -uroot -pbigdataMariaDB [(none)]> create database hive; MariaDB [(none)]> grant all privileges on hive.* to 'hive'@'localh...

5. 部署管理Hadoop集群5.1 部署Hadoop集群登陆界面http://{IP Address}:8080/，用户名密码为admin：admin。接下来就可以启动安装向导，创建集群，安装服务。部署成功后，便可成功进入界面。在主界面中，可以查看集群状态监控信息在HadoopMaster的终端执行jps命令，在打印结果中会看到master上运行的进程，这些进...

文章目录1. 概述1.1 大数据简介1.2 先电大数据平台简介2. 基本环境配置2.1 配置主机名2.2 修改hosts文件2.3 修改yum源2.4 配置ntp2.5 配置SSH2.6 禁用Transparent Huge Pages2.7 安装配置JDK3. 配置ambari-server3.1 安装MariaDB数据库3.2 安装配置ambari-server1. 概述1.1 大数据简介...