Nice的博客

atlas 安装部署采坑记录

Redis-Cluster 搭建实践1.创建文件夹配置文件2.编辑启动脚本3. 启动redis 集群4.创建Redis集群5.向集群中添加节点6.向集群添加从节点Redis 集群模式搭建，并向集群中添加主从节点，重新分配solt1.创建文件夹配置文件创建redis-cluster 目录，并配置master1(7001) master2(7002) master3(7003) slave1(7004) slave2(7005) slave3(7006)[root@bigdata01 redis

哨兵模式哨兵（sentinel）是Redis的高可用性(High Availability)的解决方案：由一个或多个sentinel实例组成sentinel集群可以监视一个或多个主服务器和多个从服务器。当主服务器进入下线状态时，sentinel可以将该主服务器下的某一从服务器升级为主服务器继续提供服务，从而保证redis的高可用性。部署方案配置详情在一台机器上采用伪分布式的方式部署。（生产环境应该是多台机器）根据上面的部署方案搭建如下：Redis-Master ：127.

错误描述：在CDH 界面安装Impala 服务之后，进入到服务器的Impala-shell中运行查询语句获取不到数据控制台运行查询打印信息如下：[hddatanode02:21000] test> select * from test.ods_cdp_data_explore;Query: select * from test.ods_cdp_data_exploreQuery submitted at: 2021-05-11 12:37:59 (Coordinator: http://hdd

背景描述：机房断电重启后发现HDFS服务不正常发现步骤：检查HDFS文件系统健康 通过命令的方式查看或者web ui 信息进行查看hdfs fsck /检查对应哪些Block发生了损坏（显示具体的块信息和文件路径信息）hdfs fsck -list-corruptfileblocks数据处理流程：MySQL-----> Hadoop，解决方式只需要重新同步一份该表的数据即可深层次的思考：如何获取文件块的具体信息？1个文件对应多个块，每个块分布在不同的机器上面？

Redis 哨兵模式安装部署什么是哨兵？Sentinel 其实也是一个 redis 的服务端程序，它也会定时执行 serverCron 函数，只是里面其他的程序用不到，用到的是对普通 redis 节点的监控以及故障转移模块。Sentinel 初始化的时候会清空原来的命令表，写入自己独有的命令进去，所以普通 redis 节点支持的数据读写命令，对 Sentinel 来说都是找不到命令，因为它根本就没有初始化这些命令的执行器。Sentinel 会定时的对自己监控的 master 执行 info 命令，获

Apache DS 安装部署@Author：Michealkz镜像下载地址官方下载地址：https://dolphinscheduler.apache.org/zh-cn/download/download.html国内镜像下载地址：# 清华源下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.5/apache-dolphinscheduler-incubating-1.3.5-dolphi

目录大数据环境环境准备MySQL的安装部署1.查看系统自带的mysql的rpm包2.mysql数据库的安装Hadoop的安装部署1.hadoop下载地址2.hadoop安装部署Yarn 的安装部署1.1 Configure parameters as follows1.2 Start ResourceManager daemon and NodeManager daemon1.3 查看resourcemanager进程2.运行案例测试yarn2.1 寻找yarn测试jar包2.2 查看命令帮助，确认怎么运行

源码安装KafkaManager的步骤入下：1.需提前准备的东西：安装kafka-manager时需要安装sbt安装sbt:安装包下载地址：https://www.scala-sbt.org/download.htmlkafkamanager的下载地址：2.步骤解压sbt安装包：tar -zxvf sbt-0.13.18.tgz 进入sbt安装目录：/opt/software/sbt...

Flume源码中的Eventpackage org.apache.flume;import java.util.Map;/** * Basic representation of a data object in Flume. * Provides access to data as it flows through the system. */ public interface ...

大数据集群中使用xsync脚本分发文件到集群中的所有机器

没有中台的时代在传统IT企业，项目的物理结构是什么样的呢？无论项目内部的如何复杂，都可分为“前台”和“后台”这两部分。什么是前台？首先，这里所说的“前台”和“前端”并不是一回事。所谓前台即包括各种和用户直接交互的界面，比如web页面，手机app；也包括服务端各种实时响应用户请求的业务逻辑，比如商品查询、订单系统等等。什么是后台？后台并不直接面向用户，而是面向运营人员的配置管理系统，比如商...

CDH安装失败了，如何重新安装1> 删除Agent节点的UUID# rm -rf /opt/cm-5.12.0/lib/cloudera-scm-agent/*2> 清空主节点CM数据库进入主节点的Mysql数据库，然后drop database cm;3> 删除Agent节点namenode和datanode节点信息# rm -rf /dfs/n...

两条命令yum clean all 以及rm -rf /var/cache/yum/*

1.查看系统自带的mysql的rpm包rpm -qa | grep mysqlrpm -e mysql-libs-5.1.73-8.el6_8.x86_64 --nodeps2.mysql数据库的安装第一步：在线安装mysql相关的软件包yum install mysql mysql-server mysql-devel第二步：启动mysql的服务/etc/init.d/...

Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定制化控制逻辑。 对于 producer 而言，interceptor 使得用户在消息发送前以及producer 回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer 允许用户指定多个 interceptor，按序作用于同一条消息从而形成一个拦截链...

kafka 生产者 Producer 的API 示例过时的API实现新API实现带有回调函数的API实现自定义分区的API实现过时的API实现import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.Key...

hive当中处理的数据，一般都需要经过压缩，前期我们在用hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽。 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 无 ...

为什么会有Docker出现一款产品从开发到上线，从操作系统，到运行环境，再到应用配置。作为开发+运维之间的协作我们需要关心很多东西，这也是很多互联网公司都不得不面对的问题，特别是各种版本的迭代之后，不同版本环境的兼容，对运维人员都是考验。Docker之所以发展如此迅速，也是因为它对此给出了一个标准化的解决方案。环境配置如此麻烦，换一台机器，就要重来一次，费力费时。很多人想到，能不能从根本上解决...