TheBiiigBlue-CSDN博客

向导问题描述排查问题描述redash所在机器硬盘做完降配后，再次启动redash，worker总是再报错:报权限问题。表现是，redash界面正常，但是查询时，请求发到redash server后，worker并没有正确的去查库，导致页面上显示一直在查。排查redash我是docker部署，root用户的，按理说是没有权限问题的，但是不知道为什么换完磁盘后出现了这个问题，这个主要是/tmp目录需要加 1777权限，但是我看到我的/tmp目录权限是没有问题的。突然想到，报错只有worker在报错

2021-05-19 20:14:21 891

原创 Hadoop -- 2.7.x到2.10.0不停机滚动升级

向导1. 部署新版本hadoop2. 切换zkfc和journalnode3. 切换namenode4. 切换datanode5. 切换yarn6. 提交完成滚动升级1. 部署新版本hadoop在一个节点部署，并拷贝所有配置文件到新版本文件夹中分发到各个节点切换环境变量2. 切换zkfc和journalnode因为zkfc和journalnode不需要更新，所以直接将原服务停掉，启动新的zkfc和journalnode即可3. 切换namenode运行hdfs dfsadmin -ro

2021-03-18 16:02:54 1038

原创 TiDB -- TiDB CDC POC 测试

TiDB CDC1.1 简介1.2 测试逻辑1.3 POC测试1.3.1 集群搭建准备：部署集群和启动：1.3.2 创建CDC同步任务和验证1.3.3 创建TiFlash同步任务1.3.4 启动kafka消费程序往TiDB灌测试数据1.3.5 启动kafka消费程序接收CDC数据写入DB1.4 结论1.4.1 观察和统计分析Timing表延迟1.4.2 观察和统计分析CDC同步延迟1.1 简介之前做了TiDB的CDC功能测试，是为了测试TiDB的CDC功能是否满足我们的需求。这次做了TiDB接入C

2021-02-23 10:05:14 931

原创 TiDB -- TiDB CDC调研

TiDB CDC1.1 简介1.1.1 TiCDC 架构1.1.2系统角色1.1.3同步功能介绍1.2 安装部署1.2.1 前期准备1.2.2 配置模板1.2.3 部署启动1.3 创建CDC同步任务和验证1.3.1 同步任务相关指令1.4 测试CDC1.5 结论1.1 简介 TiCDC 是一款通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具，具有将数据还原到与上游任意 TSO 一致状态的能力，同时提供开放数据协议 (TiCDC Open Protocol)，支持其他系统订阅数据变更。1

2021-02-19 10:57:08 4700 4

原创 HBase -- 使用HBaseMiniCluster本地调试HBase

HBaseMiniCluster背景和介绍使用POM创建Endpoint创建测试类，使用MiniCluster调试问题解决背景和介绍在测试HBase CDC时使用了HBase的Observer和Endpoint的协处理器，由于协处理器是运行在服务器端的，即regionserver上的代码，每次测试协处理器时需要打包到服务器，卸掉再重新关联协处理器，非常麻烦，且一旦出错也不可调试。为了方便开发人员，HBase以及其它Hadoop组件提供了Mini Cluster的运行方式：在一个JVM里模拟运行

2021-02-19 10:15:34 661 1

原创 HBase -- HBase CDC调研

向导HBASE CDC1.1 WAL简介1.2 解析WAL日志发送kafka1.3 通过Observer协处理器获取cdc数据发送kafka1.4 通过Endpoint协处理器获取cdc数据发送kafka1.5 POC结果1.6 结论HBASE CDC1.1 WAL简介 HBase的Write Ahead Log (WAL)提供了一种高并发、持久化的日志保存与回放机制。每一个业务数据的写入操作（PUT / DELETE）执行前，都会记账在WAL中。如果出现HBase服务器宕机，则可以从WAL中

2021-02-04 22:07:08 2028 7

原创 Redash -- Redash部署安装docker版

向导官网1.环境准备1.1 安装docker和docker-compose1.2 安装nodejs和npm2.安装Redash官网主页Developer Guidegithub讨论issues1.环境准备官网Docker Based Developer Installation Guide1.1 安装docker和docker-composeDocker – yum安装docker和docker-compose1.2 安装nodejs和npmnodejs/githubNode

2021-01-04 22:25:44 3464

原创 Docker -- yum安装docker和docker-compose

向导1 环境介绍2 安装Docker3.安装docker-compose1 环境介绍首先， Docker 并不是容器，它是一个管理容器的引擎。采用Linux 版本是 CentOS 7，Docker 也更推荐在 Linux 环境下使用；Docker 支持 CentOS 6 及以后的版本，并且要求CentOS 系统的内核版本要高于 3.10，我们可以通过uname -r命令查看验证。 Docker版本分为Docker CE 和 Docker EE。Docker CE 即社区免费版，可永久免费使用；

2021-01-04 22:14:57 2491

原创 Clickhouse -- SpringBoot集成ck和chproxy负载均衡

向导简介1.pom2.配置文件3.Datasource配置4.负载均衡代码5.使用BalancedClickhouseDataSource做负载均衡简介我自己搭建的ck是两节点的，两分片一备份。写入数据是生成随机数取余机器数来随机分配机器写入本地表的，然后建的分布式表供查询，外加一个web服务集成springboot、提供对外服务。ck查询的负载均衡没有使用chproxy和nginx，因为我们项目比较简单，就没弄额外的组件了，直接在代码中控制了，下面是集成步骤。1.pom<depende

2021-01-04 21:31:38 4978 2

原创 Clickhouse -- 基础和入门三

向导1.支持的常见数据类型1.Int2.float: 浮点数3.布尔值4.字符串5.UUID：通用唯一标识符6.Date：日期7.Datetime：时间戳8.Enum：枚举9.Nullable：可为空/缺失值10.Array（T）：数组11.Tuple（T1,T2,...）：元组12.Nested(Name1 Type1, Name2 Type2, ...)：嵌套2.表操作3.列操作1.支持的常见数据类型查看官方文档：https://clickhouse.tech/docs/en/sql-refere

2021-01-04 21:05:51 913

原创 Clickhouse -- 基础和入门二

向导1.表引擎1.Log系列2.Integration系列3.Special系列4.MergeTree系列2.常用的时间函数1.表引擎 ClickHouse提供了大量的数据引擎，分为数据库引擎、表引擎，根据数据特点及使用场景选择合适的引擎至关重要表引擎在ClickHouse中的作用十分关键，直接决定了数据如何存储和读取、是否支持并发读写、是否支持index、支持的query种类、是否支持主备复制等。 ClickHouse提供了大约28种表引擎，各有各的用途，比如有Lo系列用来做小表数据分析，

2021-01-04 16:48:55 288 1

原创 Clickhouse -- 基础和入门一

向导1.安装部署2.建库建表和导入导出3.权限设置4.登录1.安装部署 Clickhouse – 安装部署和测试2.建库建表和导入导出建库CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] [ENGINE = engine(...)]CREATE DATABASE testdb； //创建数据库DROP DATABASE testdb； //删除数据库建表CREATE TABLE [IF NOT

2021-01-04 16:35:00 390

原创 HUE -- 安装部署和测试

向导1. 安装前的准备2. 安装3. 修改配置4. 启动5. 集成5.1 元数据信息集成mysql5.2 集成mysql数据源5.3 集成hive5.4 集成clickhouse5.5 集成druid1. 安装前的准备安装依赖yum install asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ \krb5-devel libffi-devel libtidy libxml2-devel libxs

2020-12-16 14:23:38 1308 1

原创 Clickhouse -- 安装部署和测试

向导安装前的准备安装单机模式集群模式启动使用client连接server测试结果安装前的准备CentOS取消打开文件数限制#在/etc/security/limits.conf、/etc/security/limits.d/90-nproc.conf这2个文件的末尾加入一下内容：* soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072CentOS取消SELINUX，修改/etc/se

2020-12-15 16:39:26 537

原创 Java -- Java发送邮件示例代码(含附件)

向导引入依赖样例代码引入依赖<dependencies> <dependency> <groupId>javax.mail</groupId> <artifactId>mail</artifactId> <version>1.4.7</version> </dependency> <dependency> &lt

2020-08-14 22:21:22 299

原创 Hive -- Hive2.3.0集成Tez

向导安装依赖1. 安装hadoop2. 安装hive安装Tez集成Tez问题2.6 GB of 2.1 GB virtual memory used. Killing container.安装依赖1. 安装hadoopHadoop的分布式搭建Hadoop的高可用HA搭建2. 安装hiveHive – Hive2.3.0的部署安装安装Tez下载tez的依赖包：http://tez.apache.org解压修改名称tar -zxvf apache-tez-0.9.1-bin.tar.gz

2020-08-13 23:11:24 528

原创 Spark -- 直接读写Excel文件

参考GitHub：https://github.com/crealytics/spark-excel 我使用了0.13.1版本的，此版本在读Excel时，必须指定文件，不能指定目录，否则报错。<dependency> <groupId>com.crealytics</groupId> <artifactId>spark-excel_2.11</artifactId> <version>0.13.1&lt

2020-08-10 13:35:58 5739 8

原创 Spark -- cache和unpersist的正确用法

向导背景原理例子失败案例成功案例背景 cache和unpersist没有使用好，跟根本没用没啥区别，例如下面的例子，有可能很多人这样用：val rdd1 = ... // 读取hdfs数据，加载成RDDrdd1.cacheval rdd2 = rdd1.map(...)val rdd3 = rdd1.filter(...)rdd1.unpersistrdd2.take(10).foreach(println)rdd3.take(10).foreach(println) 上面代

2020-08-06 22:19:45 8207 5

原创 Druid -- 定时增量导入HDFS数据到Druid

向导Druid集成HDFS编写Spec.json编写替换时间Shell定时提交任务到DruidDruid集成HDFS编写Spec.json编写替换时间Shell定时提交任务到Druid

2020-08-03 15:34:00 703 1

原创 Druid -- Superset0.35.2集成Druid0.19.0

向导介绍使用1. 连接druid cluster2. 加载Druid的DataSource3. 点击指定datasource进行数据分析和图表展示4. 选择好维度、条件、展示形式，Run Query5. 保存图表到dashboard介绍 superset安装部署参考：Superset – Superset介绍及0.35.2安装部署 druid安装部署参考：Druid – 基于Imply方式集群部署使用 superset深度集成druid，superset安装完成后，即可在页面中的source

2020-07-30 22:37:03 275

原创 Superset -- Superset介绍及0.35.2安装部署

向导介绍官网概述应用场景安装部署python环境准备安装Miniconda或anaconda创建Python3.6环境Superset部署安装依赖更新安装pip和setuptools安装superset启动superset页面查看集成介绍官网 http://superset.apache.org/gallery.html概述 Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。应

2020-07-30 22:10:50 474

原创 Spark -- 一次Task长时间卡住不动，一直Running的问题解决

向导现象排查现象 spark提交任务后，某一个Stage卡住，通过spark界面看到，executor运行正常，卡住的Stage的task已经分配至executor，但task 一直在running并且数据量不大，task不结束，同时log中也无异常报出。20/07/27 07:40:13 INFO CoarseGrainedExecutorBackend: Started daemon with process name: 15841@ip-10-3-1-141.ec2.internal20

2020-07-28 21:45:22 12276

原创 Hive -- Hive2.3.0的部署安装

向导1. 上传tar包，解压2. 安装hadoop3. 安装mysql4. 配置hive-site.xml5. 拷贝mysql驱动7. 启动hdfs，yarn8. 启动hive metastore，hiveserver2，hive1. 上传tar包，解压tar -zxvf apache-hive-2.3.6-bin.tar.gz -C /opt/module/2. 安装hadoopHadoop的分布式搭建Hadoop的高可用HA搭建3. 安装mysqlMySQL的安装(YUM安装)MySQ

2020-07-26 22:08:33 444

原创 HBase -- 集群部署安装

向导环境准备安装环境准备安装HBase需要：Jdk、Hadoop Cluster、Zookeeper Cluster，详情参考：Hadoop的分布式搭建，Hadoop的高可用HA搭建安装上传并解压：tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module修改hadoop-env.sh配置文件：export JAVA_HOME=/opt/module/jdk1.8.0_181export HBASE_MANAGES_ZK=false修改

2020-07-26 21:52:38 190

原创 Druid -- 基于Imply方式集群部署

向导集群部署1. 下载tar包，上传服务器，解压2. 修改配置文件common.runtime.properties3. 修改coordinator配置，vi overlord/runtime.properties4. 修改overlord配置，vi coordinator/runtime.properties5. 修改middleManager配置文件，vi middleManager/runtime.properties6. 修改historical配置文件，vi historical/runtime.

2020-07-26 18:09:00 1285

TA关注的人

Elasticsearch V6.3.2 CDC 组件

HeimaCodeUtil 代码生成器

用户画像全面剖析，心血实战价值万金！47页PPT干货解密

hadoop-bin winutils 2.6.4，x64版本

hadoop-bin winutils 3.0.0，x64版本

hadoop-bin winutils 2.6.3，x64版本

hadoop-bin winutils 2.6.0，x64版本

hadoop-bin winutils 2.8.3，x64

hadoop-bin winutils 2.8.1，x64

hadoop-bin winutils 2.7.1，x64

Spark Task卡住的问题、Scheduler Delay 很长的问题