码农码农你我不同-CSDN博客

原创 linux mysql8升级安装常见问题

linux mysql8升级一、背景二、数据备份三、卸载四、安装新版五、数据恢复六、其他附加问题一、背景本次操作为mysql8.0.19与8.0.20版本升级mysql8.0.23操作背景为20及以下版本出现漏洞需修复二、数据备份命令行操作备份：mysqldump -u root -p --all-databases >/data/20210413_all.sqlmysqldump -u root -p --all-databases >/data/20210413_all.

2021-07-19 19:23:09 1210 2

原创 Flink的RocksDBStateBackend一些使用经验

Flink的RocksDBStateBackend一些使用经验一、idea依赖RocksDBStateBackend是Flink中内置的第三方状态管理器，和其他两种（MemoryStateBackend和FsStateBackend）不同，使用时需添加相关依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebacken

2020-07-10 16:14:02 12838 5

原创 elasticdump工具导入导出es数据，按条件导入导出

elasticdump工具导入导出es数据，按条件导入导出1.安装elasticdumpnpm install elasticdump -g2.导入导出数据（1）index->index:安装目录（我的安装目录是/home/node-v12.16.3-linux-x64/）+bin/elasticdump --input=http://es02:9200/trip_incomplete_202007 --output=http://es02:9200/trip_incomplete_202

2020-07-10 14:34:15 3048 6

转载关于flink的一些简单的理论性问题

**关于flink的一些简单的理论性问题**一、初识Flink使用一个架构先了解其用途，特点，长短处。以下将逐步描述其性能以及使用。1.简介Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执...

2019-11-26 11:19:36 296

原创一些工作中遇到的spark优化问题分享

一些函数：1.append和overwrite:append 在原有分区上进行追加数据操作,overwrite在原有分区上进行全量刷新操作2.coalesce和repartitioncoalesce和repartiton都用于改变分区coalesce 不进行shuffle，多用于减少分区，在了解源码中，coalesce可传参数，选择是否进行shuffle。repartiton 必shu...

2019-11-20 11:14:20 648

原创 CDH安装Spark2后一些问题

**CDH安装Spark2后一些问题**安装完成够，发现执行命令有问题问题原因：最后找到原因是因为CM安装Spark不会去环境变量去找Java，需要将Java路径添加到CM配置文件解决办法：找到hadoop102、hadoop103、hadoop104三台机器的配置，配置java主目录这里只是我遇到的一个问题，可能很片面，但希望有助于他人。...

2019-11-13 18:39:08 637

原创 CDH版本中的集群安装更新spark2问题

CDH版本中的集群安装更新spark2问题我使用的是CDH5.12.1，所以以此为例在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。Cloudera发布Apache Spark 2概述(...

2019-11-13 16:51:52 566

原创更新Hive Metastore NameNode导致的问题

在使用CDH版本中安装hive时遇到的问题：更新 Hive Metastore NameNode问题：点击更新后，导致的hive无法启用。解决方法：更新Hive Metastore NameNode（先停止Hive）查看是否启用Hdfs的高可用，如果已启用，则将本hive删除重新安装即可，不必更新Hive Metastore NameNode...

2019-11-13 15:59:32 943

wangshuo2019的博客