自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(23)
  • 资源 (1)
  • 收藏
  • 关注

原创 Dinky 本地编译及代码贡献操作流程

](undefinedhttp://www.aiwenmo.com/dinky/docs/test/[email protected]),注意,只需要粘贴http://后面的部分内容,替换到代码里。2.单击**作业总览**,进入作业详情页面,可以看到各个模块的详情信息。(5)假如要更换图中作业实例状态下的当前实例中的照片,该如何操作?两个提交选项,第一个是正式提交,而第二个DRP是草稿状态。先在本地拿到最新截图,之后上传到图传,在相册中就可以看到。1.在运维中心,单击**点击目标作业名**

2023-11-30 15:09:05 1858

原创 CDH 下的zookeeper异常问题

之后重新进行安装后恢复正常,一般导致zookeeper假死无法使用的原因是安装节点的服务器突然打开了防火墙,导致zookeeper节点间无法互通,长期未解决导致无限请求而发生zookeeper假死,所以对服务器策略的管理一定要谨慎,zookeeper的瘫痪会导致整个集群的崩溃。杀掉进程后,需要在安装zookeeper的节点服务器上对遗留的文件夹进行删除,不然重新安装则会报错,注意!

2023-11-30 14:40:10 494

原创 CDH集群黄色警告消除

一般情况下的告警,都是由于在安装过程中选择了默认的根目录下的磁盘目录,如果根目录磁盘占用量超过80%,则会出现告警,下面我们依次来解决。假设我的容量大的磁盘为/home,则需要对/var下的原路径进行迁移,我的zookeeper服务安装在三台服务器上,所以对三台服务器需要同时操作。通过查看警告详情,四个告警全部为磁盘空间不足80%,所以需要对磁盘目录进行重新设置,除此之外,还可以对输出日志的等级进行设置。其它的服务是同样的原理,逐一进行改正,修改的时候需要注意用户权限、文件权限。

2023-11-30 14:33:10 532

原创 Datax 数据增量同步配置

按下图中5个步骤进行配置1.任务类型选DataX任务2.辅助参数选择时间自增3.增量开始时间选择,即sql中查询时间的开始时间,用户使用此选项方便第一次的全量同步。第一次同步完成后,该时间被更新为上一次的任务触发时间,任务失败不更新。4.增量时间字段,-DlastTime='%s' -DcurrentTime='%s' 先来解析下这段字符串1.-D是DataX参数的标识符,必配。

2023-11-27 17:49:51 3435 1

原创 Datax json模板集合

{ "job": { "setting": { "speed": { "channel": 6, "byte": 8048576, "record": 10000000 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "n

2023-11-27 17:48:17 1019

原创 Elasticsearch在信创环境中适配(单节点-AARCH64)

下载安装包,地址右侧可选择不同版本。

2023-11-27 17:47:10 394

原创 Elasticsearch在信创环境中适配(单节点-No JDK)

NO JDK版本的elasticsearch在安装包中没有自带JDK安装包,可以调用系统自带的java环境变量,适用于非国产化的操作系统的适配,只要操作系统中的JDK完成适配,elasticsearch便可以在系统中正常运行,下载地址:elastic中文社区。

2023-11-27 17:46:38 956

原创 Elasticsearch在信创环境中适配(集群-No JDK)

下载安装包,地址右侧可选择不同版本下载完成之后上传到第一台服务器172.26.51.154下的/data路径,之后解压。

2023-11-27 17:46:06 974

原创 Elasticsearch在信创环境中适配(集群-AARCH64)

下载安装包,地址右侧可选择不同版本下载完成之后上传到第一台服务器172.26.51.154下的/data路径,之后解压。

2023-11-27 17:45:34 518

原创 Kibana在信创环境中适配(单节点es)

下载和es相同版本的kibana安装包。kill -9 进程IP。

2023-11-27 17:44:49 389

原创 minio 安装部署

home/bigdata/oss-minio/等相应的文件夹需要自己新建。选择里面的minio。

2023-11-27 17:43:44 388

原创 Python Pip 离线安装

1、下载安装包,上传文件并解压2、安装编译环境--------------------注意,有报错一定要处理,一般是yum源问题--------------------3、进入opt目录,创建python的安装目录 mkdir python3.74、进入python目录,编译到指定 ./configure --prefix=/opt/python3.7/5、安装 make && make install6、修改环境变量7、创建软连接,升级版本8、修改yum配置将第一行”#!

2023-11-27 17:41:01 869

原创 CDH安装过程中报错处理

解决方法:删除以下文件夹,并重新执行安装过程。

2023-11-27 17:39:52 355

原创 搭建TIDB集群

一、下载及上传包登录官网云原生分布式数据库 TiDB-实时 HTAP-PingCAP | 平凯星辰选择产品,点击下载规划服务器10.13.7.74 master10.13.7.75 utility10.13.7.76 worker110.13.7.77 worker210.13.7.78 worker310.13.7.79 worker4将离线包上传到中控机master服务器,并进行解压tar -zxvf tidb-community-server-v7.3.0-linux-amd64.tar.gz进入解压

2023-11-27 17:34:53 1066 1

原创 datart 安装部署文档(精简版)

配置文件位于 config/application-config.yml.example,先重命名为application-config.yml,需要配置的项为: 数据库连接信息,邮件配置,浏览器截图驱动。创建数据库,并将bin/datart.sql导入到数据库中(也可以用navicat建库,运行sql)datart安装包(datart-server-1.0.0-beta.1-install.zip)配置服务端访问地址,创建分享,激活/邀请用户时,将使用这个地址作为服务端访问地址。3.1 数据库连接信息。

2023-10-08 15:16:46 1147 2

原创 配置ENC加密

调用jasypt-1.9.0.jar包中一个main方法:org.jasypt.intf.cli.JasyptPBEStringEncryptionCLI。路径为/Users/wj/maven/repository/repository/org/jasypt/jasypt/1.9.0。-- password参数:jasypt用来加密你的密码的密码。进入maven本地仓库,找到jasypt-1.9.0.jar。-- input参数:你想要加密的密码。

2023-10-08 15:12:48 231 1

原创 Apache-httpd最新版本升级教程

Apache-httpd版本太低会导致出现很多漏洞,本次安装的版本为最新的Apache-2.4.57版本,操作系统为CentOS Linux release 7.9.2009 (Core)。

2023-10-08 15:04:21 3379 1

原创 mac 下安装nginx

Docroot默认为/usr/local/var/www,在/usr/local/etc/nginx/nginx.conf配置文件中默认端口被配置为8080,从而使nginx运行时不需要加sudo,nginx将在/usr/local/etc/nginx/servers/目录中加载所有文件,以及我们可以通过最简单的命令 ‘nginx’ 来启动nginx。我们可以看到,nginx在本地还未安装(Not installed),nginx的来源(From)

2023-08-04 09:56:01 45 1

原创 Window下模拟安装arm架构的麒麟虚拟机

1、下载安装包到本地。

2023-08-04 09:54:50 456 1

原创 Linux服务器LVM部署及磁盘挂载

一般而言,在生产环境中无法在最初时就精确地评估每个硬盘分区在日后的使用情况,因此会导致原先分配的硬盘分区不够用。比如,伴随着业务量的增加,用于存放交易记录的数据库目录的体积也随之增加;因为分析并记录用户的行为从而导致日志目录的体积不断变大,这些都会导致原有的硬盘分区在使用上捉襟见肘。而且,还存在对较大的硬盘分区进行精简缩容的情况。格式:lvcreate -L 容量大小 -n 逻辑卷名 卷组名。(逻辑卷大小查看上一步的VG Size)5、 lvcreate创建。

2023-07-28 14:25:30 1228 1

原创 ARM架构下安装Mysql8.0数据库

3、报错问题解决(ERROR 1396 (HY000): Operation CREATE USER failed for 'root'@'%')alter USER 'root'@'localhost' IDENTIFIED BY '你的密码';mysql> CREATE USER 'root'@'%' IDENTIFIED BY '密码';mysql> CREATE USER 'root'@'%' IDENTIFIED BY '密码';1、安装依赖库(离线环境需要配置yum源)3、使用临时密码登录。

2023-07-28 14:11:57 4088 1

原创 Kettle连接达梦进行数据抽取

Kettle连接达梦进行数据抽取

2023-02-17 16:09:29 425

原创 CDH 6.3.2下安装Flink

cdh 6.3.2下安装flink简单教程,自己在生产环境中测试成功

2023-02-17 16:03:30 1521 3

datax 的clickhouse wirte JAR包,实测datax-web下可用,不报错

datax 的clickhouse wirte JAR包,实测datax-web下可用,不报错,包含 (1)clickhousewriter-0.0.1-SNAPSHOT.jar (2)libs (3)plugin_job_template.json (4)plugin.json 直接拖到/usr/local/datax/plugin/writer下使用

2022-01-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除