- 博客(12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 docker-compose搭建dolphinscheduler(2)
上一篇大致介绍了dolphinscheduler搭建和使用，本篇文章记录一下一些其他使用到的细节1：worker分组的docker镜像封装因为dolphinscheduler调度器是用worker来执行命令，要执行sql命令很方便，网页端直接选择对应的sql然后连接账号端口，再写入sql语句就可以执行。但是如果是要到部署线上服务的机器上执行shell命令和Python脚本，就只能ssh远程出来执行，这就需要做免密。开始准备在docker-compose.yml文件里写入容器启动后命令，但是测
2021-08-05 10:39:58
1154
原创 clickhouse集群搭建
服务器两台：##在/etc/hosts里面也要配置192.168.28.29 lh001192.168.28.18 lh002centos8，因为公司测试机系统装的这个我就用这个了环境要求：只需要自带的jdk就好首先在每台服务器上下载clickhouse，我这边是使用yum下载的yum install yum-utilsrpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPGyum-config-manager
2021-08-02 14:30:43
816
原创 Python将日志写入MySQL数据库
今天开发需求：把某个日志里面的内容写入数据库存储，方便调阅。日志类型，每天会生成一个，里面有6个字段：第一个字段是时间，但是只有时分秒（xx:xx:xx)第二个字段和第三个字段还有第五个字段只是个简单的数字id第四个字段是名称第六个字段是注释，写的比较多字段较长日志每个字段有 | 符号隔开接到需求后，首先决定用Python的split()函数做每列的切割lists=line.split('|')每个字段直接用lists[0] , lists[1]lists[2].
2021-07-29 09:22:38
3823
2
原创 yum安装mysql8
到官网https://dev.mysql.com/downloads/repo/yum/下载路径rpm -ivh mysql80-community-release-el7-3.noarch.rpmyum clean all # 删除缓存数据yum makecache # 创建元数据缓存yum list mysql-serveryum -y install mysql-server.x86_64 #下载数据库备份数据库配置文件：mv /etc/my.cnf /etc...
2021-06-25 14:48:28
1181
原创 docker搭建基于Prometheus、Grafana的可视化监控
首先安装docker-ce参照网址：https://www.jianshu.com/p/f39b78ade03cuname -r 查询内核版本要高于 3.10yum remove docker docker-common docker-selinux docker-engine #删除之前旧版本docker，如果是线上环境一定要注意之前的docker全部停掉才能删yum install -y yum-utils device-mapper-persistent-data lvm2 #安装依赖
2021-06-18 17:27:58
211
原创 docker-compose搭建dolphinscheduler(1)
参考官网：https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/docker-deployment.htm环境基础：Docker1.13.1+Docker Compose1.11.0+因为之前开发有这个需求，所以这两个我都已经安装好了，挺简单的，yum安装docker，直接下载二进制Docker Compose包，下了就能用。下载源包https://dolphinscheduler.apache.org/zh-c..
2021-06-18 14:12:32
1335
原创 pg数据库的搭建
yum安装：yum -y install https://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm ##下载rpm包yum module disable postgresql ##清除自带旧版本yum -y install postgresql13-server.x86_64 ##下载pg13/usr/pgsql-13/bin/postgresql
2021-06-18 14:08:13
1006
原创 Superset安装
##虚拟环境中安装Superset。Python附带有virtualenv开箱即用的功能pip3 install virtualenv##创建和激活虚拟环境python3 -m venv venv. venv/bin/activate进入虚拟环境后安装##安装apache-supersetpip install apache-superset##pip版本过低需要更新pip install --upgrade pip初始化数据库需要的模块pip install .
2021-06-18 14:06:28
242
原创 搭建es+kabana
参照网址：https://blog.csdn.net/qq_29677867/article/details/90204130官网下载elasticsearch软件包:elasticsearch-7.4.2-linux-x86_64.tar和kibana软件包kibana-7.4.2-linux-x86_64.tar下载后，解压到目录/es/下，并更改所有者为es用户首先修改线程参数# vim /etc/security/limits.conf* soft nofile 204.
2021-06-17 18:59:46
823
原创 SQL Server 2012主从服务器。
SQL Server 2012主从服务器。线上有一台sqlserver服务器，因为里面的数据比较重要，之前一直没做灾备，为了确保数据安全，跟部门领导和开发负责人量过后，决定新购一台服务器，然后部署一台sqlserver从服务器用于灾备搭建环境：服务器：云服务器Windows server 2008 r2企业版主服务器因为跑了其他程序配置是（4核16G）新购备服务器，只跑一个sqlserver，所以只配置了（2核4G）数据库：SQL Server 2012因为之前没过多接触过s
2021-06-17 18:47:29
805
空空如也
docker远程连接物理机后无法发送邮件
2021-08-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人