- 博客(12)
- 收藏
- 关注
原创 cdh大数据集群缩容,hdfs坏块处理,kudu坏表修复
参考官方文档:https://docs.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Managing-Clusters/Managing-Clusters-with-Cloudera-Manager.html环境:CM和CDH版本5.13根据官方文档提示:停止的服务器数量不能少于设置的副本数。本次100台机器减少一半不用担心这个问题1、节点下线操作admin用户登陆CM页面1)修改相关配置java堆栈大小调整为4G2)
2021-07-23 16:10:06 1434
原创 linux环境用python/shell将日志文件内容解析导入oracle数据库
一、背景日志文件部分内容2020-12-25 00:02:58.049 INFO [job-0] com.alibaba.datax.core.statistics.container.communicator.job.StandAloneJobContainerCommunicator:50 - Total 1043200 records, 218743048 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes | All Tas
2021-03-19 21:21:35 525
原创 svn数据迁移
1. 安装yum install subversion2. 创建仓库建一个svn的仓库,所有的代码都放在这里# mkdir /opt/svn/# cd /opt/svn/# svnadmin create /opt/svn[root@node1 svn]# lltotal 8drwxr-xr-x 2 root root 54 Oct 29 00:11 confdrwxr-sr-x 7 root root 266 Oct 29 01:13 db-r--r--r-- 1 root ro
2021-02-18 16:41:59 651
原创 zabbix 自定义监控,自动化运维远程处理主机程序
zabbix 自定义监控,自动化运维远程处理主机程序zabbix_agent配置[ops@seg0* etc]$ cat zabbix_agentd.conf | egrep -v "^#|^$"EnableRemoteCommands=1 //开启执行远程命令LogRemoteCommands=1LogFile=/var/log/zabbix/zabbix_agentd.logServer=10.92.208.**,10.92.208.*ListenPort=10080ServerA
2021-02-18 16:29:34 242 1
原创 oracle 19c linux环境图形化安装
oracle 19c linux环境图形化安装oracle安装需要的依赖会比较多,这里这用的是rhel7.5的系统安装前先准备好图形界面工具xmanagerwindows上安装xmanger(步骤略)linux上作如下操作yum install xorg-x11-xauth xorg-x11-fonts-* xorg-x11-font-utils xorg-x11-fonts-Type1 xterm打开xstart安装oracle 19c我的环境安装过的依赖包如下:yum
2020-11-30 16:22:49 1050
原创 Hadoop常用组件zookeeper,kafka
Hadoop常用组件zookeeper,kafkaZooKeeper是一个开源的分布式应用程序协调系统。简称ZK,ZK是一个典型的分布式数据一致性解决方案,分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁盒分布式队列等等功能。它运行在JAVA环境之中,并具有JAVA和C的绑定。zookeeper集群集群角色•**Leader:**领导者,通过集群选举产生的主节点,负责集群的读与写工作•**Follower:**追随者,有资格参
2020-07-14 23:19:31 741
原创 hadoop-2.7.7分布试集群
环境准备1.centos7.5,配置静态ip,关闭防火墙,配置免密登陆,准备hostssystemctl stop firewalld && setenforce 0[root@hadoop1 ~]# vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localh
2020-06-09 16:42:03 171
原创 用python将txt文件中的内容导入到excel文件中
背景日志文件中的内容不方便阅读统计,需要用excel表格的形式显示出来日志文件内容如下:info***LCAM_SC.DM_RP_DIS_DEVICE_TEMP*1*1*0*0*0*0*N*Y*/data2/20200514114048/OGG_ZC_SZ09_12/DM_RP_DIS_DEVICE_TEMP/根据日志文件创建excel表头TABLEPNSNFNZNROWSSIZE(MB)SCPK PATH1DATEIPFLAGREMARK实现代码
2020-05-18 12:14:24 6365
原创 ceph集群添加新的节点mon,osd
背景:添加osd时使用了已挂载的磁盘导致服务器重启起不了,于是删掉该节点,增加一个新节点ceph1 192.168.72.30 (主节点)ceph2 192.168.72.31ceph3 192.168.72.32 (新增节点)ceph4 192.168.72.33 (坏的节点)ceph4安装ceph1.准备环境# 配置yum源(需要电脑能上网),时间同步,关...
2020-02-28 21:05:12 3012
原创 ansible 部署 zabbix-agent
1. 配置yum源,安装ansible用阿里云镜像站]# [root@node5 yum.repos.d]# ls CentOS-Base.repo ]# yum -y install --downloadonly --downloaddir=/root/ansible ansible //下载便于离线安装 ]# yum -y install ansible ]# /etc/...
2020-01-25 22:30:54 309
原创 ceph块存储部署笔记
一. 环境部署测试客户端 client 192.168.4.20ceph 集群 node1 192.168.4.21 node2 192.168.4.22 node3 192.168.4.23集群节点增加两块磁盘,一块作为缓存盘,一块作为共享盘在node1上创建密钥,将公钥传给node2,node3,配置无密码连接修...
2019-10-01 21:49:04 525
原创 堡垒机Jumpserver搭建
**堡垒机Jumpserver搭建**主要参考官方文档https://jumpserver.readthedocs.io/zh/master/step_by_step.html一. 生产环境部署Jumpserver 环境要求:硬件配置: 2个CPU核心, 4G 内存, 50G 硬盘(最低)操作系统: Linux 发行版 x86_64Python = 3.6.xMysql Serv...
2019-09-23 22:25:37 546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人