- 博客(18)
- 资源 (6)
- 收藏
- 关注
原创 时间服务器部署
服务端配置:restrict 127.0.0.1restrict ::1restrict 10.28.200.0 mask 255.255.255.0 nomodify notrapserver 127.127.1.010.28.200.0:要同步的网段#server 0.centos.pool.ntp.org iburst#server 1.centos.pool.ntp.org iburst#server 2.centos.pool.ntp.org iburst#server 3.c
2020-11-23 13:52:48
193
原创 磁盘的一些零碎小问题
如何获取硬盘的SN编号smartctl --all /dev/sdx |grep “Serial Number”|awk ‘{print $3}’批量获取机器所有的硬盘以及对应的SN编号for i in lsblk|awk '{print $1}'|grep -Ev '[0-9]||NAME';do echo"/dev/i"‘smartctl−−all/dev/i" `smartctl --all /dev/i"‘smartctl−−all/dev/i |grep “Serial Numbe
2020-06-24 00:17:41
223
原创 CDH测试Spark与Hive的连接不正常
测试Spark与hive的连通性代码from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("spark sql hive query").enableHiveSupport().getOrCreate()spark.sql("show databases").show()PYSPARK_PYTHON=/home/bbders/anaconda3/bin/python3.6 /usr/bin/spark2-s
2020-05-22 22:55:23
473
原创 大数据CDH-hive组件报错
项目描述安装好CDH的hive组件之后,Hive Metastore Server组件无法正常启动,输出日志显示:元数据不完整,导致组件无法正常启动,hive元数据库启动存在报错,无法正常创建数据库。处理元数据缺失解决思路:1、在hive组件中找到配置—类别—Hive Metastore Server数据库 确认数据库连接的用户,密码连接是否正确。2、mysql -h 域名 -u admin -p 用域名的方式检验是否能够正常连接数据库,防止是由于客户端无法连接造成的错误3、检查 Hive
2020-05-22 22:46:41
566
原创 磁盘点灯操作
描述:机房出现读写错误故障盘,需要查找出错误的故障盘进行发更换磁盘操作,需要进行 对磁盘进行点灯命令如下for((i=8;i<8;i++)); do hdparm -t /dev/sdx ; done效果显示:磁盘的硬盘灯会变为常亮状态,根据等的状态可找出错误的磁盘。可现将磁盘取消挂载整体进行测试umount /dev/sdx hdparm -t /dev/sd*效果:所有挂...
2020-03-18 11:21:09
2171
原创 ES部署单机多实例
前提背景:公司项目发展,ES集群对其他项目产生压力,不得不分离出ES集群准备工作:1、3台服务器 每台内存64G 提供12块盘(好像是1.5T)磁盘分别做了raid0,读写速率快,并且每台服务器上有两个节点,不用担心数据的问题。每台节点分别占用一般的磁盘空间,一共6个节点2、配置文件指定目录,以及集群节点间的健康检查 3(特别注意:每个结点的第一块盘需要创建eslogs)3、配...
2019-03-26 23:18:18
1652
原创 elasticsearch: which: no java in (/usr/local/。。。
部署ES集群时,ES找不到java的路径环境:因为我的机器本身是hadoop的集群架构,后来想在之前的集群环境中部署新的业务,但是发现ES一直启动不了,查看日志分析结果如下日志中报错说发现不了java环境但是我能查看到java的版本 ,tell me why。之前有试过做软连接的方式去解决这个问题,后来才发现走了弯路!!!解决方法:vim /etc/sysconfig/elastics...
2019-03-20 19:23:34
1568
转载 Redis持久化的几种方式
1、前言Redis是一种高级key-value数据库。它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富。有字符串,链表,集 合和有序集合。支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)...
2019-03-09 22:55:39
112
原创 Linux垃圾桶
部署一个垃圾桶,防止删错文件#下载GitHUB上的垃圾桶项目,并把服务添加至系统级#yum -y install git#git clone https://github.com/lagerspetz/linux-stuff#mv linux-stuff/scripts/saferm.sh /usr/bin/#设置 “rm” 的别名为 saferm.sh <在文件末尾添加>...
2019-03-04 17:14:01
1187
原创 zabbix主动被动模式说明
zabbix主动被动模式说明/区别说明:使用zabbix代理有很多好处,一方面可以监控不可达的远程区域;另一方面当监控项目数以万计的时候使用代理可以有效分担zabbix server压力,也简化分布式监控的维护。具体:主动、被动模式都是相对于proxy来说的。proxy主动发送数据就是主动模式;proxy等待server的请求,再发送数据就是被动模式。因为主动模式可以有效减轻zabbix ...
2019-01-17 14:48:16
665
原创 Tomcat优化方法
Tomcat在各位JavaWeb从业者常常就是默认的开发环境,但是Tomcat的默认配置作为生产环境,尤其是内存和线程的配置,默认都很低,容易成为性能瓶颈. 幸好Tomcat还有很多的提升空间.下文介绍一下Tomcat优化,可以分为内存,线程,IO.一:Tomcat内存优化,启动时告诉JVM我要一块大内存(调优内存是最直接的方式)Windows 下的catalina.batLinux 下的c...
2019-01-16 09:15:30
110
原创 Ansible安装部署流程详解(一)
ansible功能:ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的,本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块,ansible只是提供一种框架。主要包括:(1)、连接插件c...
2019-01-10 21:01:08
718
原创 Mycat服务器实现读写分离
Mysql读写分离集群搭建流程1)搭建数据库的主从复制主库ip:192.168.112.131从库ip:192.168.112.155Mycat服务器ip:192.168.112.152Mycat端配置vim /usr/local/mycat/conf/wrapper.conf在wrapper.conf中需要修改的东西 java的路径 不然的话wrapper日志会报JVM的环境问题,...
2018-11-13 21:16:44
221
原创 Mysql主从复制
环境准备软件及系统: CentOS 7.5 — 2台、MySQL 5.7 — Yum安装系统环境准备##关闭防⽕墙及SElinux安全机制[root@mysql ~]# `systemctl disable firewalld`Removed symlink /etc/systemd/system/multiuser.target.wants/firewalld.service.Re...
2018-11-13 15:53:18
142
原创 mysql碰到的坑,填坑指南。
安装数据库能力有限碰到的全是坑Slave_IO_Running: Connecting的错误原因从库问题:1)网络连接问题针对网络问题可以尝试mysql主从互相ping,检查是否有网络连接,如果为网络问题可检查网卡配置文件并重启网卡服务。2)slave数据库中输错了MASTER_PASSWORD=‘password’,的密码,检查是否是master的密码可检查主数据的密码,并进行...
2018-11-12 21:22:36
352
fastdfs-6.x(Docker版本)
2024-02-19
容器安全:Nginx源码编译在线升级、Mongo添加认证、Mysql容器版升级注意事项
2023-10-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人