- 博客(31)
- 收藏
- 关注
RSS订阅原创 运维工作内容
互联网运维工作，以服务为中心，以稳定、安全、高效为三个基本点，确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。 什么是运维和运维工程师：一、初入运维领域的头衔：运维实习生系统管理员网络管理员二、使用频率最高的运维头衔：运维工程师IT运维工程师Linux运维工程师运维开发工程师应用运维工程师三、侧重某项技能或行业的运维头衔：系统运维工程师数据库运维工程师网络运维工程师安全运维工程师桌...
2018-04-28 16:00:42
34417
2
原创 如何成为优秀的运维经理
先说企业里的运维工作，简单的说就是保证公司的各类IT设备，能够高效正常的运转。复杂点说，就是保障公司各应用系统的正常稳定的运行，同时不断完善IT基础架构和推进高效自动化运维的实现。一个优秀的运维经理，应该具备以下七大能力：1、系统架构的设计和规划能力 做为一个技术工程师，你关注更多的是具体的技术和问题分析、故障处理等细节，而做为一名运维经理，则需要你站在全局的高度，把控各环节的应用来规划...
2018-04-28 15:53:26
1098
原创 CentOS7 下安装 PostgreSQL10
方法一：1、Install therepository RPM:yum installhttps://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-redhat10-10-2.noarch.rpm2、Install the clientpackages:yum install postgresql103、Opt...
2018-04-28 11:37:06
773
转载 数据库结构比对，再初始数据比对方法
在公司项目中，我有幸负责制作“升级脚本”。升级脚本，无疑两步，先结构比对，再初始数据比对。一、结构比对结构比对比较简单，使用navicat for mysql 工具，“工具”-“结构同步”，选择好“源”、“目标”、“比对选项”后，点击“比对”。（假如需要将数据库v4升级到v5）比对完毕，将结构同步的sql语句全选复制出来，如下图二、数据同步右击“全选勾选”，“运行查询后”，实现结构同步，接下来需要...
2018-04-26 18:14:07
4032
原创 SQL优化工具SQLAdvisor使用
一、简介在数据库运维过程中，优化SQL是业务团队与DBA团队的日常任务。例行SQL优化，不仅可以提升程序性能，还能够降低线上故障的概率。目前常用的SQL优化方式包括但不限于：业务层优化、SQL逻辑优化、索引优化等。其中索引优化通常通过调整索引或新增索引从而达到SQL优化的目的。索引优化往往可以在短时间内产生非常巨大的效果。如果能够将索引优化转化成工具化、标准化的流程，减少人工介入的工作量，无疑会大...
2018-04-25 15:14:53
10748
2
原创 MongoDB CPU利用率高原因
MongoDB CPU 利用率很高，都快跑满了,如何解决？=》遇到这个问题，99.9999% 的可能性是「用户使用上不合理导致。 MongoDB CPU 利用率高的问题=》从应用的角度如何排查原因如下：Step1: 分析数据库正在执行的请求mongos> db.currentOp(){ "inprog" : [ { "host" : "wiki:27017", "desc" : "...
2018-04-25 14:30:11
2626
原创 MongoDB连接数修改
查看最大连接数mongos> db.serverStatus().connections;{ "current" : 704, "available" : 51724, "totalCreated" : 172824 }或mongos> db.serverStatus().connections{ "current" : 1, "available" : 818, "to
2018-04-25 13:53:22
2396
原创 Mongodb日志切割
Mongodb日志切割 依据客户端查询来设计集合的片键及索引，最近几天突然需要查询历史数据进行分析，我们的有些集合count达到亿条以上，每个文档几百个字段。突如其来的查询分析，数据库非常的卡，尤其这几天刚刚加入一个新的分片。前天上午来看，发现主分片竟然奔溃了，至于为什么查询量大，数据库会奔溃，需要后续进行分析。 遇到问题第一反应是看日志文件，拿到notepad之后由于文...
2018-04-20 15:53:57
1389
原创 MongoDB日志logappend方式以每天为单位自动切割日志
一、编写logAppend.sh/save/mongodb-linux-x86_64-2.6.0/bin/mongo 127.0.0.1:27017/admin logAppend.js二、编写logAppend.jsdb.runCommand({logRotate:1});三、权限设置chmod 755 logAppend.*四、编辑crontabcrontab -e增加0 3 * * * ...
2018-04-20 15:37:57
3348
原创 Linux下定时切割Mongodb数据库日志并删除指定天数前的日志记录
说明：操作系统：CentOSMongodb安装目录：/usr/local/mongodbMongodb数据库存放目录：/home/data/mongodb/mongodb_dataMongodb日志存放目录：/home/data/mongodb/mongodb_log实现目的：对Mongodb数据库日志按天保存，并且只保留最近7天的日志记录。具体操作：使用Mongodb数据库自带的命令来切割日志p...
2018-04-19 17:11:02
385
原创 Hive 对mongodb 开启认证后抽数失败
报错：Failed with exception java.io.IOException:java.io.IOException: com.mongodb.MongoQueryException: Query failed with error code 13 and error message 'not authorized on config to execute command { find...
2018-04-19 15:06:34
581
原创 mongodb sharded cluster认证
1、 生成密钥文件openssl rand -base64 741 > /home/keyfilechmod 600 keyfile 建议把密钥文件的权限设置为600（针对启动mongo实例的那个用户） 接着需要把这个密钥文件拷贝到集群中每一个结点上（路由结点，元配置结点，分片结点上都要有这个密钥文件） ；注：开启了keyFile,隐含就开启了auth，连接副本集就...
2018-04-19 15:01:40
307
原创 MongoDB 入门基础知识
MongoDB 入门篇1.1 NoSQL是什么？常见数据库管理系统常见的数据库管理系统，及其排名情况如下： 图 - 数据库管理系统使用情况世界排名数据来源：https://db-engines.com/en/ranking1.2 NoSQL是什么？1.2.1 NoSQL简介 NoSQL是对不同于传统的关系数据库的数据库管理系统的统称。 NoSQL最重要的是不使用SQL作为查询语言。其数据存储可...
2018-04-19 11:20:57
2362
原创 Hive 对mongodb 开启认证后抽数失败
报错：Failed with exception java.io.IOException:java.io.IOException: com.mongodb.MongoQueryException: Query failed with error code 13 and error message 'not authorized on config to execute command { find...
2018-04-18 15:50:11
617
原创 CentOS 7 安装 MongoDB 3.6
在/opt目录下创建mongodb文件夹 mkdir -p /opt/mongodb{data,log}添加mongodb用户，用户组 groupadd mongodb useradd mongodb -g mongodb修改mongodb文件夹所有者 chown -R mongodb:mongodb /opt/mongodb将安装包复制到/opt/mongodb下解压 ...
2018-04-17 10:57:35
682
原创 CentOS 7 安装 MongoDB 3.6
CentOS 7 安装 MongoDB 3.6安装步骤创建文件vi /etc/yum.repos.d/mongodb-org-3.6.repo文件内容[mongodb-org-3.6]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.6/x86_64/gpgchec...
2018-04-17 10:12:46
935
原创 mongodb shell 运行js脚本的四种方式
1. 交互式 mongo shell大部分的 mongodb 教程，在第一章都会讲解这种方式。mongo 127.0.0.1:27017use testdb.users.findOne()2. mongo --eval 运行一段脚本不进入交互模式，直接在 OS 的命令行下运行一段mongodb脚本。mongo 127.0.0.1:27017/test --eval "printjson(db.us...
2018-04-13 11:09:20
3130
1
原创 MYSQL无法启动 MySQL server PID file could not be found!The server quit without updating PID file
mysql启动时报错：Starting MySQL... ERROR! The server quit without updating PID file ?报错信息如下：MySQL server PID file could not be found! [FAILED]Starting MySQL.../usr/local/mysql/bin/mysqld_s...
2018-04-12 18:47:08
4171
原创 Spark处理远程mongodb数据报错
报错：Failed with exception java.io.IOException:java.io.IOException: Unable to calculate input splits: not authorized on loan to execute command { splitVector: "loan.operatorMongoModel", keyPattern: { _i...
2018-04-12 18:45:25
588
原创 MHA高可用性和Atlas读写分离
1.1 MHA简介1.1.1 MHA软件介绍 MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在10~30秒之内自动完成数据库的故障切换操作，并...
2018-04-08 10:04:11
477
原创 Python脚本给DHCP服务器绑定IP和MAC
#!/usr/bin/pythonimport os,sysimport linecachedef config_dhcp(ip_mac_list,dhcp_conf): all_file = [ x.replace('\n','').split('\t') for x in linecache.getlines(ip_mac_list)] dhcp_file = open(dhcp_...
2018-04-08 10:03:53
1669
原创 ssh密钥创建分发(端口号非22)&脚本实现自动创建分发密钥
1.1 服务端端口号变化了，如何基于秘钥连接1.1.1 环境准备实验环境：[root@test ~]# cat /etc/redhat-releaseCentOS release 6.9 (Final)将一台服务器的ssh服务端口修改为63389[root@test ~]# netstat -lntup|grep sshdtcp 0 0 0.0.0.0:63389 0...
2018-04-04 15:55:31
421
原创 系统吞吐量、TPS（QPS）、用户并发量、性能测试概念和公式
一．系统吞度量要素： 一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间 QPS（TPS）：每秒钟request/事务 数量 并发数： 系统同时处理的request/事务数 ...
2018-04-04 15:47:15
315
原创 mysql监测工具tuning-primer.sh
mysql的运算情况，我们可以一步一步的去查看，分析。这样需要一定的时间，今天推荐给大家一个不错的脚本tuning-primer.sh，可以帮助我们去查看一下msyql的运行情况，产生报告和给出一些建议，我们可以根据这些建议，结合mysql服务器的实际情况，对mysql进行优化。一，下载以及使用1，wget http://www.day32.com/MySQL/tuning-primer.sh2，...
2018-04-04 15:46:26
165
原创 mysql数据向Redis快速导入
编写SQL语句，把mysql数据组合成Redis协议数据流SELECT CONCAT("*16\r\n",'$', LENGTH(redis_cmd), '\r\n',redis_cmd, '\r\n','$', LENGTH(redis_key), '\r\n',redis_key, '\r\n','$', LENGTH(hkey1), '\r\n',hkey1, '\r\n','$', ...
2018-04-04 15:45:50
220
1
原创 监控Redis集群服务
一、基础环境安装https://pypi.python.org/packages/source/b/backports.ssl_match_hostname/backports.ssl_match_hostname-3.4.0.2.tar.gztar xvzf backports.ssl_match_hostname-3.4.0.2.tar.gz cd backports.ssl_match_h...
2018-04-04 15:45:29
284
原创 oracle tablespace
表空间(TABLESPACE)是ORACLE数据库中最大的逻辑结构。ORACLE数据库是由一个或多个表空间组成的。它在物理上与磁盘上的数据文件相对应(一个表空间由一个或多个数据文件组成，但一个数据文件只能属于一个表空间)。从物理上说数据库的数据被存放在数据文件中，而从逻辑上说是被存放在表空间中的。一、表空间概述 表空间是ORACLE数据库中最大的逻辑结构。数据库的所有对象和方案都被逻辑的保存在表空...
2018-04-04 15:44:52
631
原创 MongoDB 3.6.2安装配置问题总结
天在启动mongodb的时候，发现起不来，报错：child process failed, exited with error number 100然后先去/var/log/mongo/mongod.log 查看启动的日志,发现：**************Unclean shutdown detected.Please visit http://dochub.mongodb.org/core/r...
2018-04-04 15:43:36
676
原创 Linux最常用150个命令汇总
Linux最常用150个命令汇总命令功能说明线上查询及帮助命令(2个)man查看命令帮助，命令的词典，更复杂的还有info，但不常用。help查看Linux内置命令的帮助，比如cd命令。文件和目录操作命令(18个)ls全拼list，功能是列出目录的内容及其内容属性信息。cd全拼change directory，功能是从当前工作目录切换到指定的工作目录。cp全拼copy，其功能为复制文件或目录。fi...
2018-04-04 11:41:20
218
原创 mysql启动时报错：Starting MySQL... ERROR! The server quit without updating PID file ?
报错信息如下：MySQL server PID file could not be found! [FAILED]Starting MySQL.../usr/local/mysql/bin/mysqld_safe: line 181: 2476 Killed nohup /usr/local/mysql/bin/mysqld -...
2018-04-04 10:19:48
128552
26
原创 Mongodb安全认证
Mongodb安全认证Mongodb安全认证在单实例和副本集两种情况下不太一样，单实例相对简单，只要在启动时加上 --auth参数即可，但副本集则需要keyfile。 一、单实例1.启动服务（先不要加auth参数）2.登陆后切换到admin库并添加管理员账号 2.1 创建系统管理员用户默认条件下，超级管理员只能用于帐号管理，不能进行其他数据库操作，可以通过自己给自己授权实现。生产环境中的管理员...
2018-04-02 17:15:07
264
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人