linux运维人员必会运维工具

最新推荐文章于 2024-10-13 21:29:35 发布

weixin_34018169

最新推荐文章于 2024-10-13 21:29:35 发布

阅读量353

点赞数

文章标签：运维 python 操作系统

原文链接：https://my.oschina.net/u/3803405/blog/2207640

版权

2019独角兽企业重金招聘Python工程师标准>>>

Linux运维工程师工作职责

从IT运维整体方面来讲，运维工程师的职责分为：硬件层面、网络层面、系统层面、软件层面；
硬件层面，负责硬件设备的选型、配置设定、服务器硬件采购、机柜、机房IDC底层硬件设施维护、维护硬件服务器状态、关注硬件服务器运行情况、硬盘灯；
网络层面，运维人员负责整个公司网络的连通性，有问题，有故障第一时间解决，保证交换机、路由器、防火墙稳定运行；
系统层面，运维人员要负责Windows/Linux操作系统维护，包括系统安装部署、系统的调优、内核故障解决、系统的资源监控和管理；
软件层面，运维人员最核心的工作就是保证应用软件、应用服务高效稳定的运行，例如WEB网站、数据库、Nginx、Tomcat、Oralce、Hbase、ZK等；
运维工程师最核心的工作就是保证企业WEB网站、数据库、应用程序高效稳定的运行，有故障和问题，第一时间去解决，借助开源的监控软件：MRTG、Cacti、Nagios、Zabbix、Ganglia等；

iCloudBase系统的agent开发：实现监控、心跳、注册、执行脚本（Rabbitmg的Python）

常用应用服务部署及配置：Uubuntu和CentOS系统的日志管理；

配置Apache的日志管理、用户认证、静态缓存、防盗链、访问控制、域名跳转等功能；

配置Nginx的常规web服务以及反向代理、作缓存服务、负载均衡等功能；

配置Tomcat单机多实例部署，方便了公司研发对多个web项目的部署联调；

MySQL的数据冷热备份与恢复、MySQL调优、主从复制以及读写分离

Web服务构架：、设计、搭建、配置、性能优化、安全控制、LAMP、LNMP、Nginx调优、内核调优；

系统构架：使用LVS+ Keepalived + Apache + MySQL ;前端使用更高性能的 LVS实现负载均衡，使用Keepalived 做HA 集群实现保证网站的稳定性，后端的MySQL主从数据库采用MySQL Proxy实现读写分离，降低主库的负载；

监控 : 编写Nagios 监控工具的Shell/Pyhon脚本 , 监控整个系统以及关键服务的运行以及发现安全隐患和性能瓶颈，实现邮件和短信报警。

备份：定期数据备份，保证服务器数据的安全（iNeedle系统、外交部日志系统、iCloudBase系统）；

排障：利用系统管理工具以及日志分析对服务器的软硬件，网络故障进行定位解决；

汇报：对于采用的系统服务和关键应用，撰写安装、开发总结文档，定期向公司领导汇报；。

初学者完成Linux系统安装以后，学习Linux操作系统必备的指令，基于Linux指令管理Linux操作系统，必备Linux指令有哪些？
基础命令相关一：
Cd、ls、pwd、help、man、if、for、while、case、select、read、test、ansible、iptables、firewall-cmd、salt、mv、cut、uniq、sort、wc、source、sestatus、setenforce；
基础命令相关二：
Date、ntpdate、crontab、rsync、ssh、scp、nohup、sh、bash、hostname、hostnamectl、source、ulimit、export、env、set、at、dir、db_load、diff、dmsetup、declare；
用户权限相关：
Useradd、userdel、usermod、groupadd、groupmod、groupdel、Chmod、chown、chgrp、umask、chattr、lsattr、id、who、whoami、last、su、sudo、w、chpasswd、chroot；
文件管理相关：
Touch、mkdir、rm、rmdi、vi、vim、cat、head、tail、less、more、find、sed、grep、awk、echo、ln、stat、file；
软件资源管理：
Rpm、yum、tar、unzip、zip、gzip、wget、curl、rz、sz、jar、apt-get、bzip2、service、systemctl、make、cmake、chkconfig；
系统资源管理：
Fdisk、mount、umount、mkfs.ext4、fsck.ext4、parted、lvm、dd、du、df、top、iftop、free、w、uptime、iostat、vmstat、iotop、ps、netstat、lsof、ss、sar；
网络管理相关：
Ping、ifconfig、ip addr、ifup、ifdown、nmcli、route、nslookup、traceroute、dig、tcpdump、nmap、brctl、ethtool、setup、arp、ab、iperf；
Linux系统开关机：
Init、reboot、shutdown、halt、poweroff、runlevel、login、logout、exit；

linux运维人员必会开源运维工具体系

说明：不同的技术人员，不同的阶段确定知识边界非常重要，否则，就像马拉车，不知道终点在哪，累死也达不到目标。例如拿8K要学多少，拿15K要学多少。一个新手也许只想拿8k结果各种学,学了2年，发现都学了，结果8k还是拿不到，归根结底，没边界瞎学，熊瞎子掰苞米，掰一个丢一个，学知识是有周期的，学太多又拖太长和没学差不多，2016年5月更新！

新手必会用深黄色（8-15k）标记，老鸟必会深黄色+浅蓝色(15-25K)标记

==============================================

操作系统：Centos、Ubuntu、Redhat、suse、Freebsd、Windows Server

网站服务：nginx、apache、lighttpd、php、tomcat、resin

常见web服务器软件： Apache 、nginx+php-fpm 、IIS 、Tomcat +jdk 、Nginx+uwsgi+python、
数据库：MySQL, Mysql-proxy, MariaDB, PostgreSQL ,oracle , SQL Server 等

数据库连接池： HikariCP、Druid

数据库中间件： Sharding JDBC、Sharding Sphere、Mycat、Canal、

DB中间件：MyCat,atlas,cobar，amoeba,MySQL-proxy 、Oracle、PostgreSQL、MongoDB、MariDB

代理相关：lvs、keepalived、haproxy、nginx、heartbeat、Varnish、Squid、Nginx
网站缓存：squid、nginx,varnish

消息调用： Dubbo 、SOFA RPC、 Motan、Ribbon

消息队列：ActiveMQ、RockettMQ、Metaq、MemcacheQ、Zeromq、Kafka、RabbitMQ

注册中心： Euraka 、Zookeeper、Nacos、Consul Etcd

配置中心： Apollo 、Nacos、Spring Cloud Config、Disconf

作业调度：Elastic Job Lite 、Elastic Job Cloud、Quartz、XXL-Job

链路追踪：SkyWalking、Zipkin、Pinpoint、CAT

分布式事务： TCC Transaction 、Fescar、Happylifeplat TCC、Myth.

开发工具： Git、Maven、Jenkins、Intell IDEA

搜索引擎： Lucene、Elasticsearch、Solr

NOSQL库：memcached、memcachedb、MongoDB、Cassandra、redis、CouchDB
存储相关：Nfs、Moosefs(mfs)、Hadoop、glusterfs、HDFS、TFS、GFS、FastdFS、lustre、FastDFS

CDN : 腾讯云、阿里云、up云

版本管理器（工具）：svn、git、VSS、cvs
监控报警：nagios、cacti、zabbix、munin、hyperic、mrtg、graphite、Grafana、Prometheus等

域名解析：bind、powerdns、dnsmasq
同步软件：scp、rsync、inotify、sersync、drbd、csync2、union、lsyncd

负载均衡： LVS、Haproxy、Nginx 等

传输工具： Scribe、Flume 等
批量管理：Ssh Key、Saltstack、expect、puppet、ansible、cfengine

配置管理及服务发现：Puppet、Consul、Zookeeper 等
虚拟化：kvm、Xen、OpenStack、ESXI等

云计算：openstack、docker、cloudstack
内网软件：iptables、zebra、iftraf、ntop、tc、iftop
邮件软件：qmail、posfix、sendmail、zimbra

远程拨号：open***,pptp、openswan、ipip
统一认证：openldap

打包发布：mvn、ants、jenkins（上线代码）、svn

自动化部署平台：GitLab、Jenkins、Ansible、sshpt、salt、Docker ：具有代码托管、编译、打包、环境部署、安装和回滚、灰度等基础功能，同时结合监控和报警系统构建动态扩缩容、自动化降级等系统。
测试软件：ab（是httpd中的）、JMeter、Webbench、LoadRunner、http_load、tcpcopy

带宽测试：smokeping、iozone

磁盘测试 iozone

性能测试：dd

IOPS测试 fio

日志相关：rsyslog、Awstats、flume、syslog、Flume、storm、kafka、storm、ELK(Elasticsearch+Logstash+Kibana)

搜索软件：Sphinx、Xapian、Solr

DB代理：mysql-proxy,amoeba（更多还是程序实现读写分离）

搜索软件：Sphinx,Xapian（大公司会自己开发类似百度的小规模内部搜索引擎）

无人值守：kickstart,cobbler

软件安装：rpm,yum（设计rpm包定制及yum仓库构建）

大数据平台：HDFS，Hive，Hbase，Zookeeper，Pig，Spark，Mahout，flume，sqoop、MapReduce、Storm

大数据存储： HBase、Cassandra、MongoDB、LevelDB 等