常见开发线上实战操作总结

1.服务器消耗内存分析过程

top命令找出消耗内存进程:

找到对应的应用:

ps -ef|grep 2021

2.  linux常用命令:


chmod u+x *.sh 授权可执行
netstat -ant :查看当前被占端口

ps aux|grep 80 :查看端口占用的进程

netstat -anp | grep 80端口

刷新dns:ipconfig/flushdns

chkconfig iptables on :打开防火墙

 service iptables start :启动防火墙

service iptables status:查看防火墙状态

service iptables restart:重启防火墙

free -m    按兆为单位输出内存的已用,未用,总共等结果

scp 复制文件命令使用:

1.从本机复制文件到远程

scp 文件名 远程计算机用户名@远程计算机的ip:远程计算机存放该文件的路径

2.从远程复制文件到本机:

scp 远程计算机用户名@远程计算机ip:文件名 存放该文件的本机路径

3.本地复制目录到远程

scp -r 目录名 远程计算机用户名@远程计算机的ip:远程计算机存放该目录的路径

4.远程复制目录到本机

scp -r 远程计算机用户名@远程计算机ip:目录名 存放该目录的本机路径

scp  -P 9989  root@192.168.8.138:/home/ligh/index.php    root@192.168.8.139:/root

注意:  
1. 参数-P 的位置一定要紧跟在scp命令后面
2. 参数-P 指的是远程主机的端口,而非本地主机的端口
3. 对于上面的举例:我们当前登录的机器是138,远程主机是139,所以端口9989指的是139机器的端口

查看具体一条日志:

cat place-2017-06-15.log |grep -C 10 'orderPayService.submitOrder--->'

解决 linux下 空间不足,放不进去东西:

使用df-h检查一台服务器磁盘使用空间,发现磁盘已经使用了100%,其中/dev/mapper/vg_iavp-lv_root是逻辑卷

查找大于100M的大文件,发现有几个日志文件及临时文件比较大,使用rm –rf删除即可

find / -size +100M -exec ls -lh {} \

结束占用端口的进程killall 进程名

killall apache2

查看linux下应用程序运行状态 netstat -nlp

jps 查看进程:

 查看zookeeper进程

Linux系统信息查看命令:

系统

# uname -a #查看内核/操作系统/CPU信息

# head -n 1 /etc/issue #查看操作系统版本

# cat /proc/cpuinfo #查看CPU信息

# hostname #查看计算机名

# lspci -tv #列出所有PCI设备

# lsusb -tv #列出所有USB设备

# lsmod #列出加载的内核模块

# env #查看环境变量

资源

# free -m #查看内存使用量和交换区使用量

# df -h #查看各分区使用情况

# du -sh <目录名> #查看指定目录的大小

# grep MemTotal /proc/meminfo #查看内存总量

# grep MemFree /proc/meminfo #查看空闲内存量

# uptime #查看系统运行时间、用户数、负载

# cat /proc/loadavg #查看系统负载

磁盘和分区

# mount | column -t #查看挂接的分区状态

# fdisk -l #查看所有分区

# swapon -s #查看所有交换分区

# hdparm -i /dev/hda #查看磁盘参数(仅适用于IDE设备)

# dmesg | grep IDE #查看启动时IDE设备检测状况

网络

# ifconfig #查看所有网络接口的属性

# iptables -L #查看防火墙设置

# route -n #查看路由表

# netstat -lntp #查看所有监听端口

# netstat -antp #查看所有已经建立的连接

# netstat -s #查看网络统计信息

进程

# ps -ef #查看所有进程

# top #实时显示进程状态

用户

# w #查看活动用户

# id <用户名> #查看指定用户信息

# last #查看用户登录日志

# cut -d: -f1 /etc/passwd #查看系统所有用户

# cut -d: -f1 /etc/group #查看系统所有组

# crontab -l #查看当前用户的计划任务

服务

# chkconfig --list #列出所有系统服务

# chkconfig --list | grep on #列出所有启动的系统服务

程序

# rpm -qa #查看所有安装的软件包

win7里面服务占用80端口解决方法:

windows系统下在dos命令行kill掉被占用的pid:

1.开始——>运行——>cmd

2.命令行输入:netstat -ano | findstr 端口(被占用的端口号)

3.输入:tasklist | findstr 端口(获取步骤2里面的端口,实际就是拿到了pid)

4.taskkill /pid 端口(步骤3里面的端口)

3.jconsole远程连接tomcat配置,可进行远程监控jvm

-Djava.rmi.server.hostname=123.1.149.195

-Dcom.sun.management.jmxremote

-Dcom.sun.management.jmxremote.port=2011

-Dcom.sun.management.jmxremote.ssl=false

-Dcom.sun.management.jmxremote.authenticate=false

4.nginx

  1.  启动 ./nginx 

  2. 停止 /usr/local/webserver/nginx/sbin/nginx -s stop

  3. 重置:当有配置文件变更:./nginx  -s reload 重新load下

5.nodejs操作:

node  -v

npm run start 启动node

npm -i

npm run dev

6.binlog 常用操作

/*查看bin log是否打开*/

SHOW VARIABLES like  'log_bin'

/*查看binlog日志文件列表*/

SHOW BINARY LOGS

/*查看当前正在写入的binlog文件*/

show master status

7.tomcat jvm参数配置模版:

  JAVA_OPTS="$JAVA_OPTS -server -Xmx2g -Xms2g -Xmn256m -XX:PermSize=128m -Xss256k -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70"

#JAVA_OPTS="$JAVA_OPTS -server -Xms4096m -Xmx4096m -XX:PermSize=512m -XX:MaxPermSize=512m -XX:SurvivorRatio=4 -XX:TargetSurvivorRatio=90 -Xss256k -XX:+DisableExplicitGC"

JAVA_OPTS="$JAVA_OPTS -server -Xmx2g -Xms2g -Xmn256m -XX:PermSize=128m -Xss256k -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70"

8.JVM调优总结 -Xms -Xmx -Xmn -Xss

  1. 堆大小设置

    JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统 下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。

    典型设置:

    • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k

      -Xmx3550m:设置JVM最大可用内存为3550M。

      -Xms3550m:设置JVM促使内存为3550m。此值可以设置与-Xmx相同,以避免每次垃圾回收完成后JVM重新分配内存。

      -Xmn2g:设置年轻代大小为2G。整个JVM内存大小=年轻代大小 + 年老代大小 + 持久代大小。持久代一般固定大小为64m,所以增大年轻代后,将会减小年老代大小。此值对系统性能影响较大,Sun官方推荐配置为整个堆的3/8。

      -Xss128k: 设置每个线程的堆栈大小。JDK5.0以后每个线程堆栈大小为1M,以前每个线程堆栈大小为256K。更具应用的线程所需内存大小进行调整。在相同物理内 存下,减小这个值能生成更多的线程。但是操作系统对一个进程内的线程数还是有限制的,不能无限生成,经验值在3000~5000左右。

    • java -Xmx3550m -Xms3550m -Xss128k -XX:NewRatio=4 -XX:SurvivorRatio=4 -XX:MaxPermSize=16m -XX:MaxTenuringThreshold=0

      -XX:NewRatio=4:设置年轻代(包括Eden和两个Survivor区)与年老代的比值(除去持久代)。设置为4,则年轻代与年老代所占比值为1:4,年轻代占整个堆栈的1/5

      -XX:SurvivorRatio=4:设置年轻代中Eden区与Survivor区的大小比值。设置为4,则两个Survivor区与一个Eden区的比值为2:4,一个Survivor区占整个年轻代的1/6

      -XX:MaxPermSize=16m:设置持久代大小为16m。

      -XX:MaxTenuringThreshold=0:设置垃圾最大年龄。如果设置为0的话,则年轻代对象不经过Survivor区,直接进入年老代。对于年老代比较多的应用,可以提高效率。如果将此值设置为一个较大值,则年轻代对象会在Survivor区进行多次复制,这样可以增加对象再年轻代的存活时间,增加在年轻代即被回收的概论。

  2. 回收器选择

    JVM给了三种选择:串行收集器、并行收集器、并发收集器,但是串行收集器只适用于小数据量的情况,所以这里的选择主要针对并行收集器和并发收集器。默认情况下,JDK5.0以前都是使用串行收集器,如果想使用其他收集器需要在启动时加入相应参数。JDK5.0以后,JVM会根据当前系统配置进行判断。

    1. 吞吐量优先的并行收集器

      如上文所述,并行收集器主要以到达一定的吞吐量为目标,适用于科学技术和后台处理等。

    2. 响应时间优先的并发收集器

      如上文所述,并发收集器主要是保证系统的响应时间,减少垃圾收集时的停顿时间。适用于应用服务器、电信领域等。

  3. 辅助信息

    JVM提供了大量命令行参数,打印信息,供调试使用。主要有以下一些:

    • -XX:+PrintGC

      输出形式:[GC 118250K->113543K(130112K), 0.0094143 secs]

                      [Full GC 121376K->10414K(130112K), 0.0650971 secs]

    • -XX:+PrintGCDetails

      输出形式:[GC [DefNew: 8614K->781K(9088K), 0.0123035 secs] 118250K->113543K(130112K), 0.0124633 secs]

                      [GC [DefNew: 8614K->8614K(9088K), 0.0000665 secs][Tenured: 112761K->10414K(121024K), 0.0433488 secs] 121376K->10414K(130112K), 0.0436268 secs]

    • -XX:+PrintGCTimeStamps -XX:+PrintGC:PrintGCTimeStamps可与上面两个混合使用

      输出形式:11.851: [GC 98328K->93620K(130112K), 0.0082960 secs]

    • -XX:+PrintGCApplicationConcurrentTime:打印每次垃圾回收前,程序未中断的执行时间。可与上面混合使用

      输出形式:Application time: 0.5291524 seconds

    • -XX:+PrintGCApplicationStoppedTime:打印垃圾回收期间程序暂停的时间。可与上面混合使用

      输出形式:Total time for which application threads were stopped: 0.0468229 seconds

    • -XX:PrintHeapAtGC:打印GC前后的详细堆栈信息

      输出形式:

      34.702: [GC {Heap before gc invocations=7:

       def new generation   total 55296K, used 52568K [0x1ebd0000, 0x227d0000, 0x227d0000)

      eden space 49152K,  99% used [0x1ebd0000, 0x21bce430, 0x21bd0000)
      from space 6144K,  55% used [0x221d0000, 0x22527e10, 0x227d0000)
      to   space 6144K,   0% used [0x21bd0000, 0x21bd0000, 0x221d0000)
       tenured generation   total 69632K, used 2696K [0x227d0000, 0x26bd0000, 0x26bd0000)
      the space 69632K,   3% used [0x227d0000, 0x22a720f8, 0x22a72200, 0x26bd0000)
       compacting perm gen  total 8192K, used 2898K [0x26bd0000, 0x273d0000, 0x2abd0000)
        the space 8192K,  35% used [0x26bd0000, 0x26ea4ba8, 0x26ea4c00, 0x273d0000)
        ro space 8192K,  66% used [0x2abd0000, 0x2b12bcc0, 0x2b12be00, 0x2b3d0000)
       rw space 12288K,  46% used [0x2b3d0000, 0x2b972060, 0x2b972200, 0x2bfd0000)
      34.735: [DefNew: 52568K->3433K(55296K), 0.0072126 secs] 55264K->6615K(124928K)Heap after gc invocations=8:
       def new generation   total 55296K, used 3433K [0x1ebd0000, 0x227d0000, 0x227d0000)
      eden space 49152K,   0% used [0x1ebd0000, 0x1ebd0000, 0x21bd0000)
      from space 6144K,  55% used [0x21bd0000, 0x21f2a5e8, 0x221d0000)
       to   space 6144K,   0% used [0x221d0000, 0x221d0000, 0x227d0000)
      tenured generation   total 69632K, used 3182K [0x227d0000, 0x26bd0000, 0x26bd0000)
      the space 69632K,   4% used [0x227d0000, 0x22aeb958, 0x22aeba00, 0x26bd0000)
      compacting perm gen  total 8192K, used 2898K [0x26bd0000, 0x273d0000, 0x2abd0000)
         the space 8192K,  35% used [0x26bd0000, 0x26ea4ba8, 0x26ea4c00, 0x273d0000)
       ro space 8192K,  66% used [0x2abd0000, 0x2b12bcc0, 0x2b12be00, 0x2b3d0000)
        rw space 12288K,  46% used [0x2b3d0000, 0x2b972060, 0x2b972200, 0x2bfd0000)}
      , 0.0757599 secs]

    • -Xloggc:filename:与上面几个配合使用,把相关日志信息记录到文件以便分析。

  4. 常见配置汇总

    1. 堆设置

    2. 收集器设置

    3. 垃圾回收统计信息

    4. 并行收集器设置

    5. 并发收集器设置

    • -XX:+CMSIncrementalMode:设置为增量模式。适用于单CPU情况。

    • -XX:ParallelGCThreads=n:设置并发收集器年轻代收集方式为并行收集时,使用的CPU数。并行收集线程数。

    • -XX:ParallelGCThreads=n:设置并行收集器收集时使用的CPU数。并行收集线程数。

    • -XX:MaxGCPauseMillis=n:设置并行收集最大暂停时间

    • -XX:GCTimeRatio=n:设置垃圾回收时间占程序运行时间的百分比。公式为1/(1+n)

    • -XX:+PrintGC

    • -XX:+PrintGCDetails

    • -XX:+PrintGCTimeStamps

    • -Xloggc:filename

    • -XX:+UseSerialGC:设置串行收集器

    • -XX:+UseParallelGC:设置并行收集器

    • -XX:+UseParalledlOldGC:设置并行年老代收集器

    • -XX:+UseConcMarkSweepGC:设置并发收集器

    • -Xms:初始堆大小

    • -Xmx:最大堆大小

    • -XX:NewSize=n:设置年轻代大小

    • -XX:NewRatio=n:设置年轻代和年老代的比值。如:为3,表示年轻代与年老代比值为1:3,年轻代占整个年轻代年老代和的1/4

    • -XX:SurvivorRatio=n:年轻代中Eden区与两个Survivor区的比值。注意Survivor区有两个。如:3,表示Eden:Survivor=3:2,一个Survivor区占整个年轻代的1/5

    • -XX:MaxPermSize=n:设置持久代大小

    • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:ParallelGCThreads=20 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC

      -XX:+UseConcMarkSweepGC:设置年老代为并发收集。测试中配置这个以后,-XX:NewRatio=4的配置失效了,原因不明。所以,此时年轻代大小最好用-Xmn设置。

      -XX:+UseParNewGC:设置年轻代为并行收集。可与CMS收集同时使用。JDK5.0以上,JVM会根据系统配置自行设置,所以无需再设置此值。

    • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:+UseConcMarkSweepGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection

      -XX:CMSFullGCsBeforeCompaction:由于并发收集器不对内存空间进行压缩、整理,所以运行一段时间以后会产生“碎片”,使得运行效率降低。此值设置运行多少次GC以后对内存空间进行压缩、整理。

      -XX:+UseCMSCompactAtFullCollection:打开对年老代的压缩。可能会影响性能,但是可以消除碎片

    • java -Xmx3800m -Xms3800m -Xmn2g -Xss128k -XX:+UseParallelGC -XX:ParallelGCThreads=20

      -XX:+UseParallelGC:选择垃圾收集器为并行收集器。此配置仅对年轻代有效。即上述配置下,年轻代使用并发收集,而年老代仍旧使用串行收集。

      -XX:ParallelGCThreads=20:配置并行收集器的线程数,即:同时多少个线程一起进行垃圾回收。此值最好配置与处理器数目相等。

    • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:+UseParallelGC -XX:ParallelGCThreads=20 -XX:+UseParallelOldGC

      -XX:+UseParallelOldGC:配置年老代垃圾收集方式为并行收集。JDK6.0支持对年老代并行收集。

    • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:+UseParallelGC  -XX:MaxGCPauseMillis=100

      -XX:MaxGCPauseMillis=100:设置每次年轻代垃圾回收的最长时间,如果无法满足此时间,JVM会自动调整年轻代大小,以满足此值。

    • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:+UseParallelGC  -XX:MaxGCPauseMillis=100 -XX:+UseAdaptiveSizePolicy

      -XX:+UseAdaptiveSizePolicy:设置此选项后,并行收集器会自动选择年轻代区大小和相应的Survivor区比例,以达到目标系统规定的最低相应时间或者收集频率等,此值建议使用并行收集器时,一直打开。

 调优总结

  1. 年轻代大小选择

    • 响应时间优先的应用:尽可能设大,直到接近系统的最低响应时间限制(根据实际情况选择)。在此种情况下,年轻代收集发生的频率也是最小的。同时,减少到达年老代的对象。

    • 吞吐量优先的应用:尽可能的设置大,可能到达Gbit的程度。因为对响应时间没有要求,垃圾收集可以并行进行,一般适合8CPU以上的应用。

  2. 年老代大小选择

    • 响应时间优先的应用:年老代使用并发收集器,所以其大小需要小心设置,一般要考虑并发会话率和会话持续时间等一些参数。如果堆设置小了,可以会造成内存碎片、高回收频率以及应用暂停而使用传统的标记清除方式;如果堆大了,则需要较长的收集时间。最优化的方案,一般需要参考以下数据获得:减少年轻代和年老代花费的时间,一般会提高应用的效率

    • 吞吐量优先的应用:一般吞吐量优先的应用都有一个很大的年轻代和一个较小的年老代。原因是,这样可以尽可能回收掉大部分短期对象,减少中期的对象,而年老代尽存放长期存活对象。

  3. 较小堆引起的碎片问题

    因为年老代的并发收集器使用标记、清除算法,所以不会对堆进行压缩。当收集器回 收时,他会把相邻的空间进行合并,这样可以分配给较大的对象。但是,当堆空间较小时,运行一段时间以后,就会出现“碎片”,如果并发收集器找不到足够的空 间,那么并发收集器将会停止,然后使用传统的标记、清除方式进行回收。如果出现“碎片”,可能需要进行如下配置:

    • -XX:+UseCMSCompactAtFullCollection:使用并发收集器时,开启对年老代的压缩。

    • -XX:CMSFullGCsBeforeCompaction=0:上面配置开启的情况下,这里设置多少次Full GC后,对年老代进行压缩

    • 并发垃圾收集信息

    • 持久代并发收集次数

    • 传统GC信息

    • 花在年轻代和年老代回收上的时间比例

9.常用docker命令

 

springboot2.4推迟全新docker构建工具:

Jib-maven-plugin是google 的java镜像工具(支持maven和Gradle),无需Dockerfile,只要整合到原有的spring-boot-maven-plugin中,配置对应目标仓库和主机信息即可完成镜像构建。

新命令:mvn springboot:build-image

构建docker镜像:

使用maven构建docker镜像:


10.常见的应用发布策略:

蓝绿发布(热部署)

在发布的过程中用户无感知服务的重启,通常情况下是通过新旧版本并存的方式实现,也就是说在发布的流程中,新的版本和旧的版本是相互热备的,通过切换路由权重的方式(非0即100)实现不同的应用的上线或者下线。
     
金丝雀发布
通过在线上运行的服务中,新加入少量的新版本的服务,然后从这少量的新版本中快速获得反馈,根据反馈决定最后的交付形态

灰度发布
灰度发布是通过切换线上并存版本之间的路由权重,逐步从一个版本切换为另一个版本的过程。虽然有很多人包括专业大牛认为灰度发布与金丝雀发布是等同的,但是在具体的操作和目的上面个还是有些许差别的。金丝雀发布更倾向于获取快速的反馈,而灰度发布更倾向于从一个版本到另一个版本平稳的切换。



AB测试
AB测试和灰度发布非常像,但是从发布的目的上,可以简单的区分灰度发布与AB测试,AB测试侧重的是从A版本或者B版本之间的差异,并根据这个结果进行决策。最终选择一个版本进行部署。因此和灰度发布相比,AB测试更倾向于去决策,和金丝雀发布相比,AB测试在权重和流量的切换上更灵活

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值