CentOS 5.2安装nagios笔记

 

 
nagios,难过死,难走死。反正不管咋叫,就是个难!自从上星期开始,折腾nagios快两个礼拜了,就想实现短信告警。东找找西找找,发现天下文章一大抄,一个人写的东西被N多人转来转去,甚至有的人还不知羞耻地把别人的东西弄成自己的原创了。唉,世风日下人心不古啊。而且多数的说明都很笼统,一边找,一边自己琢磨。整个过程中,前面2/3的时间最难熬,有无数次撞墙的冲动......后面1/3基本开窍了,终于差不多了。贴一把,给自己点鼓励。
主要参考资料:http://nagios-cn.sourceforge.net/nagios-cn/
软件如下:
CentOS 5.2,安装时怕又出现这依赖那依赖的,把develop tools选上,省事,硬盘也有地方。
nagios-3.0.3
nagios-plugin-1.4.13
gnokii,一个gnokii-0.6.28cvs,另一个0.6.12,分别测试的。
CentOS自带的httpd-2.2,看网上好多介绍都是用源码装httpd,我嫌麻烦。
gd-devel,如果需要nagios绘制图表,这个东西就得有。
一.建组建帐号
  1. groupadd nagcmd
  2. useradd apache
  3. useradd nagios
  4. usermod -G nagcmd nagios
  5. usermod -G nagcmd apache
复制代码
二.编译nagios-3.0.3
  1. ./configure --with-command-group=nagcmd
  2. make all
  3. make install
  4. make install-init
  5. make install-commandmode
  6. make install-config
复制代码
三.配置WEB接口
  1. make install-web
  2. htpasswd -c /usr/local/nagios/etc/htpasswd.users nagiosadmin ;创建一个登录WEB的帐号
复制代码
四.装nagios-plugin-1.4.13
  1. ./configure --with-nagios-user=nagios --with-nagios-group=nagios
  2. make
  3. make install
复制代码
五.将nagios加入服务并启动,同时启动apache
  1. chkconfig --add nagios
  2. chkconfig nagios on
复制代码
验证nagios的安装
  1. /usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfg
复制代码
如果出现下面的提示就OK了
  1. ......
  2. Total Warnings: 0
  3. Total Errors:   0
  4. Things look okay - No serious problems were detected during the pre-flight check
  5. [root@host nagios]#
复制代码
启动nagios和apache服务
  1. service nagios start
  2. service httpd start
复制代码
六.禁用selinux
我登录WEB页面好几次都无法通过验证,仔细看了一下说明发现是selinux的问题。
  1. #setenforce 0
复制代码
这么改完不需要重启系统就可生效,Getenforce可看到permissive。但一重启就又得来一次,我的CentOs上也没别的,直接disable吧
  1. [root@host nagios]# more /etc/selinux/config
  2. # This file controls the state of SELinux on the system.
  3. # SELINUX= can take one of these three values:
  4. #       enforcing - SELinux security policy is enforced.
  5. #       permissive - SELinux prints warnings instead of enforcing.
  6. #       disabled - SELinux is fully disabled.
  7. SELINUX=disabled
复制代码
现在可以用http://IP/nagios来登录了,用户名nagiosadmin。不过这时什么设备、服务都没监控,就是个花架子。
    我第一次安装成功时直接用http://ip登录的,之后再装,每次打开都是apache的默认页面,后来在论坛里“不是神不会猜的”jerrywjl指导了一下,才登录成功。不过百思不得其解,第一次装的时候就老老实实地把步骤记下来了,以后都是把命令copy到屏幕上装的,为啥就不一样了?还是 jerrywjl说了,肯定有不一样的地方,机器不会骗我们。不管如何,能用就行。

七.定义联系人和联系人组。我定义了三个人,两个组。前两个人在第一组里,第三个人在第二组里。
  1. #### 定义第一个联系人
  2. define contact{            ;        
  3.         contact_name      user1
  4.         use               generic-contact
  5.         alias              Nagios Admin
  6.         service_notification_commands   service-by-sms,notify-service-by-email  ;短信和邮件告警。
  7. ##service-by-sms是我用来发短信的命令,默认情况下,这个命令是commands.cfg里没有的。
  8. ##所以加完这个配置后,在commands.cfg定义这个命令之前,nagios是无法正常restart的。
  9. ## 当然如果没有service-by-sms和host-by-sms,nagios还是随便restart的。废话真多。^_^
  10.         host_notification_commands      host-by-sms,notify-host-by-email     
  11.         email           [email]user1@domain.com[/email]
  12.         pager             133    ;手机号码
  13.         }
  14. ### 定义第二个联系人
  15. define contact{            ;        
  16.         contact_name       user2
  17.         use               generic-contact
  18.         alias              Nagios Admin      
  19.         service_notification_commands   service-by-sms,notify-service-by-email  
  20.         host_notification_commands      host-by-sms,notify-host-by-email         
  21.         email            [email]user2@domain.com[/email]
  22.         pager             137xxxxxxxx
  23.         }
  24. #### 定义第三个联系人
  25. define contact{            ;        
  26.         contact_name      user3
  27.         use               generic-contact
  28.         alias              Nagios Admin      
  29.         service_notification_commands   service-by-sms,notify-service-by-email  
  30.         host_notification_commands      host-by-sms,notify-host-by-email         
  31.         email            [email]test@sina.com[/email]
  32.         pager             139
  33.         }
  34. #### 定义联系人组
  35. define contactgroup{
  36.         contactgroup_name       admins   
  37.         alias                   Nagios Administrators
  38.         members                 user1,user2   
  39.         }
  40. define contactgroup{
  41.         contactgroup_name       test_group
  42.         alias                   Test
  43.         members                 user3
  44.         }
复制代码
八.设置被监控的windows服务器。
      找了个NSClient++-Win32-0.3.5.msi的安装包,直接装上,服务里就带了NSC++的服务,登录方式允许与桌面交互。
     又照着网上的把文件注释都去掉。只有CheckWMI.dll和RemoteConfiguration.dll前面的注释保留。
     网上N多资料都写着建议加password,可是加完了怎么用一直没人说,每个文章连标点符号都一样,shit!!!天下文章一大抄害死人啊!
  1. [Settings]
  2. password=123456 ;这个密码在nagios的主机配置文件中这么用,check_command xxxxxx  -s 123456
  3. allowed_hosts=192.168.0.0/16 ;允许nagios服务器访问,也可以定义主机,比如:allow_hosts=192.168.1.250/32
  4. port=12489
复制代码
启动服务。windows服务器图标右下角出现有两个重叠的加号,当然有的服务器没出来,不知道为啥,反正12489端口通了,能用就行!

九.修改nagios参数,注释本机配置文件,取消注释 windows.cfg。要是有多个主机配置文件就继续在nagios里加,主机配置文件的格式跟windows.cfg一样就行了。
  1. vi /usr/local/nagios/etc/nagios.cfg
  2. #cfg_file=/usr/local/nagios/etc/objects/localhost.cfg
  3. cfg_file=/usr/local/nagios/etc/objects/windows.cfg
  4. cfg_file=/usr/local/nagios/etc/objects/test/winhosts.cfg ;配置文件路径自定义,随便!
复制代码
nagios.cfg 里有一行配置command_check_interval=-1,据说这个值是nagios根据自身情况自定义检查时间,尽可能快地检查。但我没发现,我把它改成10s,20s都没用,我最后只好在windows.cfg和其他hosts.cfg里自己加了。看看哪位有空帮忙解答一下。
修改/user/local/nagios/etc/objects/windows.cfg。监控CPU、监控内存,监控进程。看了网上N多2.9的资料,发现3.0.3省了很多东西,真庆幸。里面有很多参数都省略了,但是想用到怎么办,也是自己加了。我在测试时就加了normal_check_interval、max_check_attempts和congtact_groups这三个
  1. define host{
  2.         use             windows-server  ; Inherit default values from a template
  3.         host_name       192.168.0.1   ; 因为我们平时工作交流时描述主机都用IP地址描述,这里就懒得改了,一招烩了吧!
  4.         alias           sunfeng's laptop        ; A longer name associated with the host
  5.         address         192.168.0.1   ; IP address of the host
  6.         }
  7. define service{
  8.         use                     generic-service
  9.         host_name               192.168.0.1
  10.         max_check_attempts      5         ;检查多少次,依然有问题时告警。nagios3.0.3配置里是没有这行的,默认就是3。好像2.x版本的有,不过我没用过2.x。
  11.         normal_check_interval   15        ;监控周期。有的文档里描述这行的单位是秒,但我试出来的是分钟。这行默认配置里也没有,默认好像是10分钟。
  12.         service_description     Uptime
  13.         check_command           check_nt!UPTIME   -s 123456 ;嘿嘿,windows的NSC++密码用上了!
  14.         }
  15. define service{
  16.         use                     generic-service
  17.         host_name               192.168.0.1
  18.         max_check_attempts      3
  19.         normal_check_interval   15
  20.         service_description     CPU Load
  21.         check_command           check_nt!CPULOAD!-l 5,80,90 -s 123456
  22.         }
  23. define service{
  24.         use                     generic-service
  25.         host_name               192.168.0.1
  26.         service_description     CMD   
  27.         normal_check_interval   1    ; ;每分钟检查一次进程。我就是为了试验,一般时候用不着这么短的间隔
  28.         max_check_attempts     1   ;我觉得进程这个东西要是没了,马上就出事了,所以宁可误报也不能让它自己慢悠悠地查3次再告警。但有资料说不建议这么做,我忘了具体原因了。
  29.         contact_groups            admins    ;这行也是默认情况下没有的。可填可不填,我只是为了区分下面那个组。;出错就给test_group组里的user3发短信发邮件。
  30.         check_command           check_nt!PROCSTATE!-d SHOWALL -l CMD.EXE -s 123456  ;监控cmd.exe我照着网上的文档试着监控explorer.exe,全小写,或者写成Explorer.exe都能监控到,但是 CMD或者firefox等用户进程,不管资源管理器里显示的大小写如何,这里必须写成大写,否则就检测失败。
  31.         }
  32. define service{
  33.         use                     generic-service
  34.         host_name               192.168.0.1
  35.         service_description     firefox   
  36.         normal_check_interval    1   
  37.         max_check_attempts      1   
  38.         contact_groups            test_group    ;出错就给test_group组里的user3发短信发邮件。
  39.         check_command           check_nt!PROCSTATE!-d SHOWALL -l FIREFOX.EXE -s 123456
  40.         }
复制代码
十.配置sendmail,这部分除了邮箱地址,我基本是完全copy的,就是CU里一个兄弟贴的,管用。编辑/etc/sendmail/access。
  1. # by default we allow relaying from localhost...
  2. Connect:localhost.localdomain           RELAY
  3. Connect:localhost                       RELAY
  4. Connect:127.0.0.1                       RELAY
  5. ### add by me
  6. connect:[url]http://mail.xxxx.cn[/url]                RELAY
  7. connect:nagios@localhost                RELAY
  8. connect:192.168.0                     RELAY
  9. connect:user1@localhost               RELAY
  10. connect:user2@localhost               RELAY
  11. connect:user3@localhost               RELAY
  12. connect:user1@xxxx.cn                 RELAY
  13. connect:user2@xxxx.cn                 RELAY
  14. connect:user3@xxxx.cn                 RELAY
复制代码
我后来发现个问题,范例都是Connect,而我抄的时候都写成connect了,照样能用。我不熟悉sendmail,不知道啥原因,本来打算测试一下,没倒出空来。
     不好意思,没写完就误点发帖了,继续编辑中......
  1. makemap hash access < access
  2. chmod 777 /var/spool/mqueue
复制代码
测试sendmail
  1. [root@host nagios]# /usr/lib/sendmail -bp
  2. /var/spool/mqueue is empty
  3.                 Total requests: 0
  4. [root@host nagios]#
复制代码
OK!
  1. # echo testing | /usr/sbin/sendmail -v [email]user1@xxxx.cn[/email]
复制代码
收到邮件,又成功!

十一.短信猫安装。接短信猫到串口,我接的串口2。
先安装光盘里的minicom的rpm包。
运行minicom -s,弹出个图形界面。图形界面截图放这里没法排序,文字不好描述,网上文章一大堆,都管用,抄吧。^_^
选择: Serial port setup 后出现下级界面。按A,修改端口为ttyS1,按E,修改端口速率9600。选择exit,初始化短信猫,进入at指令界面。
输入at,弹出OK,表示短信猫工作正常。
at+cmgs=13912345678    (输入后命令行多出“>”前缀)
>Test by user1……
输入完后按ctrl+z 退出, 界面显示OK,手机上应该能收到短信。

十二  gnokii工具,发短信用的。我从http://www.gnokii.org下载的rpm包,这个网站没有源码包,不知道为啥。直接rpm -ivh gnokii-0.6.28cvs-20081209.i386.rpm就安装完了。
vi /etc/gnokiirc
  1. [global]
  2. port = /dev/ttyS1
  3. model = AT
  4. ##同时需要注释掉mode = 6510
  5. serial_baudrate = 9600
  6. use_locking = no   ;据说这个为yes时无法同时给多人发送短信,没试过。
  7. #### use_locking
复制代码
执行
  1. gnokii --identify
复制代码
有些网站不知道从哪抄来的,中间都是一个“-”,看了帮助才知道又被误导了。唉,懒点都不行。附个图吧,估计都贴在后面了。

第一遍装忘了注释mode=6510,结果没成功,以为RPM包有问题,卸载!从别的网站弄了个源码,gnokii-0.6.12。好多网站又是make、make install,好在我这次先看文档了,没被误导。是gmake&gmake install。
  1. tar xvf gnokii-0.6.12.tar.bz2
  2. cd gnokii-0.6.12
  3. ./configure --prefix=/usr/local/gnokii/ --without-x --disable-xdebug ;我没有x,跟x有关的都不要!
  4. gmake
  5. gmake install
复制代码
把源码包下的gonkiirc复制到/etc目录下,修改内容跟RPM包的一样。
注意:rpm包安装后gnokii的可执行文件在/usr/bin目录下,可以在任何路径下执行gnokii。而源码安装后的可执行文件在/usr/local/gnokii/目录下,用时必须指定绝对路径。
  1. echo -n "test by user 16:10" |/usr/local/gnokii/bin/gnokii --sendsms 133xxxxxx
复制代码
注意修改gnokii的路径,别copy。
我用源码包和rpm包分别安装后,都成功收到短信。我自己的观察,rpm包的版本高,执行速度看起来好像也快一点。

十三.把gnokii功能绑定到nagios
vi /usr/local/nagios/etc/objects/commands.cfg,添加如下代码
  1. define command{
  2.         command_name host-by-sms ; ;这就是用到前面编辑congtacts.cfg里的那个短信告警名
  3.         command_line /bin/echo -n "$NOTIFICATIONTYPE$ $HOSTNAME$/$HOSTADDRESS$ : host is $HOSTSTATE$ $SHORTDATETIME[        DISCUZ_CODE_22        ]quot; | /usr/bin/gnokii –sendsms  $CONTACTPAGER$ 2>&1 > /dev/null
  4.         }
  5. define command{
  6.         command_name service-by-sms   ;这个也是
  7.         command_line /bin/echo -n "$NOTIFICATIONTYPE$ $HOSTNAME$/$HOSTADDRESS$ : Service is $SERVICEDESC$ $SERVICESTATE$ $SHORTDATETIME[        DISCUZ_CODE_22        ]quot; | /usr/bin/gnokii –sendsms $CONTACTPAGER$ 2>&1 > /dev/null
  8.         }
复制代码
这个最初是从一个不知道从哪翻出来的网站copy过来的,结果那位大哥最后一行少了个“}”,害得我找了20分钟。而且里面的gnokii的路径不对,带的参数也不对......我又琢磨了半小时,最后从../nagios/etc/var/nagios.log里看出来的。copy害死人啊,不过不 copy我就撞墙了,不管怎么说还是得感谢人家。因为我最后还是用rpm包装的gnokii,所以懒一把,配置文件里没指定绝对路径。
折腾完这一小时,发现还是无法下发短信,后来还是在../nagios.log里看到是权限的问题。用ll命令看一下,都是root有权限
  1. /dev/ttyS1 root uucp
  2. /usr/bin/gnokii root root
复制代码
nagios服务和依赖的工具都以nagios帐户权限执行,必须对串口可读写,必须可执行gnokii。据说有人装完这些权限就正常,可我的不正常,不知道咋据说的,改。
  1. chown –R nagios:nagios /usr/bin/gnokii
  2. chown –R nagios:nagios /dev/ttyS1
复制代码
切换到nagios帐户下执行
  1. echo -n "test by user 16:10" |/usr/local/gnokii/bin/gnokii --sendsms 133xxxxxx
复制代码
收到短信,成功!

    service nagios restart

登录后关闭CMD.EXE,给user1和user2发邮件+短信,关掉firefox给user3发邮件+短信。Congratulation!!!

邮件内容如下:
  1. ***** Nagios *****
  2. Notification Type: PROBLEM
  3. Service: C:/ Drive Space
  4. Host: user's notebook
  5. Address: 192.168.0.11
  6. State: WARNING
  7. Date/Time: Thu Dec 11 18:15:21 CST 2008
  8. Additional Info:
  9. c:/ - total: 7.81 Gb - used: 6.66 Gb (85%) - free 1.15 Gb (15%)
复制代码
短信的内容也差不多。nagios3.0.3默认情况下,在unknow、critical、warning、recovery都会发短信和邮件。

再贴张图。中间那个橙色的unkonwn状态的目标是因为我监控的一个进程名中间有空格!!!谁知道怎么写?帮忙解答一下。
  1. check_command           check_nt!PROCSTATE!-d SHOWALL -l ABCD  PQRS.EXE -s 123456
复制代码
还有个问题,nagios的页面多久自动刷新一次?是有状态更新后再刷么?

此外,我点左面的那个3-D Status Map时老提示我下载statuswrl.cgi,不知道是不是因为apache不是用源码包装的原因。

还剩两项工作:
网上还有用飞信的说明,结果我注册了一下午飞信愣是没注册上,老是系统繁忙.....明天看看情况,争取把飞信搞定,省点短信费吧!
第二个是监控Linux服务器,我还没腾出空来去看,继续努力!!!

再废话一句:../nagios/bin/nagios -v ../nagios/etc/nagios.cfg这个命令真管用,出错看得最明白的一个了!!好使。

写完了想起来,我要是都弄好了,今年过年要是再出现2001年时短信拥塞,我的nagios+短信猫不就成了孬狗+死猫了么?继续祈祷吧.......


------------------------------------------------

还有个关于htpasswd命令的用法,还是照抄惹的祸,据说用htpasswd -c htpasswd.users可以增加数个帐号,结果我添一个就把前面填过的给清掉了,添来添去只有一个帐号。后来看了一下帮助,用参数n、m、d、p都可以增加。增加完以后,在../nagios/etc/cgi配置文件中,在nagiosadmin后面填上新的帐号,restart nagios服务就O了。

2008-12-12,搞定飞信!


今天把飞信告警给搞定了!又小有成果。
下载飞信客户端,最新版的飞信客户端让我装了40多个依赖库文件,折腾一上午,最后还是没搞定。继续找其他版本,皇天不负苦心人啊,我终于找到了一个旧版本,很轻松的就搞定了

解压文件,只有一个可执行文件,sms,将其移动到/usr/bin目录下,并允许其他用户(主要是nagios)可执行。
  1.         
  2.         tar zxvf fetion_linux_20080402.tar.gz
  3.         mv ./sms /usr/bin
  4.         chmod 755 /usr/bin/sms
复制代码

下载sms依赖的库文件,并解压。解压完毕后将这些文件复制到/usr/lib目录下
  1.         tar zxvf lib_lin_32.tar.gz
  2.         cp ./lib_lin_32/* /usr/lib
复制代码

测试发送短信。
  1. sms –f 139xxxx –p abc123 –t 138xxxxx –m “test by user1” –a test –d
复制代码

OK,搞定!!
sms的帮助文件直接敲sms命令就出来了,很简单就不贴了。
在commands.cfg
添加飞信的命令。因为我还用短信猫给非移动的手机发短信,所以host-notify-by-sms用于短信猫了,飞信就用host-notify-by-fei了。
  1. define command {
  2.        command_name      host-notify-by-fei ;如果有短信猫的话,注意命名要有区别
  3.        command_line      /usr/bin/sms -f 13412345678 -p abc123 -t $CONTACTPAGER$ -m "Host $HOSTSTATE$ alert for $HOSTNAME$! on '$LONGDATETIME$' " $CONTACTPAGER$
  4.        }
  5. #service notify by sms
  6. define command {
  7.        command_name     service-notify-by-fei
  8.        command_line     /usr/bin/sms -f 13412345678 -p abc123 -t $CONTACTPAGER$ -m "'$HOSTADDRESS$' $HOSTALIAS$/$SERVICEDESC$ is $SERVICESTATE$ on '$LONGDATETIME$' " $CONTACTPAGER$
  9.        }
复制代码


修改联系人,把原来那些用短信猫发送的移动手机联系人的命令都改成notify-host-by-fei了,弄一个不存在的服务去监控,让我周围同事的移动手机叮叮当当的响了一下午,最后有人都无法忍受了。我的不是移动手机,占便宜了...... 后来想想,还是小心为妙,万一叫多了狼来了,狼真来了人家不信了。

2008-12-16,搞定statusmap.cgi,郁闷!

nagios页面左面有两个status map和3D status map,老是显示不出来。
status map这个东西,网上有人这么说的:


QUOTE:
Cortona (Parallel Graphics)
Cosmo Player (Computer Associates and NIST)
FreeWRL和OpenVRML
好像最后两个没有windows版本,所以如果是用windows机器看的话,需要装前两个软件之一.


我的客户端是windows的装了第一个,cortona。安装选项有directx和opengl,我都试了一遍。装完的效果附图,真烂!除了图标啥也看不清,基本没多大用途
剩下那个客户端软件Cosmo我也试了一下,更烂,具体效果忘了。
还有个3D status map,这个试试,找了一顿发现需要gd-devel,虚拟机上rpm一把,发现10多个依赖包,翻来覆去地rpm,装不上。干脆上服务器上yum一把得了,小心翼翼地把所有的配置文件备份了一遍,重新用源码编译了一边nagios,这回装上了。要是原来的配置文件没保存,名称都变成原来的文件名加个“~”,不会丢,只是改起来麻烦。
装完了看到../nagios/sbin目录下出来了个statusmap.cgi,大喜,打开一看想哭。附图。失败的一天
有没有人有好的解决办法帮忙解答一下。

2008-12-18  WEB帐号授权问题

系统中有N多设备,不同的设备指定到不同的联系人,现在想给这些联系人分配WEB帐号,并只允许浏览自己负责的设备。
百思不得其解,用htpasswd添加帐号,并在cgi.cfg中添加新增帐号,但每次这个新增帐号的权限都是管理员权限。
后来终于想起来,那么多联系人,但我每次添加的帐号都是一个不在contacts.cfg里的帐号。这回添加一个contacts.cfg里已经存在的帐号试试
添加完毕后,test一把,OK!!成功!
这么简单的问题困扰我数天。鄙视自己一把。
MRTG绘制历史数据
      这个是我无意中做完的。我开始没想怎么用mrtg绘制图表,只是想需要装个mrtg看网卡流量,RPM完了没配置呢,有事就忘了。结果过了两天无意中发现历史数据图怎么出来了,我的MRTG没工作呢。
      虚拟机下试了几次,要用MRTG绘制图表,必须有statusmap.cgi,也就是安装nagios之前必须有gd-devel。看来这个默认的statusmap看起来丑点,倒也不是一点用没有。
      当有statusmap.cgi后,安装光盘上的mrtg*.rpm后,就可以绘制nagios的历史数据了,至于MRTG是否工作正常无关紧要。源码MRTG装完啥样我倒不清楚,没来得及试。
   2009-7-16  用PNP绘制历史数据的曲线图。
    N半年没去琢磨nagios的绘图功能,虽然我早就知道我的MRTG只能画方块而不能画曲线。这几天终于搞定了,不过由于文字超标了,不能写在这里了,只好写回复里去了。

   前几天翻nagios 的资料时,发现我的这篇笔记被好几个地方给转贴了,有厚颜无耻的干脆就给弄成自己的原创了。不过我的也不是原创,只是个笔记而已。天下文章一大抄,抄吧。^_^

[ 本帖最后由 dbsrv 于 2009-7-17 12:25 编辑 ]

gnokii --identify正常结果.JPG (16.39 KB)

 

gnokii --identify正常结果.JPG

nagios.JPG (187.91 KB)

 

nagios.JPG

他da-ye的3D status map.JPG (32.44 KB)

 

他da-ye的3D status map.JPG

他da-ye的statusmap.cgi.JPG (38.73 KB)

 

他da-ye的statusmap.cgi.JPG

CPU历史图表.JPG (37.71 KB)

 

CPU历史图表.JPG

 

 
_____________________________

 

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值