常见日志、抓包和系统监控分析软件

有的朋友会问，好好的Windows日志为什么要把它转成Syslog呢？呵呵，当Windows服务器比较少的时候，我们是不需要这样做的。但试想如果你管理着成千上百台的Windows机器，你会一台一台的登录上去用Event Viewer查看吗？为什么不建立一台中心Syslog服务器来接受所有的Windows，Linux，网络设备等等发送来的日志呢？这样你可以轻松地在一台日志服务器上管理所有的日志。比如Splunk就是一个很好的免费日志服务器，它不仅可以接受多种方式发送来的日志(包括syslog)，而且还提供功能很强大的搜索（被称为Google for IT），图形化等功能。

本文针对当前运维市场开源系统的，大致如下：
Facebook 日志系统 Scribe、Apache 日志系统 Chukwa
Linkedin 日志系统 Kafka、Cloudera 日志系统 Flume
概述
许多软件平台每天都会产生大量的日志（一般为流数据，如搜索引擎 page view，淘宝等），处理这些日志需要特定的日志系统，一般地，这些日志系统需要具有如下特征：

构建应用系统和分析系统的桥梁，并将它们之间的关系解耦。
支持接近实时在线分析系统，以及类似 Hadoop 之类的离线分析系统。
具有高可扩展性，即当数据量增加时，可以通过增加节点进行横向扩展。
本文从设计架构、负载均衡、可扩展性和容错性等方面对比目前开源的日志系统，包括 Facebook 日志系统 Scribe ，Apache 日志系统 Chukwa，Linkedin 日志系统 Kafka 和 Cloudera 日志系统 Flume 等。

日志管理服务分类：

1.rsyslogd 普通日志管理服务

采集各种服务产生的信息根据日志服务配置文件内容将信息进行分类保存。

2.klogd 内核信息日志文件服务

专门记录内核信息

3.logrotate 日志文件轮替服务

解决日志文件内容过多消耗内存的日志文件替换服务

Log Parser 微软强大的日志分析工具

Log Parser（微软网站下载）是微软公司出品的日志分析工具，它功能强大，使用简单，可以分析基于文本的日志文件、XML 文件、CSV（逗号分隔符）文件，以及操作系统的事件日志、注册表、文件系统、Active Directory。它可以像使用 SQL 语句一样查询分析这些数据，甚至可以把分析结果以各种图表的形式展现出来。

详细教程：windows安全日志分析工具logparser用法详解 http://www.jb51.net/hack/384430.html

    Log Parser 微软强大的日志分析工具 http://www.cnblogs.com/haoliansheng/p/4040208.html

微软还有一款强大的网络抓包工具 Microsoft Network Monitor 是类似 WireShark 的网路封包监看软体, 关键是微软的免费工具.

Event Viewer（事件查看器）

Windows Event Viewer 记录了应用程序、安全性和系统事件的所有信息。这是已发生的（或继续发生的）事件的巨大信息来源，它应该是用于诊断和监控系统的主要工具之一。

MSSQL_logview

是一款对SQL Server日志分析工具，它可以浏览日志查看有关数据库的操作日志。此外，MSSQL_logview还是一个数据库恢复工具，如果您由于误操删除、误插入、误更新导致数据库数据丢失或更改，MSSQL_logview可以帮你找回您所需要的数据。
 
MSSQL_logview可恢复的操作：
 删除（delete），插入（insert），更新（Updata）
 
MSSQL_logview支持的版本：SQL Server 2000,SQL Server 2005,SQL Server 2008,SQL Server 2008R2

MSSQL_logview使用方法：
 1.先把SQL服务停掉，把数据库MDF和日志文件LDF文件复制一份，做备份
 2.开启SQL服务，打开软件，连接服务器，并选择好数据库，日志文件选择备份后的LDF
 3.选择要恢复的表及操作

Splunk 

是一个可运行于各种平台的 IT 数据分析、日志分析、业务数据分析软件，支持的作业平台包含Windows, Linux, Solaris, FreeBSD, AIX, MacOS, HP-UX。与 Google Analytics 这一类的 Web 日志分析软件的不同之处在于，Splunk 可以支持任何 IT 设备(服务器、网络设备、应用程序、数据库等)所产生的日志，其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索，并且通过非常好的图形化的方式展现出来。 
　　每天由各种服务器所产生的日志的数量是非常惊人的，而遇到突发情况时，却往往能够从这些海量日志中找到最多的有用消息。通常在 Unix 下对日志进行查找使用的是 grep 之类的低效率的方式，而 Splunk 使用了现代搜索引擎技术对日志进行搜索，同时提供了一个非常强大的 AJAX 式的界面展现日志。 
　　Splunk 是一款对 IT 管理员非常有用、非常专业的工具。也正因为如此，与其他 Linux 下的其他日志分析软件不同，Splunk 是一个商业软件，支持海量信息搜索及更多的功能，比如分散式搜寻(Distributed Search)、计划告警(Schedule Alert)、权限控制(Access Control)等。 
　　Splunk的四大应用：运维IT数据整合、IT安全信息及数据的整合、应用程序IT数据整合、IT数据的法规遵从。
　　Splunk的六大功能：Index(索引) 、Search(搜索)、Alert(警报通知)、Report(报告)、Share(资源共享)、Secure(安全功能)。
主要功能：
• 日志分析
• 业务数据分析
• 运维保障
主要特点：
• 快速查找日志信息
• 数据关联分析
• 支持各种平台和系统
• 支持超过千种标准Apps
• 可灵活开发专有Apps
• 支持企业级架构，分级、分布式部署

SysTools NTFS Log Analyzer

(硬盘日志分析工具)是一款硬盘日志文件分析的工具。基本上现在的安装了Windows操作系统的电脑硬盘分区，都是NTFS文件系统。这个工具能够通过NTFS日志分析文件操作的信息，从而得知文件增删改的情况。
如何查看硬盘使用日志
点我的电脑右键有个管理，管理里有个事件查看器，里的点那个系统就是你硬盘的事件了！亲，此软件需要安装微软.net 环境

ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：

    Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

    Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。

    Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

    日志平台的结构示意图

Weblog expert

是一个快速和强大的访问日志分析器。这会让你了解你的网站的访客：活动统计，访问的文件的路径，通过该网站，信息指页面，搜索引擎，浏览器，操作系统，和更多。该计划所产生的易于阅读的报告，包括文本信息（表）和图表。

官方网站：http://www.weblogexpert.com

Nginx利用第三方模块nginx_upstream_check_module来检查后端服务器的健康情况

http://www.linuxyan.com/web-server/90.html

图解 windows日志分析工具 WebLog Expert 安装及使用教程 
http://www.111cn.net/sys/Windows/88761.htm

最佳Nginx日志分析工具Goaccess 
http://my.oschina.net/mrco/blog/181737

又是nm的Linux，烦不烦，含Redis 
http://yanliu.org/2015/08/19/ELK-redis%E6%90%AD%E5%BB%BAnginx%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0/

一个简单的工具（ Apache|Nginx日志分析工具 ），貌似可以用用     http://www.cr173.com/soft/83182.html

日志易: 日志分析更容易 - 日志易 https://www.rizhiyi.com/ 【商业】

windows安全日志分析工具logparser用法详解_工具使用_网络安全 http://www.jb51.net/hack/384430.html

另附：日志工具_iis日志_日志分析工具_网站日志分析工具_下载列表  http://down.chinaz.com/class/185_1.htm

           日志分析和统计 - 开源软件库 - 开源中国社区 http://www.oschina.net/project/tag/147/log-analyzer

用Kibana和logstash快速搭建实时日志查询、收集与分析系统  http://storysky.blog.51cto.com/628458/1158707/

Splunk 是一款顶级的日志分析软件，如果你经常用 grep、awk、sed、sort、uniq、tail、head 来分析日志，那么你需要 Splunk。能处理常规的日志格式，比如 apache、squid、系统日志、mail.log 这些。对所有日志先进行 index，然后可以交叉查询，支持复杂的查询语句。然后通过直观的方式表现出来。日志可以通过文件方式传倒 Splunk 服务器，也可以通过网络实时传输过去。或者是分布式的日志收集。总之支持多种日志收集方法。

这个软件分为免费版本和专业版本。专业版本的价格是 3 万多刀。免费版本的功能也足够强大了。

一、Webtrends

Webtrends现在是Netiq公司的网站访问统计软件，可以说是业界日志分析软件的工业标准。笔者通过对其新版本Webtrends 7.0的试用，亲身体会到了此产品在网站运营分析应用方面的强大功能。
Webtrends 7.0 已经不单纯是一款提供日志分析统计数据的软件，除了最常见的日志分析功能外，其可以对数据进行深度挖掘，更重视网站运营、市场营销等对运营人员更容易理解的方式提供解决方案，可以进一步对用户的访问行为、访问流向、设定用户场景分析、网络营销推广活动、用户访问来源、内容访问等进行分析，对网站业务运营能够提供比较全面支持分析。
WebTrends的搜索分析与其推出的WebPosition搜索引擎优化解决方案的集成，及时扩充、增强了对Web的分析能力。WebTrends SmartReports针对Microsoft、Excel而开发，市场营销人员通过其提供的定制化分析报告，就可将组织机构与付费搜索定位、营销额与ROI(市场投资回报率)之间的关系量化，进而帮助他们将目光聚焦在最有利可图的搜索定位上。
由于Webtrends是一款企业级商业软件，其价格也是相对比较高的，对于小型网站来说，可能并不适用，但强烈推荐有实力的大中型网站、电子商务类网站使用。
网址：http://www.webtrends.com

Download：http://www.skycn.com/soft/1437.html#downUrlMap

二、AWStats（免费）(Linux平台)
AWStats是我见过的所有免费日志分析软件中最好的。这个软件可以分析大量Web、ftp、email、流媒体等多种类型服务器的日志，因为是perl写的，所以部署起来也相对容易，现在版本已经支持负载均衡(load banlance)服务器、反相域名查询等高级功能。而且AWStats是所有免费日志分析软件中图形界面做的最好的软件，能够提供非常漂亮的分析报表和图形。AWStats可以分析出的报表数据基本能够满足日常运营的分析，也可以对搜索引擎的来源、关键字等进行分析。并且提供多语言支持，同样的报表可以分别以中文、英文、日文等多种语言浏览。
建议中小型网站采用此日志分析工具进行分析。
网址：http://awstats.sourceforge.net/

演示网址：http://ns3744.ovh.NET/awstats/awstats.pl?config=destailleur.fr

三、Webalizer（免费）(linux平台)
Webalizer是最流行的记录分析工具之一。很多人都喜欢这个工具，运行的速度非常快。但这个工具软件的图形报表不是很理想。软件的GD图形库提供了一些可读的图表。但是，这些图表从审美学的角度看并不是那样吸引人。但这些报表足以提供一些重要的日志分析数据。

网站：http://www.mrunix.Net/webalizer/

四、Analog（免费）(linux平台)
由一撮顽固的爱好者支持的Analog工具软件是另一个有希望的竞争者。Analog工具软件尽可能的向用户展示出每一种信息。同时。它也例示了一个向普通用户展示大量信息的不错例子。按照缺省设置，所有信息都显示在同一网页上。用户点击网页顶端的导航栏可以选择一个具体的报告，而这个报告又连接到报告的下一个部分。Analog的可取之处在于每一部分的网页上端都有一个导航栏，在某种程度上简化了导航方式。Analog比较有趣的列表包括:来自每个国家的点击率是多少、把用户带到这个网站来的搜索引擎查询以及访问者使用哪一种浏览器软件和哪一种操作系统。这个软件能够显示网络服务器记录中的一切信息。这个软件的图形界面比基于GD图形库的Webalizer软件稍微有所改进。但是，饼图标和棒图表距离理想的程度还差很远。Analog包含许多有用的信息，而且导航功能还可以。我们认为，这个软件应该得到五星等级中的四星级。

Download：http://www.analog.cx/download.html

五、Summary (linux平台)
Summary是一个商业性日志分析工具，有30天免费试用期。这个软件包含所有的可能的信息和并以文本网页的方式提供一个列表选项供用户点击查看。例如，当你点击一个“带宽峰值”的链接时，你将被引导到列出不同时段使用带宽的网页，每一个条目都有一个小条状图形，但是，Summary软件中的图形非常小。在这里，小并不是缺陷。正好相反，Summary软件在外观上看起来非常合适。然而，整个图形用户界面使用起来非常麻烦。我们用了很长时间才浏览完毕我们需要看到的报告。Summary软件的价格不算太高，报告也非常合适。我们把这个软件评为五个星的等级中的四星级。

Download：http://summary.net/download.html

六：Urchin
Urchin 是一个范畴上与 Google Analytics（分析）类似的网络分析解决方案，但它是一个由客户安装、托管和管理的软件版本。 Urchin 可帮助网站所有者更好地了解自己的在线营销活动、网站点击量的特征以及访问者的浏览体验。 不过，与 Google Analytics（分析）不同的是，Urchin 并非免费（许可费为 2995 美元），并且需要有经验的技术人员进行安装。
因为 Urchin 使用服务器日志作为主要的数据来源，所以可用于不适合采用 Google Analytics（分析）等托管服务的场合，例如跟踪企业 Intranet 的流量、重新处理历史日志以及针对服务器错误提出报告。
所有人都可以下载并安装功能完整的免费测试版，但许可只能通过 Urchin 软件的授权顾问提供，并非直接通过 Google 提供。
目前Google的Urchin软件beta版本为90天试用软件，一旦Urchin开发完成，其价格为2995美元。
Download：http://www.google.com/urchin/download.html