使用PowerShell分析CSV和可怜人的Web日志分析

最新推荐文章于 2024-04-03 09:08:57 发布
最新推荐文章于 2024-04-03 09:08:57 发布
阅读量312 收藏 1
点赞数
文章标签： java python linux 大数据 javascript ViewUI
原文链接：https://www.hanselman.com/blog/parsing-csvs-and-poor-mans-web-log-analysis-with-powershell
版权
本文介绍了如何使用PowerShell对CSV格式的日志文件进行分析，包括创建新的显示列，通过正则表达式提取文件编号，以及按显示降序排序和分组数据，以统计每个节目的下载次数。
摘要由CSDN通过智能技术生成

I was messing around with some log files for the podcast and exported a CSV. There's lots of ways for us to get stats, but I was just poking around.

我在处理播客的一些日志文件并导出了CSV。 我们有很多方法可以获取统计数据，但我只是在闲逛。

Given a CSV format like this:

给定这样的CSV格式：

"File","Hits","Bandwidth"
"/hanselminutes_0026_lo.wma","78173","163625808"
"/hanselminutes_0076_robert_pickering.wma","24626","-1789110063"
"/hanselminutes_0077.wma","17204","1959963618"
"/hanselminutes_0076_robert_pickering.mp3","15796","-55874279"
"/hanselminutes_0078.wma","14832","-1241370004"
"/hanselminutes_0075.mp3","13685","-1840937989"
"/hanselminutes_0075.wma","12129","1276597408"
"/hanselminutes_0078.mp3","11058","-1186433073"

“文件”，“命中”，“带宽” “ /hanselminutes_0026_lo.wma","78173","163625808” “ /hanselminutes_0076_robert_pickering.wma"、"24626"、"-1789110063” “ /hanselminutes_0077.wma","17204","1959963618” “ /hanselminutes_0076_robert_pickering.mp3"、"15796"、"-55874279” “ /hanselminutes_0078.wma"、"14832"、"-1241370004” “ /hanselminutes_0075.mp3","13685","-1840937989” “ /hanselminutes_0075.wma"、"12129"、"1276597408” “ /hanselminutes_0078.mp3","11058","-1186433073”

And noticing that there are different file extensions, but one logical show...for example there's an MP3 of Show 76 and WMA of that same show I wanted to find out how many downloads per show.

并注意到有不同的文件扩展名，但是一个逻辑的节目...例如，有一个Show 76的MP3和同一节目的WMA，我想找出每个节目有多少下载。

I fired up PowerShell. First I can bring in the CSV file and notice that it's parsed into a PowerShell object list nicely:

我启动了PowerShell。 首先，我可以引入CSV文件，并注意到它已经很好地解析为PowerShell对象列表：

PS C:\> import-csv File.csv | Select File,Hits

PS C：\> import-csv File.csv | 选择文件，命中

File                                                        Hits
----                                                        ----
/hanselminutes_0026_lo.wma                                  78173
/hanselminutes_0076_robert_pickering.wma                    24626
/hanselminutes_0077.wma                                     17204
/hanselminutes_0076_robert_pickering.mp3                    15796
/hanselminutes_0078.wma                                     14832
/hanselminutes_0075.mp3                                     13685
/hanselminutes_0075.wma                                     12129
/hanselminutes_0078.mp3                                     11058

文件点击---- ---- /hanselminutes_0026_lo.wma 78173 /hanselminutes_0076_robert_pickering.wma 24626 /hanselminutes_0077.wma 17204 /hanselminutes_0076_robert_pickering.mp3 15796 /hanselminutes_0078.wma 14832 /hanselminutes_0075.mp3 13685 /hanselminutes_0075.wma 12129 /hanselminutes_0078.mp3 11058

Notice that there are

最低0.47元/天 解锁文章
cunfuteng7334
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
import-csv2:用于读取CSV文件的PowerShell模块
03-26
import-csv2 概述 这是用于导入CSV文件的PowerShell模块。 与内置的Import-Csv cmdlet相比，它具有以下优点： 灵活的解析选项：指定定界符/转义字符/引号字符，允许注释，跳过空行，忽略引号和修剪空格。 各种输出对象格式： PSObject的序列， DataTable ， OrderedDictionary以及映射到.NET类。 与内置cmdlet相比，这些有效的对象格式可提供更好的性能和内存效率。 数据字段的类型转换。 该模块基于构建， 是一个著名的.NET库，用于读取和写入CSV文件。 安装 此模块已发布在 PS C:\ > Install-Module import-csv2 入门 此模块导出单个cmdlet： Import-Csv2 。 默认情况下，此cmdlet读取CSV文件并生成一个PSObject对象序列， PSObject内置的Im
windows使用自带的PowerShell命令工具查看实时日志
nj0128的博客
11-13 3612
windows使用自带的PowerShell命令工具查看实时日志
PowerShell 监控日志
hong3731的专栏
08-18 1986
使用PowerShell 实时监控日志前言一、实时查看文件二、实时查看并过滤三、ping连接并检查特定端口是否可访问总结 前言 在Linux平台实时监控日志有tail命令，这个命令实时监控日志的时候非常好用，在windows平台也有类似的命令，能实现监控的功能 下面命令可供参考 一、实时查看文件 例如，发送到分析的图像服务器时，需要查看FTP日志文件。可以使用以下的方式来查看 # change directory to the folder containing the necessary file
PowerShell 基础知识：查询 Windows Server 事件日志
allway2的博客
08-03 1546
如果您通过 PowerShell 与 Windows Server 交互，则可以使用 Get-EventLog、Clear-EventLog、Limit-EventLog、New-EventLog、Remove-EventLog、Show-EventLog 和 Write-EvengLog cmdlet 与这些事件日志进行交互。Get-EventLog 是一个非常有用的 cmdlet，在使用 Server Core 机器时，或者如果您只是想检查您管理的计算机上是否发生了特定事件，您肯定会使用它。......
SharePoint PowerShell 从CSV文件导入数据到列表
天下第一间
02-29 424
　　最近，因为新系统要上线，总是需要准备数据，把文档里的数据导入到SharePoint 列表当中，复制吧快速编辑功能还不给力，就想到写个PowerShell 扔给BA去玩。 　　这里就举个简单的列表，结构如下： 　　我们需要的CSV文件结构如下： 　　导入CSV到List的PowerShell 命令如下： Add-PSSnapin Microsoft.SharePoint.Powe...
使用PowerShell和CSV向NSG添加多个规则
04-07
标题中的“使用PowerShell和CSV向NSG添加多个规则”是指通过Microsoft PowerShell脚本和CSV（逗号分隔值）文件来批量管理Azure网络安全组（Network Security Group, NSG）的规则。在云环境中，NSG是用于控制网络流量...
使用PowerShell和EWS编写/更新公用文件夹联系人
04-07
本主题将深入探讨如何利用PowerShell和Exchange Web Services (EWS)来创建和更新公用文件夹中的联系人。这两大工具为自动化管理提供了强大而灵活的手段。 PowerShell是一种基于命令行的脚本环境，特别适用于管理...
利用powershell进行windows日志分析
07-09 941
0x00 前言 　　Windows 中提供了 2 个分析事件日志的 PowerShell cmdlet：一个是Get-WinEvent，超级强大，但使用起来比较麻烦；另一个是Get-EventLog，使得起来相当简单，可以实时筛选，接下来，我们利用PowerShell 来自动筛选 Windows 事件日志。 0x01Get-WinEvent A、XML编写 假设有这样一个需求：...
PowerShell通过CSV批量导入AD用户
weixin_33924770的博客
08-03 396
首先我们要准备好我们的运行环境： Windows .NET 3.5 Framework(从官方站下的版本，还要通过网络继续下包，非常慢，所以我提供了一个多特的地址) http://9.duote.com/dotnetfxchs.exe PowerShell http://download.microsoft.com/download/D/0/E/D0E6D2C1-2...
使用Powershell导入csv格式并处理的两种方式
11-27 874
假设csv格式内容如下，保存为G:\temp\test.csv: 输出结果： 输出结果：
PowerShell写入csv文件
最新发布
微小冷的学习笔记
04-03 701
PowerShell中提供了Import-CSV和Export-CSV来读写csv文件，并且提供了更加简洁的别名【ipcsv】和【epcsv】。考虑到大家手头没有可用于测试的csv文件，先从csv文件的写入开始学习。例如，下面这行代码可以将当前运行的所有进程打印为csv文件，文件名为ps.csv，分隔符是英文逗号。
Windows事件日志快速分析
Eric.zhong
06-05 3536
文章目录前言PowerShell命令方法PowerShell常用命令1. 检查服务器最近开关机时间2. 最近登录失败的详细信息常见EventID解释 前言 我每月都要给各种不同的客户做系统巡检，其中Windows事件日志检查是比较耗时的事情。它会记录许多的信息，特别是针对系统安全方面、系统故障排除方面有重要线索。我们可以通过一些事件关键字与信息，制作各种不同的脚本以便快速筛选过滤日志。 一般来说，我们可以通过如下两种方法实现日志过滤： Powershell => Win自带的命令行工具 Log Pa
powershell提取日志内容
GreyHat OMDBA
02-13 3493
写了一个powershell提取日志内容的脚本，搜索oracle关于ORA的报错信息 #查找结果赋值 $d=Get-ChildItem c:\test -Recurse | where{"script.txt"} #判断文件是否存在，若不存在返回3 if ($d -eq $null ) { write-host " ALERT FILE NO FOUND"
powershell 针对日志的实例
lepton126的专栏
01-23 1321
C:\PowerShell\AppendixB> get-eventlog -list Max(K) Retain OverflowAction Entries Name ------ ------ -------------- ------- ---- 512 7 OverwriteOlder 486 Application 512 7 OverwriteOlder 0 Internet
Logstash 收集 CSV 日志-解析CSV文件示例：
weixin_34014277的博客
02-08 2723
2019独角兽企业重金招聘Python工程师标准>>> ...
Import-Csv 帮助信息
Windows PowerShell
10-31 2607
如下说明是翻译PowerShell中: help Import-Csv 产生的帮助信息. 译者: Edengundam(马涛) Import-Csv 大纲导入通过Export-CSV命令生成的逗号分隔值(CSV)文件并返回此CSV文件表示的对象. 语法Import-Csv [-path] [] 详细描述导入通过Export-CSV命令生成的逗号分隔
通过PowerShell进行网络分析
dotNET跨平台
09-12 393
好久没有写文章，因为确实工作也比较忙。今天周末，稍微有些时间，在解决一个问题时，用到了一点抓取和处理网络数据的小技巧，摘录分享如下。问题描述我有一个需求，就是要研究某个网页加载过程中具体发起了多少个请求（从主请求开始，到所有的资源完成），并且要检查每个响应的一些特性，例如是否 包含了某个header信息等。解决方案要完成这个需求，跟把一个大象装进冰箱一样简单，大致需要如下几个步骤：记录某个网页加载...
PowerShell脚本样本分析
人饭子的博客
11-06 528
PowerShell脚本样本分析 haidragon 安全狗的⾃我修养 2022-11-06 15:34 PowerShell脚本样本分析 该恶意⽂件为ACE压缩⽂件，内含4个jpg⽂件和⼀个PE⽂件，利⽤WinRAR漏洞(CVE2018-20250)，诱使受害者解压⽂件触发漏洞释放PE⽂件到启动⽬录，等待计算机重启后⾃动执⾏。通过⾃启的PE⽂件，释放powershell脚本、vbs脚本，并写⼊...
将计算机名字和ip导出为csv，使用powershell
06-09
你可以使用 `Get-NetIPAddress` 和 `Get-NetAdapter` 命令来获取计算机的 IP 地址和网络适配器信息，然后将这些信息导出为 CSV 文件。具体的命令如下： ``` $IPInfo = Get-NetIPAddress | Where-Object {$_.Address...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值