26. Pandas处理分析网站原始访问日志

最新推荐文章于 2022-11-01 11:36:34 发布
最新推荐文章于 2022-11-01 11:36:34 发布
阅读量325 收藏
点赞数
分类专栏： pandas 文章标签： pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lvlinjier/article/details/112852931
版权

Pandas处理分析网站原始访问日志

目标：真实项目的实战，探索Pandas的数据处理与分析

实例：
数据来源：我自己的wordpress博客http://www.crazyant.net/ 的访问日志

实现步骤：
1、读取数据、清理、格式化
2、统计爬虫spider的访问比例，输出柱状图
3、统计http状态码的访问占比，输出饼图
4、统计按小时、按天的PV/UV流量趋势，输出折线图

1、读取数据并清理格式化

import pandas as pd
import numpy as np

pd.set_option('display.max_colwidth', -1)

from pyecharts import options as opts
from pyecharts.charts import Bar,Pie,Line

# 读取整个目录，将所有的文件合并到一个dataframe
data_dir = "./datas/crazyant/blog_access_log"

df_list = []

import os
for fname in os.listdir(f"{data_dir}"):
    df_list.append(pd.read_csv(f"{data_dir}/{fname}", sep=" ", header=None, error_bad_lines=False))

df = pd.concat(df_list)

b'Skipping line 2245: expected 10 fields, saw 16\nSkipping line 2889: expected 10 fields, saw 14\nSkipping line 2890: expected 10 fields, saw 14\nSkipping line 2891: expected 10 fields, saw 13\nSkipping line 2892: expected 10 fields, saw 13\nSkipping line 2900: expected 10 fields, saw 11\nSkipping line 2902: expected 10 fields, saw 11\nSkipping line 3790: expected 10 fields, saw 14\nSkipping line 3791: expected 10 fields, saw 14\nSkipping line 3792: expected 10 fields, saw 13\nSkipping line 3793: expected 10 fields, saw 13\nSkipping line 3833: expected 10 fields, saw 11\nSkipping line 3835: expected 10 fields, saw 11\nSkipping line 9936: expected 10 fields, saw 16\n'
b'Skipping line 11748: expected 10 fields, saw 11\nSkipping line 11750: expected 10 fields, saw 11\n'

df.head()
0123456789
0106.11.153.226--[02/Dec/2019:22:40:18+0800]GET /740.html?replytocom=1194 HTTP/1.020013446-YisouSpider
142.156.254.60--[02/Dec/2019:22:40:23+0800]POST /wp-json/wordpress-popular-posts/v1/popular-posts HTTP/1.020155http://www.crazyant.net/740.html?replytocom=1194Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
2106.11.159.254--[02/Dec/2019:22:40:27+0800]GET /576.html HTTP/1.020013461-YisouSpider
3106.11.157.254--[02/Dec/2019:22:40:28+0800]GET /?lwfcdw=t9n2d3&oqzohc=m5e7j1&oubyvq=iab6a3&oudmbg=6osqd3 HTTP/1.020010485-YisouSpider
442.156.137.109--[02/Dec/2019:22:40:30+0800]POST /wp-json/wordpress-popular-posts/v1/popular-posts HTTP/1.020155http://www.crazyant.net/576.htmlMozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
df = df[[0, 3, 6, 9]].copy()
df.head()
0369
0106.11.153.226[02/Dec/2019:22:40:18200YisouSpider
142.156.254.60[02/Dec/2019:22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
2106.11.159.254[02/Dec/2019:22:40:27200YisouSpider
3106.11.157.254[02/Dec/2019:22:40:28200YisouSpider
442.156.137.109[02/Dec/2019:22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
df.columns = ["ip", "stime", "status", "client"]
df.head()
ipstimestatusclient
0106.11.153.226[02/Dec/2019:22:40:18200YisouSpider
142.156.254.60[02/Dec/2019:22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
2106.11.159.254[02/Dec/2019:22:40:27200YisouSpider
3106.11.157.254[02/Dec/2019:22:40:28200YisouSpider
442.156.137.109[02/Dec/2019:22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
df.dtypes

ip        object
stime     object
status    int64 
client    object
dtype: object

2、统计spider的比例

df["is_spider"] = df["client"].str.lower().str.contains("spider")
df.head()
ipstimestatusclientis_spider
0106.11.153.226[02/Dec/2019:22:40:18200YisouSpiderTrue
142.156.254.60[02/Dec/2019:22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
2106.11.159.254[02/Dec/2019:22:40:27200YisouSpiderTrue
3106.11.157.254[02/Dec/2019:22:40:28200YisouSpiderTrue
442.156.137.109[02/Dec/2019:22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
df_spider = df["is_spider"].value_counts()
df_spider

False    46641
True     3637 
Name: is_spider, dtype: int64

bar = (
        Bar()
        .add_xaxis([str(x) for x in df_spider.index])
        .add_yaxis("是否Spider", df_spider.values.tolist())
        .set_global_opts(title_opts=opts.TitleOpts(title="爬虫访问量占比"))
)
bar.render_notebook()

<div id="c9bd2bcd2d004232b92db8db30eccba0" style="width:900px; height:500px;"></div>

3、访问状态码的数量对比

df_status = df.groupby("status").size()
df_status

status
200    41924
201    3432 
206    70   
301    2364 
302    23   
304    19   
400    20   
403    92   
404    1474 
405    12   
444    846  
500    1    
504    1    
dtype: int64

list(zip(df_status.index, df_status))

[(200, 41924),
 (201, 3432),
 (206, 70),
 (301, 2364),
 (302, 23),
 (304, 19),
 (400, 20),
 (403, 92),
 (404, 1474),
 (405, 12),
 (444, 846),
 (500, 1),
 (504, 1)]

pie = (
        Pie()
        .add("状态码比例", list(zip(df_status.index, df_status)))
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
    )
pie.render_notebook()

<div id="4412254edcf447b68e65faab50374114" style="width:900px; height:500px;"></div>

4、实现按小时、按天粒度的流量统计

df.head()
ipstimestatusclientis_spider
0106.11.153.226[02/Dec/2019:22:40:18200YisouSpiderTrue
142.156.254.60[02/Dec/2019:22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
2106.11.159.254[02/Dec/2019:22:40:27200YisouSpiderTrue
3106.11.157.254[02/Dec/2019:22:40:28200YisouSpiderTrue
442.156.137.109[02/Dec/2019:22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
df["stime"] = pd.to_datetime(df["stime"].str[1:], format="%d/%b/%Y:%H:%M:%S")
df.head()
ipstimestatusclientis_spider
0106.11.153.2262019-12-02 22:40:18200YisouSpiderTrue
142.156.254.602019-12-02 22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
2106.11.159.2542019-12-02 22:40:27200YisouSpiderTrue
3106.11.157.2542019-12-02 22:40:28200YisouSpiderTrue
442.156.137.1092019-12-02 22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
df.set_index("stime", inplace=True)
df.sort_index(inplace=True)
df.head()
ipstatusclientis_spider
stime
2019-12-02 22:40:18106.11.153.226200YisouSpiderTrue
2019-12-02 22:40:2342.156.254.60201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
2019-12-02 22:40:27106.11.159.254200YisouSpiderTrue
2019-12-02 22:40:28106.11.157.254200YisouSpiderTrue
2019-12-02 22:40:3042.156.137.109201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
df.index

DatetimeIndex(['2019-12-02 22:40:18', '2019-12-02 22:40:23',
               '2019-12-02 22:40:27', '2019-12-02 22:40:28',
               '2019-12-02 22:40:30', '2019-12-02 22:40:46',
               '2019-12-02 22:41:52', '2019-12-02 22:41:52',
               '2019-12-02 22:41:55', '2019-12-02 22:42:16',
               ...
               '2019-12-07 21:30:16', '2019-12-07 21:30:17',
               '2019-12-07 21:30:19', '2019-12-07 21:30:20',
               '2019-12-07 21:30:21', '2019-12-07 21:30:22',
               '2019-12-07 21:30:23', '2019-12-07 21:30:56',
               '2019-12-07 21:30:58', '2019-12-07 21:31:02'],
              dtype='datetime64[ns]', name='stime', length=50278, freq=None)

# 按小时统计
#df_pvuv = df.resample("H")["ip"].agg(pv=np.size, uv=pd.Series.nunique)

# 按每6个小时统计
#df_pvuv = df.resample("6H")["ip"].agg(pv=np.size, uv=pd.Series.nunique)

# 按天统计
df_pvuv = df.resample("D")["ip"].agg(pv=np.size, uv=pd.Series.nunique)

df_pvuv.head()
pvuv
stime
2019-12-0228870
2019-12-03102851180
2019-12-04136181197
2019-12-05104851152
2019-12-0694691261
line = (
        Line()
        .add_xaxis(df_pvuv.index.to_list())
        .add_yaxis("PV", df_pvuv["pv"].to_list())
        .add_yaxis("UV", df_pvuv["uv"].to_list())
        .set_global_opts(
            title_opts=opts.TitleOpts(title="PVUV数据对比"),
            tooltip_opts=opts.TooltipOpts(trigger="axis", axis_pointer_type="cross")
        )
    )
line.render_notebook()

<div id="3375e16f7e3c45e8a7ca57f0310d594a" style="width:900px; height:500px;"></div>
hello rpa
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于Python3.7读取csv文件出现‘Skipping line 7: expected 2 fields, saw 3’报错问题的解决方案
weixin_44139849的博客
09-23 9512
问题背景 python支持的read_csv非常方便易用，但在一次把csv转为xlsx的简单应用过程中，发现有多列诸如**‘Skipping line 7: expected 2 fields, saw 3’**报错，检查具体文件，发现报错的行都缺失了。需要调查解决。 问题定位 1.常规思路搜报错 出现很多相似问题，但要么没有解决，要么可读性差。最终是从下面作者找到的方案： python读取csv文件遇到的问题 我一开始甚至以为和我的不是一个问题而错过浪费了至少3小时。。。直到后来测试文件的行数可以被检查，
pandas read_csv报错Skipping line 749030: expected 30 fields, saw 31
weixin_42599429的博客
05-14 1982
最近处理个需求需要在hive导出文件后用pandas进行处理生成个新的csv。 然后在read_csv时，遇到了这个跳过这以行的提醒，文件100行可能读进dataframe中可能只剩下了8行，这是因为在csv中的分隔符是',',在hive字段中如果有英文逗号就会在pandas转成多列就不会读进dataframe 解决方法：在hive -e进行重定向之前，将hive的对应字段进行一步清洗工作，比如translate(name,",","") as name,这样在hive -e导出的csv读取...
python读取csv失败_python读取csv文件遇到的问题
weixin_39846553的博客
12-07 1811
CSV文件如下：报错①： 取csv文件语句：df = pd.read_csv(file_path ,skip_blank_lines=True,header=None)报错：b'Skipping line 7: expected 2 fields, saw 3刚开始没有注意这个错误，只是想要读取某一行的时候一直显示读不到。后来看了这个报错，才发现只能读取前两列。有的答案是让你忽略掉读不到的行。但是...
python读取csv文件时报错：Skipping line 150: expected 42 fields, saw 51
fanfan_mua的博客
11-01 439
Skipping line 150: expected 42 fields, saw 51 错误
python读取.tsp类型文件
zhugby的博客
05-05 2323
最近在学习使用python写优化算法求解tsp问题，因此会导入一些.tsp类型的算例，如：berbin8等、berlin52等、a208.tsp等，那么如何用python导入.tsp文件呢？浅浅记录一下问题。 1.先来看看berlin8.tsp文件的数据格式，可以看到，第7行开始记录节点的坐标，最后一行是结束标志也没有用，基本所有的算例都是这样的格式； 2.这里我使用pandas导入数据，注意需要跳过前六行不读取（skiprows=6） df = pd.read_csv(r".\组合优化学习\
nasa.rar_NASA处理过的数据集_web日志分析
09-23
6. **工具和技术**：进行Web日志分析时，可以使用Python的Pandas库进行数据清洗和转换，使用Matplotlib或Seaborn进行数据可视化，或者利用Apache Spark进行大规模数据处理。此外，专门的日志分析工具，如ELK Stack...
数仓项目实战-网站点击流数据分析项目
最新发布
03-11
数据仓库设计遵循OLAP（在线分析处理）原则，包括维度建模（星型模型、雪花模型等）和事实表设计，目的是优化查询性能和数据组织。 4. ETL（Extract, Transform, Load）过程：这是数据仓库的核心环节，包括数据抽取...
一键分析你的上网行为(web页面可视化).rar
01-18
在Python中进行行为分析通常需要借助一些数据分析和机器学习库。下面是一个基本的行为分析方案示例： 1. 数据收集：收集与行为相关的数据。这可能包括用户行为日志、交易记录、点击数据等。你可以使用Python访问...
第5章：数据处理与汇总.rar
11-29
1. 数据收集：这是数据处理的第一步，包括从各种来源如数据库、传感器、调查问卷、网络日志等获取原始数据。 2. 数据清洗：由于现实世界中的数据往往存在缺失、错误或不一致，数据清洗是确保数据质量的关键步骤。这...
shieldgen:用来解析网站访问日志并计算总下载次数的Python脚本。 产生徽章json文件
03-25
标题中的"shieldgen"是一个Python脚本，专门用于解析网站访问日志，目的是为了统计总的下载次数，并且能够生成一个包含这些数据的徽章JSON文件。这个工具在Web数据分析领域非常实用，它可以帮助网站管理员或者开发者...
Python读写csv文件专题教程(3)
算法channel
05-26 1572
这是第276篇原创完整导图前两个部分：Python读写csv文件专题教程(1)Python读写csv文件专题教程(2)2.5 时间相关parse_dates如果导入的某些...
csv文件读取报错Error tokenizing data. C error: Expected 1 fields in line 3, saw 2处理方法
qq_33267306的博客
09-14 1万+
1、有个csv文件，我直接用pandas库读取，报错Error tokenizing data. C error: Expected 1 fields in line 3, saw 2，这个应该格式有问题，要打开后，重新保存后才能打开，但由于文件很多，想着能不能用其他方法读取这个csv文件； 2、就是通过csv库进行读取，再遍历，后进行合并： import pandas as pd import csv path = '文件所在位置' test = pd.DataFrame() data = c
python读取csv文件遇到的问题
weixin_39915444的博客
06-28 3009
CSV文件如下： 读取csv文件语句： df = pd.read_csv(file_path ,skip_blank_lines=True, header=None） 报错： b'Skipping line 7: expected 2 fields, saw 3 刚开始没有注意这个错误，只是想要读取某一行的时候一直显示读不到。 后来看了这个报错，才发现只能读取前两列。有的答案是让你忽略掉读不到的行。但是读不到的行恰恰对我很重要。 最终的解决方案：（
python的艰难学习之路-对遇见报错的处理
qq_28197005的博客
10-08 153
这是一个会持续添加新内容的博客，主要是记录学习过程中遇到的各种报错，以及对报错的处理： 1.PyCharm：method may be static 具体原因：原因是该方法不涉及对该类属性的操作，编译器建议声明为@staticmethod，面向对象思想体现 解决办法：这是一个静态方法，删除self，声明一下这是个静态方法 来源参考： https://blog.csdn.net/Max_xws/a...
pySpark学习笔记N——数据的存储
NLP与推荐算法
01-26 1432
hi各位大佬早啊。我是菜鸟小明哥。在下载用户及item特征的时候出现问题，spark.sql得到的数据已经是dataframe了，但是我用.withColumn增加列后选择了分user或item存储在hdfs，这是种分片存储的方式（不知道我说的啥，详见下面代码吧），但这种就会出现问题：选择的列如果是空值的话，那么它不会以NULL的形式出现在hadoop getmerge的本地结果中，这就出现了有的行是13个特征，有的是14个特征，如下：照搬照抄是不行的，有坑。 For Recommendation in
pandas读取csv文件时遇到的一些错误
热门推荐
静幽水
08-07 1万+
错误一： ParserError: Error tokenizing data. C error: Expected 1 fields in line 7, saw 3 产生这种错误的原因有很多，如果你的csv文件是用制表符隔开的每列数据，需要加上delimiter="\t",表示用制表符进行分割。如果格式不统一的话，也可以写成列表，用多种方式分割。 df = pd.read_csv(file_p...
packer build 报错 无任何输出 一直报“skipping line: 1 skipping line: 2 skipping line: 3.....”
sinat_28371057的博客
12-29 633
最近使用packer build 报错 无任何输出 一直报“skipping line: 1 skipping line: 2 skipping line: 3.....” ， 解决方法如下： # Install wget and unzip before executing the below steps wget https://releases.hashicorp.com/packer/1.0.0/packer_1.0.0_linux_amd64.zip unzip packer_1.0.0_li
报错Expected 7 fields in line 9, saw 9
qq_43242266的博客
01-03 5417
import pandas as pd data = pd.read_csv('h4.txt',encoding='gb18030',header=None,sep=None,engine='python') print(data) 报错： 解决方法： 加参数即列名：names=['1','2','3','4','5','6','7','8','9','10','11','12','...
pandas删除最后几行
lvlinjier的博客
01-20 1万+
df.drop(df.tail(n).index) #从尾部去掉 n 行 df.dorp(df.head(n).index) #从头去掉 n 行 #可以加上 inplace=True 直接修改原 dataFrame，不过函数返回是 None 也可以这样子 PageDF = PageDF[:-1]
pandas._libs.pandas_parser
03-05
pandas._libs.pandas_parser是Pandas库中的一个模块，用于解析和处理数据文件。它提供了一些函数和类，用于读取和解析各种数据格式，如CSV、Excel、SQL等。 该模块包含了一些重要的函数和类，如read_csv()、read_excel()等，这些函数可以将数据文件加载到Pandas的DataFrame对象中，方便进行数据分析和处理。它还提供了一些参数和选项，用于指定数据文件的格式、分隔符、缺失值处理等。 除了读取数据文件，pandas._libs.pandas_parser还提供了一些其他功能，如写入数据文件、处理日期时间数据、处理缺失值等。它是Pandas库中的一个核心模块，为用户提供了方便的数据处理工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值