26. Pandas处理分析网站原始访问日志

最新推荐文章于 2024-02-12 12:45:30 发布
最新推荐文章于 2024-02-12 12:45:30 发布
阅读量377 收藏
点赞数
文章标签： pandas python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68290271/article/details/130716024
版权

Pandas处理分析网站原始访问日志

目标：真实项目的实战，探索Pandas的数据处理与分析

实例：
数据来源：我自己的wordpress博客蚂蚁学Python – 你有没有为写代码拼过命？那你知不知道 人生苦短，我用Python？ 的访问日志

实现步骤：
1、读取数据、清理、格式化
2、统计爬虫spider的访问比例，输出柱状图
3、统计http状态码的访问占比，输出饼图
4、统计按小时、按天的PV/UV流量趋势，输出折线图

1、读取数据并清理格式化

In [1]:

import pandas as pd
import numpy as np
​
pd.set_option('display.max_colwidth', -1)
​
from pyecharts import options as opts
from pyecharts.charts import Bar,Pie,Line

In [2]:

# 读取整个目录，将所有的文件合并到一个dataframe
data_dir = "./datas/crazyant/blog_access_log"
​
df_list = []
​
import os
for fname in os.listdir(f"{data_dir}"):
    df_list.append(pd.read_csv(f"{data_dir}/{fname}", sep=" ", header=None, error_bad_lines=False))
​
df = pd.concat(df_list)
b'Skipping line 2245: expected 10 fields, saw 16\nSkipping line 2889: expected 10 fields, saw 14\nSkipping line 2890: expected 10 fields, saw 14\nSkipping line 2891: expected 10 fields, saw 13\nSkipping line 2892: expected 10 fields, saw 13\nSkipping line 2900: expected 10 fields, saw 11\nSkipping line 2902: expected 10 fields, saw 11\nSkipping line 3790: expected 10 fields, saw 14\nSkipping line 3791: expected 10 fields, saw 14\nSkipping line 3792: expected 10 fields, saw 13\nSkipping line 3793: expected 10 fields, saw 13\nSkipping line 3833: expected 10 fields, saw 11\nSkipping line 3835: expected 10 fields, saw 11\nSkipping line 9936: expected 10 fields, saw 16\n'
b'Skipping line 11748: expected 10 fields, saw 11\nSkipping line 11750: expected 10 fields, saw 11\n'

In [3]:

 

df.head()
 

Out[3]:
 

0123456789
0106.11.153.226--[02/Dec/2019:22:40:18+0800]GET /740.html?replytocom=1194 HTTP/1.020013446-YisouSpider
142.156.254.60--[02/Dec/2019:22:40:23+0800]POST /wp-json/wordpress-popular-posts/v1/popular-posts HTTP/1.020155http://www.crazyant.net/740.html?replytocom=1194Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
2106.11.159.254--[02/Dec/2019:22:40:27+0800]GET /576.html HTTP/1.020013461-YisouSpider
3106.11.157.254--[02/Dec/2019:22:40:28+0800]GET /?lwfcdw=t9n2d3&oqzohc=m5e7j1&oubyvq=iab6a3&oudmbg=6osqd3 HTTP/1.020010485-YisouSpider
442.156.137.109--[02/Dec/2019:22:40:30+0800]POST /wp-json/wordpress-popular-posts/v1/popular-posts HTTP/1.020155http://www.crazyant.net/576.htmlMozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
 

In [4]:
 

 

 

df = df[[0, 3, 6, 9]].copy()
 

df.head()
 

Out[4]:
 

0369
0106.11.153.226[02/Dec/2019:22:40:18200YisouSpider
142.156.254.60[02/Dec/2019:22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
2106.11.159.254[02/Dec/2019:22:40:27200YisouSpider
3106.11.157.254[02/Dec/2019:22:40:28200YisouSpider
442.156.137.109[02/Dec/2019:22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
 

In [5]:
 

 

 

df.columns = ["ip", "stime", "status", "client"]
 

df.head()
 

Out[5]:
 

ipstimestatusclient
0106.11.153.226[02/Dec/2019:22:40:18200YisouSpider
142.156.254.60[02/Dec/2019:22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
2106.11.159.254[02/Dec/2019:22:40:27200YisouSpider
3106.11.157.254[02/Dec/2019:22:40:28200YisouSpider
442.156.137.109[02/Dec/2019:22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
 

In [6]:
 

 

 

df.dtypes
 

Out[6]:
 

ip        object
stime     object
status    int64 
client    object
dtype: object
 

2、统计spider的比例
 

In [7]:
 

 

 

df["is_spider"] = df["client"].str.lower().str.contains("spider")
 

df.head()
 

Out[7]:
 

ipstimestatusclientis_spider
0106.11.153.226[02/Dec/2019:22:40:18200YisouSpiderTrue
142.156.254.60[02/Dec/2019:22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
2106.11.159.254[02/Dec/2019:22:40:27200YisouSpiderTrue
3106.11.157.254[02/Dec/2019:22:40:28200YisouSpiderTrue
442.156.137.109[02/Dec/2019:22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
 

In [8]:
 

 

 

df_spider = df["is_spider"].value_counts()
 

df_spider
 

Out[8]:
 

False    46641
True     3637 
Name: is_spider, dtype: int64
 

In [9]:
 

 

 

bar = (
 

        Bar()
 

        .add_xaxis([str(x) for x in df_spider.index])
 

        .add_yaxis("是否Spider", df_spider.values.tolist())
 

        .set_global_opts(title_opts=opts.TitleOpts(title="爬虫访问量占比"))
 

)
 

bar.render_notebook()
 

Out[9]:
 

3、访问状态码的数量对比
 

In [10]:
 

 

）
 

df_status
 

Out[10]:
 

status
200    41924
201    3432 
206    70   
301    2364 
302    23   
304    19   
400    20   
403    92   
404    1474 
405    12   
444    846  
500    1    
504    1    
dtype: int64
 

In [11]:
 

 

 

list(zip(df_status.index, df_status))
 

Out[11]:
 

[(200, 41924),
 (201, 3432),
 (206, 70),
 (301, 2364),
 (302, 23),
 (304, 19),
 (400, 20),
 (403, 92),
 (404, 1474),
 (405, 12),
 (444, 846),
 (500, 1),
 (504, 1)]
 

In [12]:
 

 

pie = (
 

        Pie()
 

        .add("状态码比例", list(zip(df_status.index, df_status)))
 

        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
 

    )
 

pie.render_notebook()
 

Out[12]:
 

4、实现按小时、按天粒度的流量统计
 

In [13]:
 

 

 

df.head()
 

Out[13]:
 

ipstimestatusclientis_spider
0106.11.153.226[02/Dec/2019:22:40:18200YisouSpiderTrue
142.156.254.60[02/Dec/2019:22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
2106.11.159.254[02/Dec/2019:22:40:27200YisouSpiderTrue
3106.11.157.254[02/Dec/2019:22:40:28200YisouSpiderTrue
442.156.137.109[02/Dec/2019:22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
 

In [14]:
 

 

 

df["stime"] = pd.to_datetime(df["stime"].str[1:], format="%d/%b/%Y:%H:%M:%S")
 

df.head()
 

Out[14]:
 

ipstimestatusclientis_spider
0106.11.153.2262019-12-02 22:40:18200YisouSpiderTrue
142.156.254.602019-12-02 22:40:23201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
2106.11.159.2542019-12-02 22:40:27200YisouSpiderTrue
3106.11.157.2542019-12-02 22:40:28200YisouSpiderTrue
442.156.137.1092019-12-02 22:40:30201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
 

In [15]:
 

 

 

df.set_index("stime", inplace=True)
 

df.sort_index(inplace=True)
 

df.head()
 

Out[15]:
 

ipstatusclientis_spider
stime
2019-12-02 22:40:18106.11.153.226200YisouSpiderTrue
2019-12-02 22:40:2342.156.254.60201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
2019-12-02 22:40:27106.11.159.254200YisouSpiderTrue
2019-12-02 22:40:28106.11.157.254200YisouSpiderTrue
2019-12-02 22:40:3042.156.137.109201Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36True
 

In [16]:
 

 

 

df.index
 

Out[16]:
 

DatetimeIndex(['2019-12-02 22:40:18', '2019-12-02 22:40:23',
               '2019-12-02 22:40:27', '2019-12-02 22:40:28',
               '2019-12-02 22:40:30', '2019-12-02 22:40:46',
               '2019-12-02 22:41:52', '2019-12-02 22:41:52',
               '2019-12-02 22:41:55', '2019-12-02 22:42:16',
               ...
               '2019-12-07 21:30:16', '2019-12-07 21:30:17',
               '2019-12-07 21:30:19', '2019-12-07 21:30:20',
               '2019-12-07 21:30:21', '2019-12-07 21:30:22',
               '2019-12-07 21:30:23', '2019-12-07 21:30:56',
               '2019-12-07 21:30:58', '2019-12-07 21:31:02'],
              dtype='datetime64[ns]', name='stime', length=50278, freq=None)
 

In [21]:
 

 

 

# 按小时统计
 

#df_pvuv = df.resample("H")["ip"].agg(pv=np.size, uv=pd.Series.nunique)
 

​
 

# 按每6个小时统计
 

#df_pvuv = df.resample("6H")["ip"].agg(pv=np.size, uv=pd.Series.nunique)
 

​
 

# 按天统计
 

df_pvuv = df.resample("D")["ip"].agg(pv=np.size, uv=pd.Series.nunique)
 

​
 

df_pvuv.head()
 

Out[21]:
 

pvuv
stime
2019-12-0228870
2019-12-03102851180
2019-12-04136181197
2019-12-05104851152
2019-12-0694691261
 

In [22]:
 

 

 

line = (
 

        Line()
 

        .add_xaxis(df_pvuv.index.to_list())
 

        .add_yaxis("PV", df_pvuv["pv"].to_list())
 

        .add_yaxis("UV", df_pvuv["uv"].to_list())
 

        .set_global_opts(
 

            title_opts=opts.TitleOpts(title="PVUV数据对比"),
 

            tooltip_opts=opts.TooltipOpts(trigger="axis", axis_pointer_type="cross")
 

        )
 

    )
 

line.render_notebook()
 

import pandas as pd
import numpy as np
import os

# max_colwidth参数设置10就是10列
pd.set_option('display.max_colwidth', 10)

from pyecharts import options as opts
from pyecharts.charts import Bar, Pie, Line

# 读取整个目录，将所有的文件合并到一个dataframe
data_dir = './crazyant/blog_access_log'

df_list = []
for fname in os.listdir(f'{data_dir}'):
    # 用read_csv读取文件并加入列表
    df_list.append(pd.read_csv(f'{data_dir}/{fname}', sep=" ", header=None, on_bad_lines='skip'))

df = pd.concat(df_list)
print(df.head())

df = df[[0, 3, 6, 9]].copy()
print(df.head())
#重命名
df.columns = ['ip', 'stime', 'status', 'client']
print(df.head())
print(df.dtypes)
#判断是否为爬虫
df['is_spider'] = df['client'].str.lower().str.contains('spider')
print(df.head())
#获取爬虫与非爬虫数量并做成柱状图
df_spider = df['is_spider'].value_counts()
print(df_spider)
#bar柱状图类和opts（选项）类
bar = (
    Bar()
    .add_xaxis([str(x) for x in df_spider.index])
    .add_yaxis('是否Spider', df_spider.values.tolist())
    #set_global_opts() 方法用于设置全局选项
    .set_global_opts(title_opts=opts.TitleOpts(title="爬虫访问量占比"))
)

bar.render('./crazyant/cbar.html')

# 3.访问状态马的数量对比
df_status = df.groupby("status").size()#以status列进行分组，并统计每组中的数量
print(df_status)

print(list(zip(df_status.index, df_status)))
#利用饼图将状态码比例可视化
# Pie()表示饼图，.add()表示添加数据，.set_series_opts()表示设置系列配置
# 这个是横版 但是调了一些想加标题但是奇奇怪怪的
pie = (
    Pie()
    .add("状态码比例", list(zip(df_status.index.map(str), df_status)))# 添加数据，横坐标为df_status中的索引，纵坐标为df_status中的索引值大小
    .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}")) # 设置系列配置，显示文字格式为“{b}: {c}”

)
pie.render('./crazyant/piebar1.html')

# 这个是竖着的
pie = (
    Pie()
    .add(
        "状态码比例",
        list(zip(df_status.index.map(str), df_status)),
        center=["50%", "60%"]  # 设置饼图的中心位置
    )
    .set_series_opts(
        label_opts=opts.LabelOpts(formatter="{b}: {c}"),
        center=["50%", "60%"]  # 设置饼图的中心位置
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(title="状态码占比"),
        legend_opts=opts.LegendOpts(
            orient='vertical',# 设置图例的排列方向为垂直方向
            pos_top='center',# 设置图例的上边距为“center”，即垂直方向上居中
            pos_left='left'# 设置图例的左边距为“left”
        )
    )
)
pie.render('./crazyant/piebar2.html')

# 实现按小时、按天粒度的流量统计
print(df.head())
# 将日期按格式转换成时间戳的形式
df['stime'] = pd.to_datetime(df['stime'].str[1:], format='%d/%b/%Y:%H:%M:%S')
print(df.head())
#stime变为索引列，inplace原地改
df.set_index('stime', inplace=True)
df.sort_index(inplace=True)
print(df.head())
print(df.index)

# 按照小时统计
df_pvuv1 = df.resample('H')['ip'].agg(pv=np.size, uv=pd.Series.nunique)
# # 按照每六小时统计
df_pvuv2 = df.resample('6H')['ip'].agg(pv=np.size, uv=pd.Series.nunique)
# 按天统计
df_pvuv3 = df.resample('D')['ip'].agg(pv=np.size, uv=pd.Series.nunique)
#折线图line
#tooltip_opts=opts.TooltipOpts(trigger='axis',axis_pointer_type='cross')
# 表示设置悬浮提示框，在鼠标移动到数据点时会自动显示数据信息，并且横轴和纵轴的提示线都同时显示
line1=(
    Line()
    .add_xaxis(df_pvuv1.index.to_list())
    .add_yaxis('PV',df_pvuv1['pv'].to_list())
    #df_pvuv1.index.to_list() 表示将 df_pvuv1 的索引转换为列表，并作为 x 轴标签
    .add_yaxis('UV',df_pvuv1['uv'].to_list())
    .set_global_opts(
        title_opts=opts.TitleOpts(title='PVUV数据对比'),
        tooltip_opts=opts.TooltipOpts(trigger='axis',axis_pointer_type='cross')
    )
)
line2=(
    Line()
    .add_xaxis(df_pvuv2.index.to_list())
    .add_yaxis('PV',df_pvuv2['pv'].to_list())
    .add_yaxis('UV',df_pvuv2['uv'].to_list())
    .set_global_opts(
        title_opts=opts.TitleOpts(title='PVUV数据对比'),
        tooltip_opts=opts.TooltipOpts(trigger='axis',axis_pointer_type='cross')
    )
)
line3=(
    Line()
    .add_xaxis(df_pvuv3.index.to_list())
    .add_yaxis('PV',df_pvuv3['pv'].to_list())
    .add_yaxis('UV',df_pvuv3['uv'].to_list())
    .set_global_opts(
        title_opts=opts.TitleOpts(title='PVUV数据对比'),
        tooltip_opts=opts.TooltipOpts(trigger='axis',axis_pointer_type='cross')
    )
)

line1.render('./crazyant/pvuv1.html')
line2.render('./crazyant/pvuv2.html')
line3.render('./crazyant/pvuv3.html')
 

 

 
 

 
 

 
 

 

                

        

        

    




    

      

        

            

              
                
                  月升11
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
Pandas处理分析网站原始访问日志

				
			

			

				

					weixin_44976611的博客
				

				

					08-07
					
					296
					
				

			

		

		

			
				
目标：真实项目的实战，探索Pandas的数据处理与分析。4、统计按小时、按天的PV/UV流量趋势，输出折线图。2、统计爬虫spider的访问比例，输出柱状图。3、统计http状态码的访问占比，输出饼图。读取的数据是什么格式？如何自动生成日志文件。...

			
		

	



                

              
                



	

		

			

				
					
Pandas处理分析网站原始访问日志（二十五）

				
			

			

				

					小龙龙品牌的博客
				

				

					05-08
					
					238
					
				

			

		

		

			
				
目标：真实项目的实战，探索Pandas的数据处理与分析
实例：
数据来源：我自己的wordpress博客http://www.crazyant.net/ 的访问日志
实现步骤：
1、读取数据、清理、格式化
2、统计爬虫spider的访问比例，输出柱状图
3、统计http状态码的访问占比，输出饼图
4、统计按小时、按天的PV/UV流量趋势，输出折线图
1、读取数据并清理格式化
import pandas as pd
import numpy as np

pd.set_option('display.max_

			
		

	



                


  
              

                


	

		

			

				
					
【Python】pd.set_option()的效果与解析

				
			

			

				

					Danger的博客
				

				

					03-14
					
					3708
					
				

			

		

		

			
				
【Python】pd.set_option()的效果与解析
文章目录【Python】pd.set_option()的效果与解析1. 介绍2. API3. 举例-13.1 显示所有行3.2 显示所有列3.3 显示列中单独元素的最大长度4. 举例-24.1 换行显示、每行最大显示宽度5. 参考
1. 介绍
pd.set_option()这个函数主要用于设置DataFrame的显示输出。

在读取到Excel文件或csv文件后，往往会出现数据显示不全(如图)等问题，有时候会影响我们对数据的判断。

使用这个函数后

			
		

	





	

		

			

				
					
python读取csv文件遇到的问题

				
			

			

				

					weixin_39915444的博客
				

				

					06-28
					
					3029
					
				

			

		

		

			
				
CSV文件如下：

读取csv文件语句：


df = pd.read_csv(file_path ,skip_blank_lines=True,
                     header=None）

报错：


b'Skipping line 7: expected 2 fields, saw 3

刚开始没有注意这个错误，只是想要读取某一行的时候一直显示读不到。

后来看了这个报错，才发现只能读取前两列。有的答案是让你忽略掉读不到的行。但是读不到的行恰恰对我很重要。

最终的解决方案：（

			
		

	



		

			
		



	

		

			

				
					
pandas样式

				
			

			

				

					风华浪浪的博客
				

				

					11-19
					
					1192
					
				

			

		

		

			
				
pd.set_option('expand_frame_repr', False)   # True换行显示, False不允许换行
pd.set_option("display.max_columns", None)  # dataFrame的列, None显示完整的列, 数字表示显示最大列数
pd.set_option('display.max_rows', None)     # None显...

			
		

	





	

		

			

				
					
nasa.rar_NASA处理过的数据集_web日志分析

				
			

			

				

					09-23
				

			

		

		

			
				
6. **工具和技术**：进行Web日志分析时，可以使用Python的Pandas库进行数据清洗和转换，使用Matplotlib或Seaborn进行数据可视化，或者利用Apache Spark进行大规模数据处理。此外，专门的日志分析工具，如ELK Stack...

			
		

	





	

		

			

				
					
利用Python中的pandas库对cdn日志进行分析详解

				
			

			

				

					09-21
				

			

		

		

			
				
### 利用Python中的pandas库对CDN日志进行分析详解  #### 前言 随着互联网技术的发展，CDN（Content Delivery Network）作为一项提高网站访问速度的服务被广泛应用。CDN通过在全球范围内分布服务器节点，使得用户...

			
		

	





	

		

			

				
					
Python数据分析之真实IP请求Pandas详解

				
			

			

				

					09-21
				

			

		

		

			
				
本文档详细介绍了如何利用`pandas`处理日志数据，并分析真实IP的请求情况。主要包括以下几个步骤：  1. **载入日志数据**：从文件中读取原始的日志数据，通常这些数据以文本形式存储。 2. **载入IP地址数据**：获取...

			
		

	





	

		

			

				
					
数仓项目实战-网站点击流数据分析项目

					
最新发布

				
			

			

				

					03-11
				

			

		

		

			
				
数据仓库设计遵循OLAP（在线分析处理）原则，包括维度建模（星型模型、雪花模型等）和事实表设计，目的是优化查询性能和数据组织。  4. ETL（Extract, Transform, Load）过程：这是数据仓库的核心环节，包括数据抽取...

			
		

	





	

		

			

				
					
一键分析你的上网行为(web页面可视化).rar

				
			

			

				

					01-18
				

			

		

		

			
				
在Python中进行行为分析通常需要借助一些数据分析和机器学习库。下面是一个基本的行为分析方案示例：  1. 数据收集：收集与行为相关的数据。这可能包括用户行为日志、交易记录、点击数据等。你可以使用Python访问...

			
		

	





	

		

			

				
					
关于Python3.7读取csv文件出现‘Skipping line 7: expected 2 fields, saw 3’报错问题的解决方案

				
			

			

				

					weixin_44139849的博客
				

				

					09-23
					
					9575
					
				

			

		

		

			
				
问题背景
python支持的read_csv非常方便易用，但在一次把csv转为xlsx的简单应用过程中，发现有多列诸如**‘Skipping line 7: expected 2 fields, saw 3’**报错，检查具体文件，发现报错的行都缺失了。需要调查解决。
问题定位
1.常规思路搜报错
出现很多相似问题，但要么没有解决，要么可读性差。最终是从下面作者找到的方案：
python读取csv文件遇到的问题
我一开始甚至以为和我的不是一个问题而错过浪费了至少3小时。。。直到后来测试文件的行数可以被检查，

			
		

	





	

		

			

				
					
Python 打印行列控制（API：pandas.set_option()）

				
			

			

				

					great_yzl的博客
				

				

					09-12
					
					1657
					
				

			

		

		

			
				
目录



pandas.set_option()：控制打印的行列

使用方式

实战

1、读取数据，发现问题

2、显示行列

总代码

参考资料：

pandas.set_option()：控制打印的行列


参数介绍：

compute.[use_bottleneck, use_numexpr]
display.[chop_threshold, colheader_justify, column_space, date_dayfirst, date_yearfirst, encoding, expa

			
		

	





	

		

			

				
					
Jupyter notebook之新手常遇到的问题及解决办法（二）

				
			

			

				

					笨鸟一直飞的博客
				

				

					05-26
					
					2501
					
				

			

		

		

			
				
前言
此部分紧接着上部分继续写出，如果没有读过上部分，建议点击以下网址读一下，感谢感谢！！????????????
https://blog.csdn.net/hh445782/article/details/106359740
（4）输出的表格中单元格的数据显示不完整
问题图示：

可以看到数据过长的单元格中，不会全部显示全部数据，而是用了省略号。解决办法是在运行输出表格的代码段之前，添加以下代码语句：
pd.set_option('display.max_colwidth', -1)

最终效果展示：


			
		

	





	

		

			

				
					
如何在 Jupyter 中控制数据字段全部显示

				
			

			

				

					wangjye99的博客
				

				

					04-10
					
					3131
					
				

			

		

		

			
				
当我们在 Jupyter Notebook 中查看数据时，有时可能会遇到仅显示部分数据的情况，例如使用省略号（...）表示数据字段。这是因为 Jupyter Notebook 会自动将数据字段的长度限制在一定范围内。本文将介绍如何控制在 Jupyter 中数据字段全部进行显示，而不是显示省略号。

			
		

	





	

		

			

				
					
Pandas教程12：常用的pd.set_option方法，显示所有行和列+不换行显示等等...

				
			

			

				

					我的Python教程
				

				

					02-12
					
					2536
					
				

			

		

		

			
				
使用这个函数后，能够帮助我们更好的显示数据，帮助我们更快的认识数据，能够节省不少时间。2.举例说明，先使用numpy生成一个100行15列的DataFrame数据，然后打印一下前后的数据。Pandas教程07：DataFrame数据的算术运算+逻辑运算+describe()方法+统计函数+自定义函数运算。---------------pandas数据分析集合---------------Pandas数据化分析，DataFrame行列索引数据的选取，增加，修改和删除操作。

			
		

	





	

		

			

				
					
pandas 基础

				
			

			

				

					老胡的笔记
				

				

					04-16
					
					1147
					
				

			

		

		

			
				
pandas有两个主要的数据结构DataFrame和Series。DataFrame是一个类似数据库表的二维结构，Series是一个一维结构。

			
		

	





	

		

			

				
					
pandas中set_option的常用设置：显示所有行、显示所有列、控制浮点型精度、每个数据元素的显示字符数、对齐形式等

				
			

			

				

					data+scenario+science+insight
				

				

					12-22
					
					1万+
					
				

			

		

		

			
				
pandas中set_option的常用设置：显示所有行、显示所有列、控制浮点型精度、每个数据元素的显示字符数、对齐形式等


			
		

	





	

		

			

				
					
【Python数据分析考试:必会题】Python中pandas的设置选项函数pd.set_option()方法

				
			

			

				

					liujingwei8610的专栏
				

				

					01-18
					
					6586
					
				

			

		

		

			
				
选择题
以下python代码的含义是什么?
pd.set_option('display.max_columns',None) 
pd.set_option('display.max_rows',5)
选项：
A 显示所有列；显示前2行，后2行，中间用省略号代替
B 不显示列名；显示前2行，后2行，中间用省略号代替
C 显示所有列；显示前5行
D 不显示含有空值的列；显示前5行

问题解析
1.pd.set_option()函数可以用来设置数据的最大显示行数和列数
2.pd.set_option('di..

			
		

	





	

		

			

				
					
Pandas的DataFrame输出截断和省略问题

					
热门推荐

				
			

			

				

					saltriver的专栏
				

				

					09-30
					
					1万+
					
				

			

		

		

			
				
我们看一个现象:import pandas as pd
titanic = pd.read_csv('titanic_data.csv')
print(titanic.head())Titanic_data.csv是kaggle上的泰坦尼克数据集，通过pandas读入到一个dataframe中，我们看看其前5行记录。输出结果如下： 
 
可以看到，记录被分成了3段截断输出，如果想在一行输出，该怎么办

			
		

	





	

		

			

				
					
pandas._libs.pandas_parser

				
			

			

				

					03-05
				

			

		

		

			
				
pandas._libs.pandas_parser是Pandas库中的一个模块，用于解析和处理数据文件。它提供了一些函数和类，用于读取和解析各种数据格式，如CSV、Excel、SQL等。  该模块包含了一些重要的函数和类，如read_csv()、read_...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值