python晋江文学城数据分析(二)——数据预处理

晋江文学城数据分析(一)——爬虫(BeautifulSoup正则)_kpl_22b的博客-CSDN博客

        承接上文,将爬好的数据用python和jupyter进行处理分析。

目录

1初步探索

2数据清洗

2.1重复值处理

 2.2缺失值处理

 2.3字段类型转换

3特殊处理

4结果


1初步探索

        数据导入后,用data.head()和data.info()查看数据。

        1.标签下简介和标签应分离;

        2.类型下可用“-”分离为四个属性方便后续数据分析;

        3.发表时间可具体分离为发表日期和发表时间;

        4.大部分列数据都是46953条,除了当前被收藏数、文案、视角。文案、视角是允许空白的,当前被收藏数空白是爬取的问题,数量不多,直接删去。

        5.本该为数值型的总书评数、当前被收藏数、营养液数目前不是数值型,应转换。

        问题分析如上,但实际操作中,并不一定按上面的顺序处理问题。

2数据清洗

2.1重复值处理

        有些数据里面的样本id是不允许重复的,比如订单ID在电商系统中是不会重复使用的。而有些情况下,样本id重复是被允许的。

data.nunique()

data.nunique()==data.shape[0]

 

         本文中,链接充当了id的角色,可以看出,存在重复的数据,应去除。

data = data.drop_duplicates(subset=['链接'], keep='first')
data.nunique()==data.shape[0]

 2.2缺失值处理

data.isnull().sum()

        有缺失值的主要是总书评数、当前被收藏数、营养液数、文案、视角,由于数量值较小,直接删除。

data=data.dropna(axis=0)
data.isnull().sum()

 2.3字段类型转换

        将总书评数、当前被收藏数、营养液数转换为数值型。

#把非字符串格式改为字符串格式
data['总书评数']=data['总书评数'].apply(str)
data['当前被收藏数']=data['当前被收藏数'].apply(str)
data['营养液数']=data['营养液数'].apply(str)

#将包含非数字的字符串去除
data = data[data.总书评数.str.contains("^[0-9]")]
data = data[data.当前被收藏数.str.contains("^[0-9]")]
data = data[data.营养液数.str.contains("^[0-9]")]

#转换为数值型
data["总书评数"] = pd.to_numeric(data["总书评数"], errors='coerce')
data["当前被收藏数"] = pd.to_numeric(data["当前被收藏数"], errors='coerce')
data["营养液数"] = pd.to_numeric(data["营养液数"], errors='coerce')
data.info()

3特殊处理

        此次分析主要针对小说,将类型为随笔、未知、评论的数据删去。

data = data.drop(index = data[(data.类型 == '随笔')].index.tolist())
data = data.drop(index = data[(data.类型 == '未知')].index.tolist())
data = data.drop(index = data[(data.类型 == '评论')].index.tolist())
data.info()

         简介与标签分离:

# 将简介和标签分离
data_biao=data['标签'].str.split('\n',expand=True)
data['简介']=data_biao[0]
data['标签']=data_biao[1]
data['标签']=data['标签'].str.replace('标签:','')
data['简介']=data['简介'].str.replace('简介:','')

        将类型分离为原创性、性向、时代、类型:

#将类型分离为原创性、性向、时代、类型
data_type=data['类型'].str.split('-',expand=True)
data['原创性']=data_type[0]
data['性向']=data_type[1]
data['时代']=data_type[2]
data['类型']=data_type[3]

        处理发表时间:

data_time=data['发表时间'].str.split(' ',expand=True)
data['发表日期']=data_time[0]
data['发表时间']=data_time[1]
data['发表日期'] = pd.to_datetime(data['发表日期'], format='%Y-%m-%d', errors='coerce')   #转换
data['发表时间'] = pd.to_datetime(data['发表时间'], format='%H:%M:%S', errors='coerce')   #转换
data.info()

        删去时代、性向未知的

#删去时代、性向未知的
data = data.drop(index = data[(data.时代 == '未知')].index.tolist())
data = data.drop(index = data[(data.性向 == '未知')].index.tolist())

4结果

         最后得到46844条数据。

  • 2
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Pandas是一个Python库,用于数据处理和分析。在数据分析中,预处理是非常重要的一步,因为它可以帮助我们清洗和转换数据,使其更适合进行分析。Pandas提供了一些强大的预处理功能,包括数据清洗、数据转换、数据重塑和数据合并等。在使用Pandas进行数据分析时,预处理是必不可少的一步。 ### 回答2: 在数据分析中,数据的预处理是一个必要的过程。它的主要目的是清洗数据,准备数据,以便后续分析。在Python中,pandas是一种广泛使用的数据处理库。pandas可以通过其高效的数据结构和操作方法来清洗和处理数据。在本文中,将介绍pandas预处理的一些常见技术。 一、读取数据 在pandas中,使用read_csv()函数读取CSV格式的数据文件,read_excel()函数读取Excel格式的数据文件。它们都有很多选项,可以根据具体文件的格式进行设置。 、查看数据 在pandas中,使用以下函数来查看数据: 1. head() - 显示数据框的前几行; 2. tail() - 显示数据框的后几行; 3. columns - 显示数据框的列名; 4. shape - 显示数据框的行列数; 5. info() - 显示数据框的基本信息,包括每列的名称、非空值数量和数据类型。 三、数据清洗 在数据清洗中,有以下一些常见的技术: 1. 删除重复行:使用drop_duplicates()函数; 2. 替换空值:使用fillna()函数; 3. 删除空值:使用dropna()函数; 4. 更改数据类型:使用astype()函数。 四、数据准备 在数据准备中,有以下一些常见的技术: 1. 数据合并:使用merge()函数; 2. 数据筛选:使用loc()函数或者iloc()函数; 3. 数据分组:使用groupby()函数; 4. 数据排序:使用sort_values()函数。 五、数据分析数据分析中,有以下一些常见的技术: 1. 数据聚合:使用agg()函数; 2. 统计描述:使用describe()函数; 3. 数据可视化:使用matplotlib或者seaborn库。 综上所述,pandas预处理是数据分析中必不可少的一步。通过使用pandas提供的函数和方法,可以方便地清理和处理数据,使其更容易被分析。 ### 回答3: Pandas是Python中最强大的数据处理库之一,它提供了DataFrame和Series这两种数据结构,可以快速便捷地处理数据。在数据分析过程中,我们往往需要先对数据进行预处理,以便后续的分析。Pandas提供了一系列的方法和函数,可以帮助我们进行数据的预处理。 首先,在进行数据分析之前,我们需要了解自己所面对的数据类型和数据结构。Pandas中的DataFrame结构就是类似于表格的结构,每一行代表一个样本,每一列代表一个属性。Series则是一维的数组结构。通过pandas.read_csv(),我们可以读取CSV格式的数据,并转化为DataFrame结构。 接下来,我们要对数据进行一些基本的处理,例如数据清洗、数据去重、缺失值处理、异常值处理等。在数据清洗过程中,我们往往需要对数据进行一些特殊的处理,例如字符串的分割、合并、替换等操作,Pandas提供了一系列能够对文本进行操作的函数。在数据去重方面,我们可以使用drop_duplicates()函数,它可以去除DataFrame中的重复记录。在处理缺失值时,Pandas提供了一系列的函数,如fillna()函数、dropna()函数,可以方便地将NaN值变为其他有意义的值,或者删除缺失值的行或列。在异常值处理方面,我们可以使用isoutlier()函数来找到数据中的异常值,并进行处理。 在数据预处理完成后,我们可以对数据进行一些统计分析,例如计算小计、计算总计、分位数、极差、方差、标准差等统计指标。我们可以使用describe()函数来获得数据的统计描述,还可以使用groupby()函数来对数据分组,使用agg()函数对每组进行计算统计指标。此外,我们还可以对数据进行排序、丢弃、合并等操作。 总之,Pandas是一个非常强大的Python库,可以轻松处理数据预处理和数据处理方面的任务。Pandas作为数据分析和数据处理的基础库,使用熟练后可以在数据分析中发挥更大的作用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值