df.head()
数据清洗
此部分我们初步对以下信息进行简单的处理,其中包含:
-
title:提取主题和介绍
-
top_rank:提取数值
-
view_num:提取数值
-
dm_num: 提取数值
-
dianzan: 计算数值
-
toubi: 计算数值
-
shoucang:计算数值
-
zhuanfa:计算数值
定义转换函数
def transform_num(x):
str1 = str(x)
if ‘万’ in str1:
return float(str1.strip(‘万’))*10000
else:
return float(str1)
提取数据
df[‘title_1’] = df.title.str.extract(‘【(.?)】.’)
df[‘title_2’] = df.title.str.split(‘】’).str[-1]
df[‘top_rank’] = df.top_rank.str.extract(‘最高全站日排行(\d+)名’)
df[‘view_num’] = df.view_num.str.extract(‘(\d+)’)
df[‘dm_num’] = df.dm_num.str.extract(‘(\d+)’)
df[‘dianzan’] = df.dianzan.apply(lambda x: transform_num(x))
df[‘toubi’] = df.toubi.apply(lambda x: transform_num(x))
df[‘shoucang’] = df.shoucang.apply(lambda x: transform_num(x))
df[‘zhuanfa’] = df.zhuanfa.apply(lambda x: transform_num(x))
转换类型
df[‘view_num’] = df.view_num.astype(‘int’)
df[‘dm_num’] = df.dm_num.astype(‘int’)
df[‘publish_time’] = pd.to_datetime(df[‘publish_time’])
经过处理之后的数据如下所示:
df.head(2)
数据可视化
此处我们将进行以下部分的可视化分析,首先导入所需包,其中pyecharts用于绘制动态可视化图形,stylecloud包用于绘制词云图。关键部分代码如下:
导出所需包
from pyecharts.charts import Pie, Line, Tab, Map, Bar, WordCloud, Page
from pyecharts import options as opts
from pyecharts.globals import SymbolType
import stylecloud
视频各年发布数量
发布数量
pub_year = df.publish_time.dt.year.value_counts().sort_index()
条形图
bar0 = Bar(init_opts=opts.InitOpts(width=‘1350px’, height=‘750px’))
bar0.add_xaxis(pub_year.index.tolist())
bar0.add_yaxis(‘’, pub_year.values.tolist())
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
加入社区:https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0