感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：
① 2000多本Python电子书（主流和经典的书籍应该都有了）
② Python标准库资料（最全中文版）
③ 项目源码（四五十个有趣且经典的练手项目及源码）
④ Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）
⑤ Python学习路线图（告别不入流的学习）
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
commentall = re.compile(commentpat, re.S).findall(data)
next_cid = re.compile(lastpat).findall(data)[0]
infolist.append(commentall)
return next_cid
def print_comment_list(infolist):
j = 0
for page in infolist:
print(‘第’ + str(j + 1) + ‘页\n’)
commentall = page
for i in range(0, len(commentall)):
print(commentall[i] + ‘\n’)
j += 1
def save_to_txt(infolist, path):
fw = open(path, ‘w+’, encoding=‘utf-8’)
j = 0
for page in infolist:
#fw.write(‘第’ + str(j + 1) + ‘页\n’)
commentall = page
for i in range(0, len(commentall)):
fw.write(commentall[i] + ‘\n’)
j += 1
fw.close()
def main():
infolist = []
vid = ‘7579013546’;
cid = “0”;
page_num =3000
url = ‘https://video.coral.qq.com/varticle/’ + vid + ‘/comment/v2’
#print(url)
for i in range(page_num):
params = {‘orinum’: ‘10’, ‘cursor’: cid}
html = get_html(url, params)
cid = parse_page(infolist, html)
print_comment_list(infolist)
save_to_txt(infolist, ‘time.txt’)
main()
二. 数据处理部分
1. 评论的时间戳转换为正常时间
time.py
coding=gbk
import csv
import time
csvFile = open(“data.csv”,‘w’,newline=‘’,encoding=‘utf-8’)
writer = csv.writer(csvFile)
csvRow = []
#print(csvRow)
f = open(“time.txt”,‘r’,encoding=‘utf-8’)
for line in f:
csvRow = int(line)
#print(csvRow)
timeArray = time.localtime(csvRow)
csvRow = time.strftime(“%Y-%m-%d %H:%M:%S”, timeArray)
print(csvRow)
csvRow = csvRow.split()
writer.writerow(csvRow)
f.close()
csvFile.close()
2. 评论内容读入csv
CD.py
coding=gbk
import csv
csvFile = open(“content.csv”,‘w’,newline=‘’,encoding=‘utf-8’)
writer = csv.writer(csvFile)
csvRow = []
f = open(“content.txt”,‘r’,encoding=‘utf-8’)
for line in f:
csvRow = line.split()
writer.writerow(csvRow)
f.close()
csvFile.close()
3. 统计一天各个时间段内的评论数
py.py
coding=gbk
import csv
from pyecharts import options as opts
from sympy.combinatorics import Subset
from wordcloud import WordCloud
with open(‘…/Spiders/data.csv’) as csvfile:
reader = csv.reader(csvfile)
data1 = [str(row[1])[0:2] for row in reader]
print(data1)
print(type(data1))
#先变成集合得到seq中的所有元素，避免重复遍历
set_seq = set(data1)
rst = []
for item in set_seq:
rst.append((item,data1.count(item))) #添加元素及出现个数
rst.sort()
print(type(rst))
print(rst)
with open(“time2.csv”, “w+”, newline=‘’, encoding=‘utf-8’) as f:
writer = csv.writer(f, delimiter=‘,’)
for i in rst: # 对于每一行的，将这一行的每个元素分别写在对应的列中
writer.writerow(i)
with open(‘time2.csv’) as csvfile:
reader = csv.reader(csvfile)
x = [str(row[0]) for row in reader]
print(x)
with open(‘time2.csv’) as csvfile:
reader = csv.reader(csvfile)
y1 = [float(row[1]) for row in reader]
print(y1)
4. 统计最近评论数
py1.py
coding=gbk
import csv
from pyecharts import options as opts
from sympy.combinatorics import Subset
from wordcloud import WordCloud
with open(‘…/Spiders/data.csv’) as csvfile:
reader = csv.reader(csvfile)
data1 = [str(row[0]) for row in reader]
#print(data1)
print(type(data1))
#先变成集合得到seq中的所有元素，避免重复遍历
set_seq = set(data1)
rst = []
for item in set_seq:
rst.append((item,data1.count(item))) #添加元素及出现个数
rst.sort()
print(type(rst))
print(rst)
with open(“time1.csv”, “w+”, newline=‘’, encoding=‘utf-8’) as f:
writer = csv.writer(f, delimiter=‘,’)
for i in rst: # 对于每一行的，将这一行的每个元素分别写在对应的列中
writer.writerow(i)
with open(‘time1.csv’) as csvfile:
reader = csv.reader(csvfile)
x = [str(row[0]) for row in reader]
print(x)
with open(‘time1.csv’) as csvfile:
reader = csv.reader(csvfile)
y1 = [float(row[1]) for row in reader]
print(y1)
三. 数据分析
数据分析方面：涉及到了词云图，条形，折线，饼图，后三者是对评论时间与主演占比的分析，然而腾讯的评论时间是以时间戳的形式显示，所以要进行转换，再去统计出现次数，最后，新加了对评论内容的情感分析。
1. 制作词云图
wc.py
import numpy as np
import re
import jieba
from wordcloud import WordCloud
from matplotlib import pyplot as plt
from PIL import Image
上面的包自己安装，不会的就百度
f = open(‘content.txt’, ‘r’, encoding=‘utf-8’) # 这是数据源，也就是想生成词云的数据
txt = f.read() # 读取文件
f.close() # 关闭文件，其实用with就好，但是懒得改了
如果是文章的话，需要用到jieba分词，分完之后也可以自己处理下再生成词云
newtxt = re.sub(“[A-Za-z0-9!%[],\。]”, “”, txt)
print(newtxt)
words = jieba.lcut(newtxt)
img = Image.open(r’wc.jpg’) # 想要搞得形状
img_array = np.array(img)
相关配置，里面这个collocations配置可以避免重复
wordcloud = WordCloud(
background_color=“white”,
width=1080,
height=960,
font_path=“…/文悦新青年.otf”,
max_words=150,
scale=10,#清晰度
max_font_size=100,
mask=img_array,
collocations=False).generate(newtxt)
plt.imshow(wordcloud)
plt.axis(‘off’)
plt.show()
wordcloud.to_file(‘wc.png’)
轮廓图：wc.jpg
词云图：result.png （注：这里把英文字母过滤掉）
2. 制作最近评论数条形图
DrawBar.py
encoding: utf-8
import csv
import pyecharts.options as opts
from pyecharts.charts import Bar
from pyecharts.globals import ThemeType
class DrawBar(object):
“”“绘制柱形图类”“”
def init(self):
“”“创建柱状图实例，并设置宽高和风格”“”
self.bar = Bar(init_opts=opts.InitOpts(width=‘1500px’, height=‘700px’, theme=ThemeType.LIGHT))
def add_x(self):
“”“为图形添加X轴数据”“”
with open(‘time1.csv’) as csvfile:
reader = csv.reader(csvfile)
x = [str(row[0]) for row in reader]
print(x)
self.bar.add_xaxis(
xaxis_data=x,
)
def add_y(self):
with open(‘time1.csv’) as csvfile:
reader = csv.reader(csvfile)
y1 = [float(row[1]) for row in reader]
print(y1)
“”“为图形添加Y轴数据，可添加多条”“”
self.bar.add_yaxis( # 第一个Y轴数据
series_name=“评论数”, # Y轴数据名称
y_axis=y1, # Y轴数据
label_opts=opts.LabelOpts(is_show=True,color=“black”), # 设置标签
bar_max_width=‘100px’, # 设置柱子最大宽度
)
def set_global(self):
“”“设置图形的全局属性”“”
#self.bar(width=2000,height=1000)
self.bar.set_global_opts(
title_opts=opts.TitleOpts( # 设置标题
title=‘雪中悍刀行近日评论统计’,title_textstyle_opts=opts.TextStyleOpts(font_size=35)
),
tooltip_opts=opts.TooltipOpts( # 提示框配置项（鼠标移到图形上时显示的东西）
is_show=True, # 是否显示提示框
trigger=“axis”, # 触发类型（axis坐标轴触发，鼠标移到时会有一条垂直于X轴的实线跟随鼠标移动，并显示提示信息）
axis_pointer_type=“cross”# 指示器类型（cross将会生成两条分别垂直于X轴和Y轴的虚线，不启用trigger才会显示完全）
),
toolbox_opts=opts.ToolboxOpts(), # 工具箱配置项(什么都不填默认开启所有工具)
)
def draw(self):
“”“绘制图形”“”
self.add_x()
self.add_y()
self.set_global()
self.bar.render(‘…/Html/DrawBar.html’) # 将图绘制到 test.html 文件内，可在浏览器打开
def run(self):
“”“执行函数”“”
self.draw()
if name == ‘main’:
app = DrawBar()
app.run()
效果图：DrawBar.html
3. 制作每小时评论条形图
DrawBar2.py
encoding: utf-8
encoding: utf-8
import csv
import pyecharts.options as opts
from pyecharts.charts import Bar
from pyecharts.globals import ThemeType
class DrawBar(object):
“”“绘制柱形图类”“”
def init(self):
“”“创建柱状图实例，并设置宽高和风格”“”
self.bar = Bar(init_opts=opts.InitOpts(width=‘1500px’, height=‘700px’, theme=ThemeType.MACARONS))
def add_x(self):
“”“为图形添加X轴数据”“”
str_name1 = ‘点’
with open(‘time2.csv’) as csvfile:
reader = csv.reader(csvfile)
x = [str(row[0] + str_name1) for row in reader]
print(x)
self.bar.add_xaxis(
xaxis_data=x
)
def add_y(self):
with open(‘time2.csv’) as csvfile:
reader = csv.reader(csvfile)
y1 = [int(row[1]) for row in reader]
print(y1)
“”“为图形添加Y轴数据，可添加多条”“”
self.bar.add_yaxis( # 第一个Y轴数据
series_name=“评论数”, # Y轴数据名称
y_axis=y1, # Y轴数据
label_opts=opts.LabelOpts(is_show=False), # 设置标签
bar_max_width=‘50px’, # 设置柱子最大宽度
)
def set_global(self):
“”“设置图形的全局属性”“”
#self.bar(width=2000,height=1000)
self.bar.set_global_opts(
title_opts=opts.TitleOpts( # 设置标题
title=‘雪中悍刀行各时间段评论统计’,title_textstyle_opts=opts.TextStyleOpts(font_size=35)
),
tooltip_opts=opts.TooltipOpts( # 提示框配置项（鼠标移到图形上时显示的东西）
is_show=True, # 是否显示提示框
trigger=“axis”, # 触发类型（axis坐标轴触发，鼠标移到时会有一条垂直于X轴的实线跟随鼠标移动，并显示提示信息）
axis_pointer_type=“cross”# 指示器类型（cross将会生成两条分别垂直于X轴和Y轴的虚线，不启用trigger才会显示完全）
),
toolbox_opts=opts.ToolboxOpts(), # 工具箱配置项(什么都不填默认开启所有工具)
)
def draw(self):
“”“绘制图形”“”
self.add_x()
self.add_y()
self.set_global()
self.bar.render(‘…/Html/DrawBar2.html’) # 将图绘制到 test.html 文件内，可在浏览器打开
def run(self):
“”“执行函数”“”
self.draw()
if name == ‘main’:
app = DrawBar()
app.run()
如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、学习软件
工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。
四、入门学习视频
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
四、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
五、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
