百度飞桨《青春有你2》Python小白逆袭大神活动总结与感悟

本文链接：https://blog.csdn.net/weixin_47279015/article/details/105804961

在学校老师的推荐下得知这个训练营的活动，有幸参与其中，学到了很多设计上的思路。尤其是最后一天的大作业，初上手时没有头绪，仔细分析过后，根据前面几天的内容发现自己其实可以把它进行逐步实现。最后在自己的代码运行出问题之后，参考了老师的讲解得以解决绝大部分的问题。也算是对自己思维能力的一种训练开拓。就像这个大作业一样，或许看上去繁琐复杂，但只要清楚了它的原理与步骤，做起来还是比较容易的。
在微信群中大家的讨论也对自己思路的瓶颈有很大的启发作用，也可以感受到比较友好的氛围。对学习环境的营造个人认为也是成功的。

虽然对老师们或者其他非常厉害的人来说，这个大作业做起来可能只需要很短的时间，但是对于入门不久的自己来说，熬夜去完成这项一开始看起来就毫无头绪的作业还是非常兴奋的。对于种种报错会自己去排查试错，对于作业实现的思路去独立分析，过程虽然非常辛苦，但当自己达成了目标的时候，就会觉得过程的辛苦不算什么了。

Day1-Python基础练习

作业一：输出 9*9 乘法口诀表(注意格式)

第一天讲了python的基本语法相关，虽然没有学校内容详细，但内容都很简单：

def table():
    #在这里写下您的乘法口诀表代码吧！
    i = 0
    j = 0
    for i in range (1,10):
        for j in range(1,i+1):
            # c = 10-i
            # d = 10-j
            print("{}*{}={}".format(j,i,i*j),end="\t")
        print(' ')

if __name__ == '__main__':
    table()

输出结果为：

1*1=1  
1*2=2 2*2=4  
1*3=3 2*3=6 3*3=9  
1*4=4 2*4=8 3*4=12 4*4=16  
1*5=5 2*5=10 3*5=15 4*5=20 5*5=25  
1*6=6 2*6=12 3*6=18 4*6=24 5*6=30 6*6=36  
1*7=7 2*7=14 3*7=21 4*7=28 5*7=35 6*7=42 7*7=49  
1*8=8 2*8=16 3*8=24 4*8=32 5*8=40 6*8=48 7*8=56 8*8=64  
1*9=9 2*9=18 3*9=27 4*9=36 5*9=45 6*9=54 7*9=63 8*9=72 9*9=81

将每一行看作一个输出，将第二个参数设为最外层的for循环，即可实现阶梯式输出。

作业二：查找特定名称文件

遍历”Day1-homework”目录下文件；
找到文件名包含“2020”的文件；
将文件名保存到数组result中；
按照序号、文件名分行打印输出。
注意：提交作业时要有代码执行输出结果。

#导入OS模块
import os
#待搜索的目录路径
path = "Day1-homework"
#待搜索的名称
filename = "2020"
#定义保存结果的数组
result = []

def findfiles():
    i = 0
    r = 0
    #在这里写下您的查找文件代码吧！
    for maindir, subdir,file_name_list in os.walk(path):
        for files in file_name_list:
            if filename in files: 
                i += 1  
                apath = os.path.join(maindir, files)
                result.append([i,apath])
    while i > 0:
        print("{}".format(result[r]))
        i -= 1
        r += 1

if __name__ == '__main__':
    findfiles()

这里会用到os库中的os.work()
方法，其中，os.walk有三个返回值，分别代表当前的遍历目录，文件夹，文件，分别以列表的形式存储。

Day2-《青春有你2》选手信息爬取

1.请在下方提示位置，补充代码，完成《青春有你2》选手图片爬取，将爬取图片进行保存，保证代码正常运行
2.打印爬取的所有图片的绝对路径，以及爬取的图片总数，此部分已经给出代码。请在提交前，一定要保证有打印结果。

def crawl_pic_urls():
    '''
    爬取每个选手的百度百科图片，并保存
    ''' 
    with open('work/'+ today + '.json', 'r', encoding='UTF-8') as file:
         json_array = json.loads(file.read())

    headers = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' 
     }
    for star in json_array:

        name = star['name']
        link = star['link']
        #！！！请在以下完成对每个选手图片的爬取，将所有图片url存储在一个列表pic_urls中！！！ 
        pic_urls = []  
        ##导向选手个人的百科页面-->导向图片的网址-->利用select选择其中的img标签，并用get获取地址
        response = requests.get(link,headers=headers)
        bsp = BeautifulSoup(response.text,'lxml')
        find_div = bsp.find_all('div',{'class':'summary-pic'})
        bsHref = find_div[0].a.get('href')
        p_url = 'https://baike.baidu.com' + bsHref
        P_getres = requests.get(p_url,headers=headers)
        P_urls = BeautifulSoup(P_getres.text,'lxml')
        P_urls_a = P_urls.select('.pic-list img[src] ')
        for Pud in P_urls_a:
            P_urls_src = Pud.get('src')
            pic_urls.append(P_urls_src)


        #！！！根据图片链接列表pic_urls, 下载所有图片，保存在以name命名的文件夹中！！！
        down_pic(name,pic_urls)

第二天的作业用到了爬虫，看似作业量很大，但其实真正需要自己去做的只有一部分。

导向选手个人的百科页面
获取导向选手图册的href
导向选手图册
利用select选择其中的img标签，并用get获取地址，将其写入列表pic_urls中

难度较第一天来说稍微要大一点，但去查一下还是做的比较轻松的。

Day3-《青春有你2》选手数据分析

在下方提示位置，补充代码，对《青春有你2》对选手体重分布进行可视化，绘制饼状图

import matplotlib.pyplot as plt
import numpy as np 
import json 
import matplotlib.font_manager as font_manager
import pandas as pd

tz = pd.read_json('data/data31557/20200422.json')
weight = tz['name'].groupby(tz['weight'])
weights = weight.count()
idex = weights.index
value = weights.values
y = ['<= 45kg','45~50kg','50~55kg','> 55kg']
x = [0,0,0,0]
for i in idex:
    ints = i[:-2]
    ins = float(ints)
    if ins <= 45.:
        x[0] += int(weights[i])
        continue
    if (ins > 45.) & (ins <= 50.):
        x[1] += int(weights[i])
        continue
    if (ins > 50.) & (ins <= 55.):
        x[2] += int(weights[i])
        continue
    else:
        x[3] += int(weights[i])
        continue

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.figure(figsize=(9,9))
plt.axes(aspect='equal')
plt.pie(x=x,labels=y,explode=[0,0.1,0,0],autopct='%.1f%%',radius=0.9,startangle=90,textprops= {'fontsize':10},wedgeprops={'linewidth':1,'edgecolor':'gray'},shadow= True)
plt.title('选手体重分布图',fontsize=15)
plt.legend(title='legend')
plt.savefig('/home/aistudio/work/result/bar_result_pie.jpg')
plt.show()

需要对matplotlib库具有一定的了解。由于我们要绘制的饼状图的每个分布比例是一个取值区间，所以需要对选手的体重进行判断。
在这里我们使用proupby对数据进行分组统计

weight = tz['name'].groupby(tz['weight'])
weights = weight.count()

对weights进行打印输出：

weight
40kg       2
41kg       1
42kg       4
43kg       4
44kg       9
45kg       5
46kg      12
47kg      11
48.5kg     1
48kg      19
49kg      11
50kg      12
51.5kg     1
51kg       3
52.5kg     1
52kg       4
53kg       1
54kg       2
55kg       1
56kg       2
58kg       2
59kg       1
Name: name, dtype: int64
------

可以发现，在进行归类的时候还需要去掉计量单位，在这里，可以选择在遍历的时候直接过滤掉最后两位计量单位进行强制类型转换，比较轻松的完成分类统计。

Day4-PaddleHub之《青春有你2》作业：五人识别

一、任务简介
图像分类是计算机视觉的重要领域，它的目标是将图像分类到预定义的标签。近期，许多研究者提出很多不同种类的神经网络，并且极大的提升了分类算法的性能。本文以自己创建的数据集：青春有你2中选手识别为例子，介绍如何使用PaddleHub进行图像分类任务。
这项作业对比前面的作业看起来要难得很多，就这项任务本身来说，用到了迁移学习。

迁移学习(Transfer learning) 顾名思义就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。

但就这项作业本身来说，我们要做的只是自己去制作数据集即可。
在这里可以使用os.walk()来将收集的数据集写入到train_list中。

import osimport pandas as pd
import numpy as np
from pandas import Series, DataFrame
import cv2
path = 'dataset/train/'
name = ['yu/','xu/','zhao/','anqi/','wang/']##遍历
f = open('dataset/train_list.txt','w', encoding='UTF-8')
i = 0
for x in name:    
    Path = path + x    
    for maindir, subdir,file_name_list in os.walk(Path):        
        for sub in file_name_list:            
            d = []            
            c = os.path.join(maindir,sub)            
            d.append(c + ' ' + str(i))            
            d[0].replace("'dataset/",' ')            
            f.write(d[0]+'\n')    
    i += 1
print(f)
f.close()

调整train_list和validate_list的比例之后上传即可。
在实际操作过程中，遇到了数据集存放位置读取不正确的问题。会重复出现dataset这个路径导致报错，后来使用了绝对路径的表达方式得以解决。
在做这项作业的过程中可以发现，迁移学习对模型训练效率的提升有很大的帮助，在时间方面也要比从零开始建模要更加快速。也可以发现，在数据集不多的情况下，没有做数据增强的数据集对模型的训练效果是相对较差的，很容易会出现严重的过拟合现象。

#CPU环境启动请务必执行该指令
#%set_env CPU_NUM=1 

#安装paddlehub
!pip install paddlehub==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
#解压数据集
#!unzip -o dataset.zip -d ./

#加载预训练模型
import paddlehub as hub
module = hub.Module(name="resnet_v2_50_imagenet")

#数据准备：
from paddlehub.dataset.base_cv_dataset import BaseCVDataset
   
class DemoDataset(BaseCVDataset):	
   def __init__(self):	
       # 数据集存放位置
       
       self.dataset_dir = "."
       super(DemoDataset, self).__init__(
           base_path=self.dataset_dir,
           train_list_file="dataset/train_list.txt",
           validate_list_file="dataset/validate_list.txt",
           test_list_file="dataset/test_list.txt",
           label_list_file="dataset/label_list.txt",
           )
dataset = DemoDataset()

#Step4、生成数据读取器
#接着生成一个图像分类的reader，reader负责将dataset的数据进行预处理，接着以特定格式组织并输入给模型进行训练。
#当我们生成一个图像分类的reader时，需要指定输入图片的大小
data_reader = hub.reader.ImageClassificationReader(
    image_width=module.get_expected_image_width(),
    image_height=module.get_expected_image_height(),
    images_mean=module.get_pretrained_images_mean(),
    images_std=module.get_pretrained_images_std(),
    dataset=dataset)
#Step5、配置策略
#在进行Finetune前，我们可以设置一些运行时的配置，例如如下代码中的配置，表示：
#use_cuda：设置为False表示使用CPU进行训练。如果您本机支持GPU，且安装的是GPU版本的PaddlePaddle，我们建议您将这个选项设置为True；
#epoch：迭代轮数；
#batch_size：每次训练的时候，给模型输入的每批数据大小为32，模型训练时能够并行处理批数据，因此batch_size越大，训练的效率越高，但是同时带来了内存的负荷，过大的batch_size可能导致内存不足而无法训练，因此选择一个合适的batch_size是很重要的一步；
#log_interval：每隔10 step打印一次训练日志；
#eval_interval：每隔50 step在验证集上进行一次性能评估；
#checkpoint_dir：将训练的参数和数据保存到cv_finetune_turtorial_demo目录中；
#strategy：使用DefaultFinetuneStrategy策略进行finetune；
#更多运行配置，请查看RunConfig：https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub-API:-RunConfig
#同时PaddleHub提供了许多优化策略，如AdamWeightDecayStrategy、ULMFiTStrategy、DefaultFinetuneStrategy等，详细信息参见策略：https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub-API:-Strategy

config = hub.RunConfig(
    use_cuda=True,                              #是否使用GPU训练，默认为False；
    num_epoch=3,                                #Fine-tune的轮数；
    checkpoint_dir="cv_finetune_turtorial_demo",#模型checkpoint保存路径, 若用户没有指定，程序会自动生成；
    batch_size=3,                              #训练的批大小，如果使用GPU，请根据实际情况调整batch_size；
    eval_interval=10,                           #模型评估的间隔，默认每100个step评估一次验证集；
    strategy=hub.finetune.strategy.DefaultFinetuneStrategy())  #Fine-tune优化策略；
 
#Step6、组建Finetune Task并运行
#有了合适的预训练模型和准备要迁移的数据集后，我们开始组建一个Task。
#由于该数据设置是一个二分类的任务，而我们下载的分类module是在ImageNet数据集上训练的千分类模型，所以我们需要对模型进行简单的微调，把模型改造为一个二分类模型：
#获取module的上下文环境，包括输入和输出的变量，以及Paddle Program；
#从输出变量中找到特征图提取层feature_map；
#在feature_map后面接入一个全连接层，生成Task；

input_dict, output_dict, program = module.context(trainable=True)
img = input_dict["image"]
feature_map = output_dict["feature_map"]
feed_list = [img.name]

task = hub.ImageClassifierTask(
    data_reader=data_reader,
    feed_list=feed_list,
    feature=feature_map,
    num_classes=dataset.num_labels,
    config=config)
 # 我们选择finetune_and_eval接口来进行模型训练，这个接口在finetune的过程中，会周期性的进行模型效果的评估，以便我们了解整个训练过程的性能变化。
run_states = task.finetune_and_eval()

# 开始预测
import numpy as np
import matplotlib.pyplot as plt 
import matplotlib.image as mpimg
with open("dataset/test_list.txt","r") as f:
    filepath = f.readlines()
data = [filepath[0].split(" ")[0],filepath[1].split(" ")[0],filepath[2].split(" ")[0],filepath[3].split(" ")[0],filepath[4].split(" ")[0]]  ##逐行读取
label_map = dataset.label_dict()
index = 0
run_states = task.predict(data=data)
results = [run_state.run_results for run_state in run_states]
for batch_result in results:
    print(batch_result)
    batch_result = np.argmax(batch_result, axis=2)[0]
    print(batch_result)
    for result in batch_result:
        index += 1
        result = label_map[result]
        print("input %i is %s, and the predict result is %s" % (index, data[index - 1], result))

Day5-综合大作业

1、完成爱奇艺《青春有你2》评论数据爬取：爬取任意一期正片视频下评论，评论条数不少于1000条
2、词频统计并可视化展示
3、绘制词云
4、结合PaddleHub，对评论进行内容审核

这项作业第一眼看上去工作量非常大，难度也很高。其实不然，将它的步骤分开以后会发现其实还是比较容易些的。
准备工作：

!pip install jieba 
!pip install wordcloud
#安装模型
!hub install porn_detection_lstm==1.1.0
!pip install --upgrade paddlehub
# !wget https://mydueros.cdn.bcebos.com/font/simhei.ttf # 下载中文字体
# #创建字体目录fonts
# !mkdir .fonts
# # 复制字体文件到该路径 !cp simhei.ttf /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/ 解决中文字体问题！
# !cp simhei.ttf .fonts/
!cp simhei.ttf /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/

在这里，可能会遇到字体下载失败的问题，我们可以将本地的字体上传到notebook上，再将其复制到指定路径，从而使得绘制词频统计图时不会报错。同时，为了生成美观的词云，我们还需要上传自己的mask图。

准备工作完成之后，就可以对目标网页进行爬取，为了获取更多的评论内容，需要不断获取评论区最后一个用户的ID。在这里，我们可以直接将最后一个dict的rootCommentId作为返回值以方便获取新的评论。同时，我们将评论以list的形式存储起来。

from __future__ 
import print_function
import requests
import json
import re #正则匹配
import time #时间处理模块
import jieba #中文分词
import numpy as np
import matplotlib
import matplotlib.pyplot as plt
import matplotlib.font_manager as font_manager
from PIL import Image
from wordcloud import WordCloud  #绘制词云模块
import paddlehub as hub

#请求爱奇艺评论接口，返回response信息
def getMovieinfo(url):
    '''
    请求爱奇艺评论接口，返回response信息   最后一个rootCommentId
    参数  url: 评论的url
    :return: response信息
    '''
    headers = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }                       

    # try:
    response = requests.get(url,headers=headers)
    return response.text

#解析json数据，获取评论
def saveMovieInfoToFile(last,res):
    '''
    解析json数据，获取评论
    参数  lastId:最后一条评论ID  arr:存放文本的list
    :return: 新的lastId
    '''
    # global t
    url = 'https://sns-comment.iqiyi.com/v3/comment/get_comments.action?agent_type=118&agent_version=9.11.5&authcookie=null&business_type=17&content_id=15303652400&hot_size=0&last_id='
    url += str(last)
    r = getMovieinfo(url)  #调用爬虫
    rjson = json.loads(r)  ##{}字典形式，可以读取键值对  dict_keys(['data', 'code', 'msg'])
    c = rjson['data']['comments']  ## dict_keys(['count', 'remainHotCommentCount', 'hotTotalCount', 'hotRemaining', 'commentReplyCount', 'disablePublishPicture', 'remaining', 'totalCount', 'upremaining', 'userCheckIcon', 'hot', 'cloudControl', 'comments'])
    # c[0].keys() #存储字典的列表 dict_keys(['id', 'content', 'addTime', 'userInfo', 'mainContentId', 'replyId', 'appId', 'likes', 'replyCount', 'floor', 'agree', 'level', 'replyUid', 'status', 'businessType', 'starAction', 'circleId', 'userShutUp', 'hotScore', 'rootCommentId', 'shareUrl', 'commentAssociateType', 'topicId', 'topicType', 'topicPKStandpoint', 'isContentUser', 'recomLevel', 'agentType', 'commentType', 'isAnonymous', 'isGood', 'isPublisherRecom', 'networkType'])
    #content是评论内容
    # print(c[0])
    debug = 'content'
    for i in c:
        if debug in i:
            # t += 1
            res.append(i['content'])
            # print("\r 正在读取第{}条评论".format(t),end='')
    # yield t
    last=c[-1]['rootCommentId']
    return last

获得评论内容后我们需要对其进行正则化以处理其中的特殊字符(eg:emoji表情)。所以我们需要定义一个用来实现正则化的函数。

#去除文本中特殊字符并保存
def clear_special_char(intext):
    '''
    正则处理特殊字符
    参数 content:原文本
    return: 清除后的文本
    '''
    s = re.sub(r"</?(.+?)>|&nbsp;|\t|\r","",intext)
    s = re.sub(r"\n","",s)
    s = re.sub(r"\*","\\*",s)
    s = re.sub("[^\u4e00-\u9fa5^a-z^A-Z^0-9]","",s)
    s = re.sub("[\001\002\003\004\005\006\007\x08\x09\x0a\x0b\x0c\x0d\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a]+","", s)
    s = re.sub("[a-zA-Z]","",s)
    s = re.sub("^d+(\.\d+)?$","",s)
    
    # with open('clear.txt','w',encoding='UTF-8') as f:         忘记删除这里的f.write导致输出一直有错误，最后想起应该是输出语句的问题s搜索了write发现此处/
    #     if Item.strip() != ' ':  ##不为空
    #         f.write(s + '/n')
    #     f.close()
    return s

对所有评论完成正则化以后，为了实现词频统计的可视化输出，我们需要进行分词处理，去除停用词，以及对词频进行统计。

def fenci(txt):
    '''
    利用jieba进行分词
    参数 text:需要分词的句子或文本
    return：分词结果
    '''
    jieba.load_userdict('fenci.txt')
    words = jieba.lcut(txt,cut_all=False)
    return words
def stopwordslist(path):
    '''
    创建停用词表
    参数 file_path:停用词文本路径
    return：停用词list
    '''
    f = open(path,'r',encoding='UTF-8')
    c = f.readlines()
    stopwords = [i.strip() for i in c]
    return stopwords
def movestopwords(file_txt,stopwords):
    '''
    去除停用词,统计词频
    参数 file_path:停用词文本路径 stopwords:停用词list counts: 词频统计结果
    return：None
    '''
    global counts
    for i in file_txt:
        if i not in stopwords:
            if len(i) != 1:
                counts[i] = counts.get(i,0)+1
    return None

获得词频统计结果之后，我们可以通过使用sorted 函数对词频进行排序，并设置一个num以实现获取前num个出现数量最多的词的词频统计表。同时根据词频统计结果绘制词云。generate_from_frequencies（）可以根据词频结果以生成词云。

def drawcounts(counts,num):
    '''
    绘制词频统计表
    参数 counts: 词频统计结果 num:绘制topN
    return：none
    '''
    X = []
    y = []
    # path = '.fonts/simhei' 对中文字体的错误尝试
    # prop = font_manager.FontProperties(fname=path)
    matplotlib.rcParams['font.sans-serif'] = ['simhei']
    matplotlib.rcParams['axes.unicode_minus'] = False
    sort = sorted(counts.items(),key=lambda x:x[1] ,reverse=True)
    for i in sort:
        X.append(i[0])
        y.append(i[1])
    plt.bar(X[:num],y[:num])
    plt.title("counts")
    plt.show()
    return
def drawcloud(tt):
    '''
    根据词频绘制词云图
    参数 word_f:统计出的词频结果
    return：none
    '''   
    path = np.array(Image.open('蕾米.png'))
    wordc = WordCloud(font_path='simhei.ttf',background_color='white',mask=path,max_words=500,width=200,height=200,max_font_size=200).generate_from_frequencies(tt)
    ### 显示词云
 
    wordc.to_file('pic.png')
    fig = plt.figure(2)
    plt.imshow(wordc)
    plt.axis('off')
    plt.show()
# drawcloud(res)
# print(c)

最后，我们可以通过调用paddlehub中的porn_detection_lstm模型很方便的对评论内容进行分析。

def text_detection(test,file_path):
    '''
    使用hub对评论进行内容分析
    return：分析结果

    '''
    porn_detection_lstm = hub.Module(name="porn_detection_lstm")
    f = open(file_path,'r+',encoding='UTF-8')
    for line in f:
        if len(line) == 1:
            continue
        else:
            test_text.append(line)
    f.close()
    input_dict = {'text':test_text}
    results = porn_detection_lstm.detection(data=input_dict,use_gpu=False,batch_size=1)
    for index,item in enumerate(results):
        if item['porn_detection_key'] == 'porn':
            print(item['text'],':',item['porn_probs'])
#评论是多分页的，得多次请求爱奇艺的评论接口才能获取多页评论,有些评论含有表情、特殊字符之类的
#num 是页数，一页10条评论，假如爬取1000条评论，设置num=100
if __name__ == "__main__":
    
    t = 0
    a=[]
    last = 0
    for i in range(1,80):
        last = saveMovieInfoToFile(last,a)
        time.sleep(0.5)
    print("\r 共爬取了{}条数据...".format(len(a)))
# clear_special_char(str(a))
    with open('clear.txt','w',encoding='utf-8') as f:
        for Item in a:
            d = clear_special_char(Item)
            if d.strip()!= '':  ##不为空
                f.write(d+'\n')
    f = open('clear.txt','r',encoding='utf-8')
    counts = {}
    for line in f:
        words = fenci(line)
        stopwords = stopwordslist('停用词表.txt')
        movestopwords(words,stopwords)
    
    drawcounts(counts,10)
    drawcloud(counts)
    test_text = []
    text_detection(test_text,'clear.txt')