百度7日打开营-Python+AI学习心得

     之前才加了疫情CV的打卡营，大概了解了paddlepaddle是如何构建神经网络、训练模型、使用模型，但再过程中由于对python不了解代码写起来比较困难。所以，当得知有python基础的打卡营，就第一时间报名了。

 

    一  感触

        到现在一共上了6次课， 前3次是python相关的知识，后3节课是基于paddlehub和easyDL相关的使用。关于python基础课程感觉只是入门，还需要自己多看多练。后3次课给我的感触很深主要有2点：

         1. paddlehub 可以将模型运用于工程，降低深度学习模型使用门槛，非常适合不了解深度学习和神经网络构建的人来使用深度学习技术。对我个人而言，可以不用学习复杂的算法和神经网络的搭建一样可以是用深度学习技术来解决项目中的问题。

        2. 作为曾经在百度工作6年的前员工，通过参加课程体会到了很多东西。 paddlepaddle深度学习框架、围绕在paddle周围的paddlehub、paddleX、EasyDL等深度学习工具、AIstudio学习与实践平台这些都是百度对深度学习领域布局的决心，更是对很多想学习、了解深度学习同学的红利。免费课程、免费的GPU算力、还有老师和助教们使深度学习门槛降低了很多，感谢各位老师，感谢"前东家"。 如果还在百度，真想trans到paddle团队，见证paddlepaddle的崛起。

           

  二 应用

   1.  命令行直接是模型：

• 使用词法分析模型LAC进行分词

$ hub run lac --input_text "现在，慕尼黑再保险公司不仅是此类行动的倡议者，更是将其大量气候数据整合进保险产品中，并与公众共享大量天气信息，参与到新能源领域的保障中。"
[{
    'word': ['现在', '，', '慕尼黑再保险公司', '不仅', '是', '此类', '行动', '的', '倡议者', '，', '更是', '将', '其', '大量', '气候', '数据', '整合', '进', '保险', '产品', '中', '，', '并', '与', '公众', '共享', '大量', '天气', '信息', '，', '参与', '到', '新能源', '领域', '的', '保障', '中', '。'],
    'tag':  ['TIME', 'w', 'ORG', 'c', 'v', 'r', 'n', 'u', 'n', 'w', 'd', 'p', 'r', 'a', 'n', 'n', 'v', 'v', 'n', 'n', 'f', 'w', 'c', 'p', 'n', 'v', 'a', 'n', 'n', 'w', 'v', 'v', 'n', 'n', 'u', 'vn', 'f', 'w']
}]

• 使用情感分析模型Senta对句子进行情感预测

$ hub run senta_bilstm --input_text "今天天气真好"
{'text': '今天天气真好', 'sentiment_label': 1, 'sentiment_key': 'positive', 'positive_probs': 0.9798, 'negative_probs': 0.0202}]

       其他模型的具体的使用可以参见paddle官网：https://www.paddlepaddle.org.cn/hubdetail?name=lac&en_category=LexicalAnalysis

      还有paddlehug的github : https://github.com/paddlepaddle/paddlehub/wiki

2. paddle作业分享-PaddleHub之《青春有你2》作业：五人识别

任务《青春有你2》 排名前五的任务识别（5分类任务）

### Step1、基础工作，导入包
import paddlehub as hub

### Step2、加载预训练模型
module = hub.Module(name="resnet_v2_50_imagenet")

### Step3、数据准备
from paddlehub.dataset.base_cv_dataset import BaseCVDataset
   
class DemoDataset(BaseCVDataset):	
   def __init__(self):	
       # 数据集存放位置
       
       self.dataset_dir = "dataset"
       super(DemoDataset, self).__init__(
           base_path=self.dataset_dir,
           train_list_file="train_list.txt",
           validate_list_file="validate_list.txt",
           test_list_file="validate_list.txt",
           label_list_file="label_list.txt",
           )
dataset = DemoDataset()

### Step4、生成数据读取器
data_reader = hub.reader.ImageClassificationReader(
    image_width=module.get_expected_image_width(),
    image_height=module.get_expected_image_height(),
    images_mean=module.get_pretrained_images_mean(),
    images_std=module.get_pretrained_images_std(),
    dataset=dataset)


### Step5、配置策略

config = hub.RunConfig(
    use_cuda=False,                              #是否使用GPU训练，默认为False；
    num_epoch=10,                                #Fine-tune的轮数；
    checkpoint_dir="cv_finetune_turtorial_demo",#模型checkpoint保存路径, 若用户没有指定，程序会自动生成；
    batch_size=3,                              #训练的批大小，如果使用GPU，请根据实际情况调整batch_size；
    eval_interval=10,                           #模型评估的间隔，默认每100个step评估一次验证集；
    strategy=hub.finetune.strategy.DefaultFinetuneStrategy())  #Fine-tune优化策略；

### Step6、组建Finetune Task

input_dict, output_dict, program = module.context(trainable=True)
img = input_dict["image"]
feature_map = output_dict["feature_map"]
feed_list = [img.name]

task = hub.ImageClassifierTask(
    data_reader=data_reader,
    feed_list=feed_list,
    feature=feature_map,
    num_classes=dataset.num_labels,
    config=config)

### Step=7、开始Finetune

run_states = task.finetune_and_eval()


### Step=8、预测

import numpy as np
import matplotlib.pyplot as plt 
import matplotlib.image as mpimg

with open("dataset/test_list.txt","r") as f:
    filepath = f.readlines()

data = [filepath[0].split(" ")[0],filepath[1].split(" ")[0],filepath[2].split(" ")[0],filepath[3].split(" ")[0],filepath[4].split(" ")[0]]

label_map = dataset.label_dict()
index = 0
run_states = task.predict(data=data)
results = [run_state.run_results for run_state in run_states]

for batch_result in results:
    print(batch_result)
    batch_result = np.argmax(batch_result, axis=2)[0]
    print(batch_result)
    for result in batch_result:
        index += 1
        result = label_map[result]
        print("input %i is %s, and the predict result is %s" %
              (index, data[index - 1], result))