NLP bert 中文分类入门

推荐 Huggingface 开源社区  里边包含大量： 模型  数据集  配置文件等

https://huggingface.co/   # 网址

数据处理：

几类常用函数： sort 排序  例： sorted_dataset = dataset.sort('label')  将数据中的label标签进行排序   sorted_dataset['label'][:10] 前十行    [-10:]后十行

shuffle  乱序   例： shuffled_dataset = sorted_dataset.shuffle(seed=42)  乱序

选择 select  dataset.set([0,10,20,30,40,50])    

split 切分     shard 分桶（将数据均匀分配程几份）

列操作和列转换  rename_colunm    remove_columns

map 

def add(x):
    return x**2            #计算x的平方

lists = range(11)       #创建包含 0-10 的列表
a = map(add,lists)      #计算 0-10 的平方，并映射
print(a)                # 返回一个迭代器：<map object at 0x0000025574F68F70>
print(list(a))          # 使用 list() 转换为列表。结果为：[0,