numpy和dataframe常用技巧
掌握百分之20这些方法,就基本上覆盖了百分之80以上的操作
短迪大魔王
这个作者很懒,什么都没留下…
展开
-
numpy
高维数组的矩阵操作 模型要输出6个标签,相互不互斥,每个子标签又三个结果分别是0,1,2互斥。所以模型出的结果用list将6个tensor进行append。 这6个tensor每一个都是一个batch(体现gpu批量加速,批量前提是是执行相同的操作),输出该标签下的结果。 实例: class Model(nn.Module): def __init__(self,config): super(Model,self).__init__() self.bert = Ber原创 2020-11-04 18:07:57 · 779 阅读 · 1 评论 -
pandas
groupby groupby之后得到的是多个dataframe 相同电话id的相同标签的文本聚合。并且保留对应的标签 df.groupby(['call_id',v])['sentence'].apply(lambda x:x.str.cat(sep='')).reset_index() v是各个子标签。 如果文本是有顺序,如电话说话有语序需要先按照sentence的发生顺序排序,而后进行拼接。 如果用代码实现的思路是: (1)遍历一遍所有的文本,建立一个符合dict的数据结构。 (2)最外面的dic原创 2020-11-04 14:11:56 · 126 阅读 · 0 评论