在python中,降维有很多方法。对于numpy可以reshape,view等;同样在pytorch中也是可以reshape,我们还会经常使用tensor.squeeze(dim).
但是只有list,不转换成其他格式怎么进行降维呢?如下图:
我们的目的是把他变成:
甚至是一维度的,怎么做呢?可能大家会想到for 循环 + append,其实一句话就能搞定。
可以这样理解,一个文章有很多个sentences, 每一个sentence里面有很多个tokens,现在我要把所有token取出来建立一个vocab.