BERT可视化工具bertviz体验

BERT可视化工具体验：bertviz是用于BERT模型注意力层的可视化页面。

1，bertviz的github地址：https://github.com/jessevig/bertviz

2，将bertviz项目clone到本地，启动Jupyter notebbok。

D:\PycharmProjects\bertviz-master>jupyter notebook

3，bertviz可视化页面分别包括bertviz_detail.ipynb、bertviz_map.ipynb  、bertviz_summary.ipynb页面。

 

4，BERT bertviz的可视化页面效果如下： 

 

 

 

 

 

5，BERT可视化内容参考链接：

https://github.com/tensorflow/tensor2tensor
https://github.com/huggingface/pytorch-pretrained-BERT
https://colab.research.google.com/drive/1vlOJ1lhdujVjfH857hvYKIdKPTD9Kid8
https://towardsdatascience.com/deconstructing-bert-distilling-6-patterns-from-100-million-parameters-b49113672f77
https://towardsdatascience.com/deconstructing-bert-part-2-visualizing-the-inner-workings-of-attention-60a16d86b5c1?gi=88e6da975567
---------------------
作者：段智华
来源：CSDN
原文：https://blog.csdn.net/duan_zhihua/article/details/87388646
版权声明：本文为博主原创文章，转载请附上博文链接！