Python
miguemath
数学
展开
-
FailedPreconditionError: corpus.tfrecord; Bad file descriptor解决方法
最近在做BERT从零开始预训练的时候,在生成tfrecord文件时遇到了这个错误。~/anaconda3/envs/ML3.6/lib/python3.6/site-packages/tensorflow/python/lib/io/tf_record.py in close(self) 244 """Close the file.""" 245 with errors.raise_exception_on_not_ok_status() as status:-->原创 2020-08-26 11:08:49 · 465 阅读 · 0 评论 -
one hot编码:`torch.Tensor.scatter_()`函数用法详解
torch.Tensor.scatter_()是torch.gather()函数的方向反向操作。两个函数可以看成一对兄弟函数。gather用来解码one hot,scatter_用来编码one hot。scatter_(dim, index, src) → Tensordim (python:int) – 用来寻址的坐标轴index (LongTensor) – 索引src(Tensor...原创 2020-02-17 12:55:21 · 3654 阅读 · 1 评论 -
Pytorch批量数据读取方法详解: DataLoader
在训练模型的过程中,我们需要不断的读取小批量的数据样本。Pytorch提供了data包来读取数据。接下来我将人工生成一些数据,然后使用data包来处理数据。import torchimport numpy as np'''The features number is 3, and the number of examples is 1000.''' true_w = [2, 3, 5....原创 2020-02-07 14:50:31 · 4494 阅读 · 0 评论 -
Python的两种debug方法
print大法固然好,但是在print大法不work的时候还有其他更炫酷的方法。那就是在代码里内置assert。在代码中内置assert语句可以减少你的debug范围。另一种方法就是在debug时使用pysnooper这个包。pysnooper的好谁用谁知道。assert## assert的异常参数,其实就是在断言表达式后添加字符串信息,用来解释断言并更好的知道是哪里出了问题。格式如下:a...原创 2019-12-29 21:23:52 · 6129 阅读 · 0 评论 -
Pyhton numpy保存和打开.npz文件方法详解
numpy中的.npz文件是对很多文件的压缩封装。这个文件包含的属性就是它里面封装的文件名。其实这个.npz文件的大小并没有被压缩,它仅仅只是封装了许多文件而已。numpy 使用savez()来将数组保存为.npz格式文件,使用load()来加载.npz格式的文件。numpy.savez(file, *args, **kwds)其中:file:是你将要保存的文件名,数...原创 2019-12-07 12:56:48 · 27875 阅读 · 0 评论 -
Python实现多进程:Pool类详解
文章目录1 引言2 Pool类2.1 Pool类中的方法列表2.1.1 五种分派任务的方法2.1.2 三种管理进程池的方法:2.2 apply(func[, args[, kwds]])方法2.3 apply_async(func[, args[, kwds[, callback[, error_callback]]]])方法2.4 `map(func, iterable[, chunksize]...原创 2019-12-06 22:11:29 · 4070 阅读 · 0 评论 -
python3 urllib 访问https网站
当使用urllib模块访问https网站时,由于需要提交表单,而python3默认是不提交表单的,所以这时只需在代码中加上以下代码即可。import sslssl._create_default_https_context=ssl._create_unverified_context原创 2017-11-29 20:40:39 · 5465 阅读 · 0 评论 -
使用python3连接sql server
再写爬虫时有时候需要将数据存储到数据库中,以下是python与sql server 数据库进行连接以及操作的方法。 首先需要根据自己的python版本去下载pymssql库,然后打开自己的SQL原创 2017-11-29 20:58:10 · 2184 阅读 · 0 评论 -
Python中的Counter类入门(列表计数,生成列表等等)
classcollections.Counter([iterable-or-mapping])Counter是用于计算可哈希对象的字典子类。它是一个无序的集合,其元素以字典key的形式存储,并将其计数存储为字典value。 计数允许为包括零或负计数的任何整数值。 Counter类与其他语言的bag或multisets类似。先导入并实例化Counter>>> from colle...原创 2018-06-06 18:20:46 · 13412 阅读 · 1 评论