S_Crossroad-CSDN博客

原创【python爬虫】反爬解决方案

最近因工程需要，需要爬取大量数据，期间遇到一系列问题，特此记录问题一：ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接解决方案：import requestsif __name__ =="__main__": try: # 请求的api query = ("...") # timeout （读取时间连接时间） r = requests.g

2021-12-04 23:23:57 629

原创 Python多进程实践

在python中若想实现并发执行，应多使用多进程，而非多线程，python中多线程使用threading模块。在这里就涉及到python中的multiprocessing模块----一个基于进程并行的模块。它可以充分利用我们计算机上的多个核心，带来极大效率。同时也提供远程并发。本人主要学习的multiprocessing模块提供的类有Process,Queue,Pipe,Lock,Pool,暂时够用，往后学习了其他类再做补充。Processprocess能创造单独进程对象供用...

2021-11-14 22:26:45 619 1

原创 npm install中安装依赖发生的问题

第一次接触Vue项目,进行安装依赖的时候出现如下报错:就是版本不匹配的问题,如图具体应该是webpack和script-ext-html-webpack-plugin@2.1.5版本不匹配.可以通过在自己项目的node_modules/webpack/package.json中查看自己的webapck版本,然后去网上查自己script-ext-html-webpack-plugin对应应该匹配的版本,一般都是版本太高导致,查不到的话就把项目主目录里的package.json文件中的script.

2021-10-16 14:33:26 2518 2

原创 npm安装过程中误修改了全局配置和缓存配置的解决办法

如果在npm安装过程中，按照网上教程修改了全局配置和缓存配置即npm config set prefix "c:\program files\nodejs\node_globalnpm config set cache "c:\program file\nodejs\node_cache导致一系列bug的话（本人遇到的是无法安装脚手架等一系列操作了）想退回原配置即删除C:\Users\xxx\.npmrc这个文件即可...

2021-10-15 22:57:20 775

原创 ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org‘, port=443): Read timed out.

如果通过pip来安装库或者其他文件过程中因为超时导致下载失败。可以尝试在后面加上-i https://pypi.doubanio.com/simple换为国内豆瓣源，会快很多。

2021-08-12 11:14:24 189

原创 pytorch中index_select()的详细用法与注意事项

index_select()index_select()函数原型为： def index_select(self, dim: _int, index: Tensor) -> Tensor: ...第一参数大家都知道是表示对象。第二个参数dim表示维度，具体取哪一个维度就要看你对象原本的维度数了，比如一个torch.Size([1, 3, 3])的张量，你想取某一列，那dim就该取2或-1，一个torch.Size([ 3,3])的张量，想取某一行的话，那dim就该取1或-1。第三

2021-07-17 11:20:56 9953 2

原创 pytorch -- torch.linspace().repeat()用法详解

今天在看代码看到有用两组torch.linspace().repeat() 来生成网格，不太理解。后来查了一查大概明白这个函数了，现在记下来加深点印象。torch.linspace()在pycharm中ctrl摁住再点击linspace()就可以查看到inspace()这个函数的全貌def linspace(start: Number, end: Number, steps: _int=100, *, out: Optional[Tensor]=None, dtype: _dtype=Non.

2021-07-10 22:57:53 1024 2

原创 pytorch 多数字识别加定位（MNIST数据集）

学习过深度学习中的卷积神经网络的同志应该都接触过MNIST数据集，并且做过手写数字识别吧，还记得第一次做成功手写数字识别的那种成就感哈哈哈。本深度学习小白最近尝试了对MNIST数据集进行了修改，将多个数字合成在一张图片中，用pyplot来显示，然后对其进行识别和定位。大概是这样的：比较简陋啊，但是大体上能满足要求就可以了。具体过程一、导入所需要的库import torchimport torch.nn as nnimport torch.nn.functional as ..

2021-07-10 21:33:17 2301 2

转载 CondaHTTPError: HTTP 000 CONNECTION FAILED for url ＜https://mirrors.tuna.tsi＞

https://www.cnblogs.com/tianlang25/p/12433025.html

2021-06-18 22:00:26 1049

原创 Python机器学习核PCA踩坑（numpy库与math库）

only size-1 arrays can be converted to Python scalars今天学习用Python来实现核PCA，大概是书已经过时的原因（其实就是这个原因）。在求核矩阵的时候需要用到exp函数。书中给的是很显然scipy库中并没有exp函数。后来我先想到的是math库中的exp函数（对numpy库不熟悉实在是我太嫩了）结果就报了错误。代码报错后来在网上看看大佬是如何解决的，才知道应该用numpy库中的exp函数。总结numpy是python的第三方工具库

2021-05-26 22:48:45 951 1

ITnanbei的博客