Katniss的Blog

【代码】【python爬虫】总结反反爬的技巧。

【代码】【python】秒转换为天/时/分/秒。

参考内容

这个问题通常发生在MacOS中。中终于发现：这个问题实际上与。顺利解决，再也没报错了！

自定义函数来改变中lr的值，在下面的叙述中会给出一个简单的实现。假设我们需要学习率每30轮下降为原来的1/10，那就需要自定义函数来实现学习率的改变。

Direct List：直接列出Ordered Dict：有序字典（Python中的字典无序，但网络是有序的，因此用Ordered Dict）用OrderedDict可以实现层的命名。注意：ModuleList定义后并没有形成网络，只是将不同的模块存储到一起，因此不能直接输入数据，因此还需要定义forward()。同样地，ModuleDict并没有定义一个网络，它只是将不同的模块储存在一起。此处应报错。正确使用方式同上。

在进行深度学习时，jupyter疯狂的内核挂掉，隐隐是觉得依赖有问题，查了好几天资料，终于查到有。，安装完后又提示可能与pandas版本不兼容，遂回退pandas版本。于是尝试降低numpy的版本。

包来完成，这是PyTorch官方用于图像处理的工具库，上面提到的使用内置数据集的方式也要用到。PyTorch的一大方便之处就在于它是一整套“生态”，有着官方和第三方各个领域的支持。数据集中包含已经预先划分好的训练集和测试集，其中训练集共60,000张图像，测试集共10,000张图像。每张图像均为单通道黑白图像，大小为32*32pixel，分属10个类别。我们将通过FashionMNIST时装分类来学习PyTorch进行深度学习的流程。如果需要对每一个batch进行一些操作，可以使用。

PyTorch 中，所有神经网络的核心是autograd包。autograd包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义 ( define-by-run ）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。autograd的求导机制梯度的反向传播是这个包的核心类。如果设置它的属性为True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用，来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性。注意：在时，如果y。

张量维度含义0维标量1维向量2维矩阵3维时间序列数据 股价 文本数据 单张彩色图片(RGB)3维 = 时间序列4维 = 图像5维 = 视频例如，一个图像可以用三个字段表示：但是，在机器学习工作中，我们经常要处理不止一张图片或一篇文档——我们要处理一个集合。我们可能有10,000张郁金香的图片，这意味着，我们将用到4D张量：在PyTorch中，是存储和变换数据的主要工具。

两个例子：append():a = []b = ['a','b']a.append(b)aapend()将b作为一个整体加入到a中；extend():a = []b = ['a','b']a.extend(b)aextend()将b中每一个元素分别加入到a中。

倒腾了一下午 创建虚拟环境创建不了… 安装第三方库安不了… 换其他镜像也不行…在创建虚拟环境时候会提示CondaHTTPError: HTTP 000 CONNECTION FAILED for url然后尝试更换镜像源为清华镜像源，并且删除默认镜像源：1.1.首先执行如下几条命令更换清华镜像源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda config --a

cmd中运行jupyter notebook --generate-config指令，获取jupyter_notebook_config.py文件路径；记事本编辑文件，定位#c.NotebookApp.notebook_dir = ''，将引号里面添加修改后的路径，保存。

如果直接pip install tensorflow速度非常慢，所以这里使用了清华镜像，指令如下：pip install tensorflow-gpu==2.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple等号后面的版本号根据自己的需要修改，CPU版去掉-gpu即可。...

连接超时pip3 --default-timeout=100 install package #pacakge替换成自己要安装的包

Task05：合并一、append和assign1. append方法（a）利用序列添加行（必须指定name）s = pd.Series(data,name='new_row') df.append(s)(b) 用dataframe添加表df1 = pd.DataFrame(data,index=['col1','col2'])df.append(d1)2. assign方法...

一、透视表1.pivot一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列作为新的cols：df.pivot(index='ID',columns='Gender',values='Height').head()然而pivot函数具有很强的局限性，除了功能上较少之外，还不允许values中出...

Task02：索引理论部分熟练掌握多种单层索引方式及其异同掌握和理解多级索引操作熟悉常用索引设定方法及其区别掌握索引函数、去重函数和抽样函数练习部分UFO数据集分析口袋妖怪数据集分析接下来的测试我们以table.csv为例。（一）单级索引1. loc方法、iloc方法、[]操作符方法说明loc位置索引，使用的切片必须全部包含右端点il...

学习内容分为以下两个部分：- 理论部分1. 掌握常见文件格式的读写操作2. 理解并熟悉 Series 和 DataFrame 的重要属性和重要方法3. 掌握各类排序（索引排序和值排序、单级排序和多级排序）- 练习部分1. 《权利的游戏》剧本数据集分析2. 科比投篮数据集分析