吟游诗人——吟唱生命的不朽

参考资料：https://blog.csdn.net/qq_41754350/article/details/81460643https://blog.csdn.net/qq_41754350/article/details/81271567https://zhuanlan.zhihu.com/p/34922624Prim算法Prim针对点，而Kruskal针对边。Prim只适合无向带权图。维持一个集合，一开始选定一个点作为初始集合，另维持一个prev和dist列表。dist列表表示初始集合到

Floyd算法是求每一个顶点到每一个顶点间的最短距离，Dijkstra是求指定顶点到其余所有顶点间的最短距离。**Floyd思想：**不断加入新的中间结点，来判断加入新节点会否使得某点到其余点距离更近。for i in range(len(V)): # 中间结点 for j in range(len(V)): # 起始顶点 for k in range(len(V)): # 结束顶点 if dist[j][k] > dist[j][i] + dist

投出的某sci论文被reviewer指出公式的format不大行，其实自己之前在用word调的时候也发现了这个问题，于是打算改头换面，使用latex来重新写一遍。而LaTeX的引用格式和word是不一样的（至少调格式的方式不同），bibtex是很常用的一种方式了，但是出于某些原因十分赶时间，对文中五十余篇论文去重新找各自的bibtex格式，然后再挨个照着之前word版补充一些东西，实在太费时间。那么如何“废物利用”呢，即将原来的word版的已经写好的内容直接copy过来呢？word版的内容拿过来自然没问题

线性回归基本可以是LR的简化版（论证思路上），因此本文将主要探讨两个问题：1. 为什么LR可以将权重初始化为0？2. 为什么神经网络不能将权重初始化为0？本文参考资料：https://zhuanlan.zhihu.com/p/75879624为什么LR可以将权重初始化为0？为什么神经网络不能将参数初始化为0？以下图为例：情况1：w和b都初始化为0那么由于反向传播的公式，从上图一个简单反向传播可以看出，每一轮参数更新只能从后往前更新一层的参数。这且不管，而且由于初始化参数完全相同，那么上上图

卷积和池化都有如下几个参数：原始数据维度input_shape，卷积核大小kernel_size / 池化尺寸大小 pool_size，步长strides，填充padding=[‘same’, ‘valid’]。padding为valid如果padding为valid，那么不进行填充。在这种情况下，无论是卷积还是池化（池化将下面的kernel_size改为pool_size即可）的特征图的维度都是：input_shape−kernel_sizestrides+1\frac{input\_shape -

参考资料：https://www.bilibili.com/video/BV1aK411n7Du?t=670

序SVM是一种二分类模型，其学习策略为间隔最大化，也等价于“正则化的合页损失函数”最小化。SVM可分为以下三种类型：• 线性可分支持向量机：硬间隔• 线性支持向量机：软间隔• 非线性支持向量机：核函数本文将对以上三种类型的SVM做详细解释与推导，还将介绍一种快速学习算法：序列最小最优化算法（SMO）。线性可分支持向量机这是SVM最基本形式，其要求所提供的所有样本，必然线性可分。假设分类决策函数为f(x)=sign(w∗⋅x+b∗)f(x)=sign(w^*\cdot x+b^*)f(x)=

参考资料：https://zhuanlan.zhihu.com/p/78311644https://zhuanlan.zhihu.com/p/36331115前置内容：先读参考资料2到2.2之前，再读完参考资料1，再读完参考资料2。公式推导：总结EM算法分成E步和M步，其中E步固定模型参数，以确定隐含数据的分布，从而建立似然函数下界，而M步则寻找模型参数以最大化似然下界。每次更新后，似然函数值都会变大，因此模型一定会收敛。但由于模型非凸，存在许多极值点，因此不一定能收敛到全局最优。如

本文适合有集成学习与XGBoost基础的读者了解LightGBM算法。序LightGBM是基于XGBoost的改进版，在处理样本量大、特征纬度高的数据时，XGBoost效率和可扩展性也不够理想，因为其在对树节点分裂时，需要扫描每一个特征的每一个特征值来寻找最优切分点，耗时较大。而LightGBM则提出了GOSS（Gradient-based One-Side Sampling，基于梯度的单边采样）和EFB（Exclusive Feature Bundling，互斥特征捆绑）来分别进行样本采样和降低特征维

这个原因大抵是电脑用户名为中文，将其修改为英文即可。修改方式：https://blog.csdn.net/mini92/article/details/88943593

过拟合是指在训练集上误差小，测试集上误差大；欠拟合是指在训练集和测试集上误差都大。过拟合解决办法：• 增加训练数据（增加样本会降低模型方差）• 降低模型复杂度• 增加正则化参数• 采用集成学习• 使用dropout• 提前停止• BatchNormalization欠拟合解决办法：• 增加特征• 提高模型复杂度• 减小正则化系数过拟合，高方差，低偏差欠拟合，低方差，高偏差要搞清楚原因，只需了解清楚方差和偏差的概念：方差： 方差是描述模型每次输出结果与模型输出的期望之间的误差，

正则化介绍“正则化”可以通俗理解为“规则化”，即添加一些规则，对模型参数加以限制，以降低模型过拟合的风险。模型过拟合的一个显著原因是由于参数过多导致的，以一个线性回归模型为例：其中，由于w参数过多，使得模型复杂度高，则容易出现过拟合的现象。而w参数都是学习来的，因此正则化的思想是在损失函数中加入正则化项，对w参数加以限制，控制w参数的数量（即上例中n的数量）。即若使得wi为0的个数较多，则有效减少了模型参数数量和复杂度。加入正则化项前的损失函数被称为经验风险，加入正则化项后的损失函数被称为结构风险

基尼系数（Gini index）反映的是从数据集D中随机选取两个样本，其类别标记不一致的概率。因此，基尼系数越小，数据纯度越高。Gini(D)=1−∑k=1∣γ∣pk2.Gini(D)=1-\sum_{k=1}^{|\gamma|}{p_k^2}.Gini(D)=1−∑k=1∣γ∣​pk2​....

信息增益率与信息增益有关。信息增益存在一个问题，即若某个属性可取值数目较多，如用ID来作为分类标准，则信息增益会非常高。然而，这显然不符合实际情况，模型进入了过拟合，且不能对新数据进行有效的分类。增益率则在考虑了该情况的前提下，提出了一个新的公式：Gain_ratio(D,a)=Gain(D,a)IV(a)IV(a)=−∑v=1V∣Dv∣∣D∣log2∣Dv∣∣D∣Gain\_ratio(D, a)=\frac{Gain(D, a)}{IV(a)}\\IV(a)=-\sum_{v=1}^{V}{\f

信息熵（information entropy）是度量样本集合纯度/不确定度最常用的指标之一。但要注意，信息熵越小，表示不确定度越低，确定度越高，纯度越高。Ent(D)=−∑k=1∣γ∣pklog2pkEnt(D)=-\sum_{k=1}^{|\gamma|}{p_klog_2p_k}Ent(D)=−∑k=1∣γ∣​pk​log2​pk​信息熵是对信息量的度量。越小概率的事情发生所产生的信息量越大。信息量的公式表示如下：h(x)=−log2p(x)h(x)=-log_2p(x)h(x)=−log2

本文介绍了回归模型在模型选择上的常见评估指标：SST、SSR、SSE和R-square。SST：The sum of squares totalSSR：The sum of squares regressionSSE：The sum of squares errorSSTThe sum of squares total. SST是观测到的真实值与真实值的均值之间的差的平方和。∑i=1n(yi−y‾)2\sum_{i=1}^{n}{(y_i - \overline{y})^2}∑i=1n​(yi​

包外估计（out-of-bag estimate）是用未在训练集中出现的测试数据来作出决策的方法。【西瓜书P179】包外样本有许多用途。例如当基学习器是决策树时，可使用包外样本来辅助剪枝，或者用于估计决策树中各节点的后验概率以辅助对零训练样本节点的处理，当基学习器是神经网络时，可以使用包外样本来辅助早期停止以减小过拟合风险。...

逼近误差模型最好能逼近真实模型到什么程度考虑target function和能从假设空间中学到的the best function的距离而已经证明一层隐藏层（+一层输出层）也能很好地拟合任何函数。XOR问题不能被单独一层网络解决。泛化误差泛化即推广能力。考虑在假设空间中的best function和可以从数据集中学到的best function之间的距离。优化误差因为优化问题带来的误差。即从能数据集中学到的best function和使用该算法从数据集中学到的best function之间

本文参考众多资料，在此不进行罗列。下图为AdaBoost的公式推导下图为分类器权重α的推导公式

本文参考了网上较多资料综合而成，在此不进行罗列。

过拟合是指在训练集上误差小，测试集上误差大；欠拟合是指在训练集和测试集上误差都大。过拟合解决办法：增加训练数据降低模型复杂度增加正则化参数采用集成学习欠拟合解决办法：增加特征提高模型复杂度减小正则化系数过拟合，高方差，低偏差欠拟合，低方差，高偏差要搞清楚原因，只需了解清楚方差和偏差的概念：方差：方差是描述模型每次输出结果与模型输出的期望之间的误差，描述的是模型的稳定性，反映输出值的波动情况偏差：偏差描述模型输出结果与真实值之间的误差，描述模型的拟合程度...

在LeetCode上刷一道二分的简单题，需要计算m和n的中位数。通常的想法是直接如下即可：int mid = (m + n) / 2;然而mid存在溢出的风险，一种简单的解决办法是把mid的类型改成 long long，如下long long mid = (m + n) / 2;但是改成long long就没意思了，如何优雅一点呢？我首先想了另一个办法，既然是相加再除以2，那除以2后再相加不就好了，即如下int mid = m / 2 + n / 2;这种办法看似正确，然而是存在问题的。

申明，本部分内容参考了众多网上资料，如有侵权请联系删除。总体介绍决策树（decision tree） 是一种基本的分类与回归方法，利用树形结构进行决策。在进行决策过程中，通常会需要进行一系列的判断或“子决策”，而决策过程中提出的每个判定问题都是对某个属性的“测试”，每个测试的结果要么导出最终结论，要么导出进一步的判定问题。一般的，一颗树包含一个根节点、若干个内部节点和若干个叶节点。叶节点对应于决策结果，其他节点则对应于一个属性测试。决策树学习的目的是产生一颗泛化能力强，即处理未见示例能力强的决策树。

参考资料：python的round函数使用python的round函数作用是四舍五入，其函数定义如下：round接收两个参数，第一个是数字，第二个是保留的位数，如果不显式给定第二位，则默认不保留小数。round中存在一个陷阱如下，即对于x.675保留两位小数时，若x>1，则会返回x.67。同时，ndigits可以取负数，若取负数则是对整数部分进行四舍五入操作。...

以往不论是上课还是各种资料书上，看到关于字符串匹配的算法，大抵都是KMP了。然而KMP的next数组理解起来颇为费劲，且容易忘记。在LeetCode刷题中偶然发现了一个叫Sunday的算法，不仅容易理解，且经过其他博主测评，Sunday的效率还要高于KMP算法，因此本文记录一下Sunday算法的思路。参考资料：Sunday 解法KMP、BM、Sunday、Horspool、strstr字符串匹配算法的性能比较首先briefly陈述一下问题即获得模式串第一次在目标字符串中出现的位置。Sun

好久没接触这三个熟悉而陌生的概念，以前也没理解透彻这三个概念的真正含义与作用，现在来重新做一个清晰而简单的总结。首先，原码、反码、补码只是机器中对于数字的三种不同的表示形式。下面说的数都默认为整数，关于小数的表示方法在本文中不做探讨。机器数与真值在机器中，往往以二进制来表示数字，这个数叫做机器数。为了区分正数和负数，则需要加入一位符号位来表示正负，而符号位便是第一位，其中0表示正数，1表示负数。+1= [0000 0001]-1= [1000 0000]+3=[0000 0011]-3=[10

重点：目的：为了避免过拟合，降低模型的复杂度，符合奥卡姆剃刀原理使用条件：当且仅当模型表达能力过强，即有可能出现过拟合的情况下才使用使用方法：在之前的损失函数后面加上惩罚项常见类别：L1-正则化（LASSO）、L2-正则化（Ridge）附加知识：L-N范数注意区分：正则化Regularization和标准化Normalization的区别补充：无穷范数是指所有元素中最大值参考资料：线性回归——lasso回归和岭回归（ridge regression）机器学习------L1、L

Joint Learning和Multi-Task Learning都属于集成学习（Ensemble Learning）的范畴，但网上关于Joint Learning的相关资料较少，因此在这里对这两种学习方式进行简要介绍，并对其不同点进行区分。Joint LearningJoint Learning是指模型中存在多个子任务，而我们可以将这些子任务一起训练。这么说起来有点抽象，可以举个简单的例子。比如在深度学习中，这个“深度”就可以理解为采用了多个模型进行Joint Learning，比如在许多NLP任

在应用与功能里面，vmware的卸载选项是禁用的，而点击修改，却也弹出了报错，似乎无法直接卸载。网上大多说需要下载一个Windows Installer Clean UP之类的软件，但又对那种未知来源的小工具不太放心。其实不然，vmware是可以直接卸载的。我们可以直接从其官网找答案：https://docs.vmware.com/en/VMware-Workstation-Player-for-Windows/15.0/com.vmware.player.win.using.doc/GUID-0F7D

tensorflow和numpy在数据处理上语法相似但又不完全一样，比如在numpy中想取指定维度的多个指定索引所指向的数据时，直接用一个列表保存索引就能直接取，比如：# b的shape为[2, 3, 2]b = np.array([[[1, 2], [2, 3], [3,4]], [[4, 5], [5,6], [6, 7]]])a = [0, 1, 2]# 假若要取b的第2个维度（从1算起）的以a为索引的数据，只需写成如下形式b[:, a, :]但是若b是tensor形式，则上述操作会报错

python也具有多继承的功能，而同样的，大家能想到多继承必须要引入一些特定的方法来准确调用子类或基类的重载、重写的方法，否则会出现混乱。本文参考Multiple inheritance in Python对该问题进行简要论述。如下图描述了一个简单的类继承关系下面是上面类图的代码，Class1、Class2、Class3都分别包含一个m方法，class Class1: def m(self): print("In Class1") class Cl

对于一个DataFrame类型的数据，可以用[]和[[]]来取其某一列或某几列（仅限[[]]才能取某几列）。从[]只能取某一列就能看出，这个取出来的是Series，而[[]]取出来的是DataFrame类型的。

如题所述问题，其本质是tensorflow版本不兼容的问题，但是为了一个错误去更新tensorflow版本，往往会消耗较长时间，而且说不定会引起其他地方依赖的问题。关于该问题可以考虑从不同角度进行考量，迂回解决。比如我在实验中，在使用a == None时出现了该问题，其中a为一个tensor，那么既然不能直接判断，那么可以根据其类型进行判断，即改为type(a) == type(None)即可。关于其他类型的问题，可以考虑通过对其中某个值、或者shape、dtype等进行判断，从另一个角度解决问题。

问题描述给定n个大小不等的圆 ，现要将这n个圆排进一个矩形框中，且要求各圆与矩形框的底边相切。圆排列问题要求从n个圆的所有排列中找出有最小长度的圆排列。例如，当n=3，且所给的3个圆的半径分别为1，1，2时，这3个圆的最小长度的圆排列如图所示。其最小长度为 。算法设计设计一个随机化算法，对于给定的n个圆，计算n个圆的最佳排列方案，使其长度尽可能小。数据输入由文件input.txt给出输入数据。第一行有1个正整数n (1≤n≤20)。接下来的1行有n个数，表示n个圆的半径。解题思路随机化算法

tensorflow2.0环境下，以复制方式扩展tensor，可以使用tf.tile()函数。该函数定义如下（图自官网）：https://www.tensorflow.org/api_docs/python/tf/keras/backend/tiletf.tile()可以沿着某个维度对tensor进行指定倍数的复制，如下所示：import tensorflow as tfa = tf.constant([1, 2, 3])tf.tile(a, [2]) # <tf.Tensor: id=2

python中*是非常常见的一个运算符，它主要有以下几个功能：乘法运算符；函数形参表示可变参数；函数实参代表tuple；序列解包为tuple；zip解包运算；参考资料：Python3 * 和 ** 运算符Python zip() 函数乘法运算符在Python中，*表示乘法，**表示次方，这个不必多说。形参*在python中做函数形参，可以表示一个可变长度的序列，不过是t...

用python获取指定文件夹下所有文件名很简单，使用os.walk()方法dir_path = '../../data/'for root, dirs, files in os.walk(dir_path): print(files)其中files是一个list，保存的是该文件夹下所有文件的文件名，别看这是个for循环，但其实这个循环只执行了一次，即如果将上面代码中的print(file...

实验有需求，需要对tensor中每一行取一个不同的索引的元素，其中tensor为2维（本文方法适合任意维），因此本文以2维tensor为例。# 二维tensorg = tf.constant([[1,2,3,4,5,6,7,8],[9,8,7,6,5,4,3,2]])# 每一行取的index，在本例中，正确取值为[3, 2]，即第一行index=2的元素和第二行index=7的元素h_in...

在使用sklearn时有时会出现如下的问题，而且可能不仅仅是svm，可能是其他的什么内容module 'sklearn' has no attribute 'svm'如果确定没有拼写错误，那么就是下面这种情况，在import用的是import sklearn，而不是from sklearn import xxx，sklearn不会自动将其下的所有库都导入进去，因此需要按需自行导入。这是错误...

SVM本是二分类的分类算法，而由于其直逼神经网络的强大性能，因此也广被应用于多分类领域，这ovo和ovr就是多分类时需要进行选择的两种不同策略。ovo：one versus one，一对一。即一对一的分类器，这时对K个类别需要构建K * (K - 1) / 2个分类器ovr：one versus rest，一对其他，这时对K个类别只需要构建K个分类器。参考资料：Multi class o...

遇上如题所示问题，多半是因为使用了sparse_categorical_crossentropy作为激活函数这会出现在分类问题中，这个激活函数要求如下：labels vector must provide a single specific index for the true class for each row of logits也就是说，你给的真实输出值，得是一个索引index而不...

在训练模型中， 往往需要对数据集进行处理，从数据集中随机选取部分数据作为训练集，而另一部分数据作为测试集，一个常用的方法是随机选取索引，下面介绍两种从0~n中随机选取x个不重复索引的方法。注意下述两种方法选出来的都是整数。方法一、用python的randomimport randomdef getRandomIndex(n, x): # 索引范围为[0, n), 随机选x个不重复 ...

tensorflow2.0保存模型的方式有很多，这里只介绍两种。一、 使用官方模型这种情况可以直接保存整个模型，如下所示，可以将模型保存为HDF5文件# 创建模型实例model = create_model()# 保存模型到HDF5文件model.save('my_model.h5')# 读取模型model = keras.models.load_model('my_model.h...

我们知道numpy的array是可以保存到文件的，一个常用的做法是通过to_file()保存到而进行.bin文件中，然后再通过from_file()从.bin文件中将其读取出来，下面看一个例子。如下图所示spatiallyRepresentation是一个二维numpy数组，其shape为[31762, 8]接下来将其存入文件中，使用tofile方法即可，参数填入想要保存到的文件路径，然后使...

前文已经介绍完了tensorflow2.0自定义layer、model、loss function，本文将结合前述知识，搭建一个稀疏自动编码器SAE。先简单介绍稀疏自动编码器SAE，其架构如下图所示（图源网络，侵删），三层结构，输出层应尽量和输入层接近，其重点在于中间的隐藏层，隐藏层将数据进行了重新编码，这样做的目的是获得输入数据更好的数据表示。在普通自动编码器中，往往要求隐藏层元素个数要比输...

前文分别讲了tensorflow2.0中自定义Layer和自定义Model，本文将来讨论如何自定义损失函数。（一）tensorflow2.0 - 自定义layer（二）tensorflow2.0 - 自定义Model自定义损失函数有两种情况，一种比较简单，而另一种稍显复杂。先来讨论第一种简单的情况，即不需要额外的参数。什么叫额外的参数呢？损失函数有两个默认参数，分别为实际输出、预测输出...

前文写了如何使用tensorflow2.0自定义Layer，本文将讲述如何自定义Model，并将前述的Layer应用到本Model中来。（一）tensorflow2.0 - 自定义layer自定义模型也比较简单，只是需要搞清楚Model中各部分的作用及执行流程即可。由于本例中将使用前文中的自定义Layer，因此先将其代码贴过来以便查阅，没看过前文的也没关系，不影响对自定义模型的理解。im...

最近在用tensorflow2.0搭建一个简单的神经网络，虽然结构简单但是由于对自定义有要求，官方提供的layer和model不能满足要求，因此需要自行对layer、model、loss function进行自定义。由于tensorflow2.0发布不久，国内相关文章较少，我便决定写上这一系列文章。本文讨论tensorflow2.0中如何自定义layer。本文不讨论tensorflow1和2在...

最近在实验中，需要用到tensorflow建立一个简单的模型，但鉴于部分要求比较苛刻，不能直接使用其内置的layer，因此需要自定义一个layer类，这便涉及到了对__init__(), build(), call()这三个函数的理解先看官方手册中使用了Layer中的这三个关键函数的一个简单的实例：class MyDenseLayer(tf.keras.layers.Layer): def...

python类中，__init__和__call__方法都是用来初始化类的，但是它们之间存在一些区别。__init__是用来在初始化类的对象时被调用，同时可以传入一些参数。__call__用来在调用该对象时被触发。具体可以看下面的例子class A: def __init__(self): print "init" def __call__(self): print ...

scrapy在start_requests中发出请求时，需要传入一些参数进行动态控制。为保证scrapy的请求的并发性，将其改为串行执行显然严重影响效率，因此不考虑采用全局变量的方法。因此可以使用在scrapy.Request中加入meta数据的方式向parse传入参数，如下代码的请求中加入了meta元素，包含regionId字段，可在parse中解析到 def start_request...

在使用scrapy并将爬取数据保存到.json格式文件中出现如题所示错误，可以看到json后面有俩''，所以事实上是保存路径无需加引号，而我加上了单引号，所以报错。我的错误：正确写法：...

目前实验中有个需求，即给定一个经纬度，判断其是否处于某个城市内部。本来是想使用Google Earth的接口，然而谷歌一直不通过我的开发者账号申请，遂自己写了一个程序来实现该功能。首先一个城市的轮廓必然是多边形的，那么得先获取该多边形的每个点的坐标，即城市多边形边界的表示。怎么找城市边界的坐标呢？如下图所示，下图来自于：Getting polygon boundaries of City in...

最近在使用scrapy来制作爬虫以爬取一些网站上的信息，但是却出现了一个很奇怪的问题，即在网页中打开待爬取的URL，并在网页源代码中定位了某些待爬取的元素，但是当使用scrapy爬取数据时，却发现报错了，而错误竟然是所爬取到的网页中并没有我在浏览器中看到的元素，即对于同一个URL，爬取到的页面和我在浏览器中打开所看到的页面不一样！在反复确认CSS类选择器没写错，爬虫所爬取的URL没有被重定向到另...

tensorflow1.X的版本使用rmspropoptimizer的调用方式为tf.train.RMSPropOptimizer()然而去看新版官网：https://www.tensorflow.org/api_docs/python/tf/keras/optimizers/RMSprop?version=stable当tensorflow2.X想使用该优化器时，其调用方式为：tf.opti...

在使用tensorflow对图片进行预处理的时候，我使用了tf.image.resize这个函数将原始图片tensor转换成100×100的固定大小，暂且不讨论其压缩方式是否合理，但是在使用plt.imshow对其处理过后的图片进行显示时却出现了很奇怪的问题，即图片无法正常显示。具体表现为：原始图像为：处理后显示的图像如下，仅包含一些不明所以的像素点，这显然不是我们需要的：然后去查看re...

方法很简单，定义一个简单的函数，imgTensor是传入的需要转换的tensor，boundary是这个临界值，即大于boundary的值设为1，小于boundary的值设为0。本函数使用tf.where来实现，那么很容易可以看出我们可以任意设置tensor大于某个值（或小于某个值）时的值，只需要将下面代码中的tf.ones_like（或：tf.zeros_like）改成tf.fill()来构造一...

在使用tensorflow处理图片的时候，出现了如题所示错误。本次运行使用了独显进行计算，而错误原因是因为同时运行了多个占用显卡运行资源的程序！比如同时运行了好几个jupyter的kernel，或者在pycharm中选择了run with python console且同时开启了多个console窗口，或者在运行jupyter的时候又运行了pycharm，就会造成这种问题。因此解决办法就是：只...

实现python中将两个列表对应成字典，常用的方法需要借助zip函数下面举个很简单的例子a = [1,2,3]b = ['a', 'b', 'c']dict(zip(a, b))输出为下面简单介绍下zip函数，下图是zip自己的介绍，可以看到它有一个__next__()方法，返回一个元组，这个元祖就是输入参数中给定的列表的第i个元素的组合，每调用一次__next__()都会返回下一...

最近在用Scrapy写爬虫，但是爬取有的网站时会出现307重定向的错误，使得无法爬取到正确网站，这往往是因为原网站采用了反爬虫机制导致的。在StackOverFlow上有人提出了这个问题：scrapy 307 redirects to same page这里的答案指出了307是Cookie的问题，它的建议是打开Cookie，并需要自己分析哪些是网站真正需要的用来鉴别是机器访问还是认为访问的数据...

在windows上使用scrapy shell命令时，出现了如题所示的错误，官网已经给出了解释将单引号改成双引号即可。

tensorflow是非常流行的深度学习框架，其2.0版本与其1.0版本也有较大不同，因此笔者就近期对tensorflow2.0的基本操作的学习进行记录，以供日后查阅。创建tensortf.constant(1)tf.constant(1.)tf.constant(2.2, dtype=tf.double)tf.constant(2.2, dtype=tf.float16)tf.con...

请参看：深度学习之参数初始化（一）——Xavier初始化

现在学习研究中深度学习基本上是标配了，而tensorflow作为常用的深度学习框架之一，且其2.0版本也改静态图为动态图，相当于对pytorch的优势的一次狙击，加之一直以来，尽管在tensorflow2.0版本发布前，其经常被用于作为Pytorch的一个反面教材，但是它的用户量一直以来都要远高于pytorch，而今2.0正式版也已经发布，其能否取代新晋网红pytorch的位置还不好说，但是这并不...

此连接需要一个包支持，叫做rdesktop首先安装一下：sudo apt-get install rdesktop然后：rdesktop -f -u 登录用户名 IP地址-f是表示全屏，可以不加，加上后就是全屏进入，而如何退出全屏呢？只需按ctrl+alt+enter即可...

matlab中我们生成的图片常为.fig格式的，但是为了在论文中获得高清图片，因此我们一般需要将为其修改为.eps格式，修改的方式其实异常简单！首先将图片拖入matlab中，然后会弹出如下界面：在文件菜单下选择另存为即可更改保存的格式了。...

可以在IEEE Article Templates中找对应期刊的模板，但是可以看到所列出的期刊很少，往往没有所需要的对应期刊的模板，这时候需要耐心一点看看网站上的说明：如果没找到，就用这个Transactions templates就行了，也就是下载列表的第一个。...

Sometimes you need to divide up a figure over multiple floats, for instance because the figure is too big to fit on one page. In this case you can use continued figures using the caption package.Put ...

有时候在latex的表格中，如果一段文字跨越多行时，往往会在另外的一行处加上\multirow，为何呢，不加的话表格内的内容超过一行了也会自动换行的呀。下面可以看一下对比。如下图所示为LaTeX一个2列的列表的两行，上面一行没有加\multirow，而下面一行加了，那么实际效果如何呢？注意下图中A的位置！是不是发现使用了 \multirow的行的A是跨了4行的，因此\multirow不是用来...

LaTeX的表格在设置浮动时提示了如题所示错误，首先能肯定没写错，那么显然是少导了包。因此导入一个名为float的宏包即可。在文档导言内加上如下代码即可：\usepackage{float}...

现在人们常将云计算、边缘计算、雾计算放在一起来讨论，而云计算大家都很熟悉了，但是往往很难搞清楚什么是边缘计算，什么是雾计算，而网络上的文章多为长篇大论，又说不清楚，本文将尽量用浅显明了的方式对其进行介绍及区分。在过去，小企业搭建网站等在线服务平台都需要自备服务器，成本高昂；大企业则会有双十一这种并不经常性的人气暴增的时候，为了保证用户体验，则往往购置了许多服务器以提供服务，但是在大多数时候许多服...

pip install -U tensorflow==2.0.0rc1等号后面加版本号。本文转载自：https://blog.csdn.net/qq_34706735/article/details/89953980

本文为观看2019年世界计算机大会中科院空天信息研究院研究员李新明 于9月11日上午在长沙 所做的“边缘计算 + 5G：赋能边缘，共塑未来”的报告后所记录下的观后感。如今机器学习、大数据、5G、云计算等高新技术正迅猛发展，信息2.0时代即将到来，该时代应当具有智能、无人、自主这三大特点。可以预见在5G时代中，接入网络中的设备数将会继续增加，截至目前加入网络的设备数量已经达到了千亿级。而随着传输...

文章目录前言纳入百度/谷歌搜索引擎百度谷歌使用sitemap进行优化注：可移步至我的博客以获得更好的阅读体验：hexo博客进行百度、谷歌SEO前言搭建了hexo博客并上传至github后，在百度或谷歌里输入：site:yinyoupoet.github.io会出现如下图片↓这意味着百度尚未收录入我的博客，即我们无法在百度上搜到我们自己写的博客，而我们新生个人博客本身流量就低，因此我...

可以看看我在hexo博客中的效果：typora + hexo博客中插入图片在使用了hexo搭建了博客后，最大的问题便是如何使用一款markdown工具来编辑博客了，我采取的就是Typora，这工具免费简单易用没广告，而且把图片保存到本地还是很方便的，因此大家只要稍微了解点markdown语法就可以上手使用了。关于图片和图片路径的设置，有以下教程。事先声明，所有博客文件均保存在 hexo/_p...

我在本地删除.md博客文件后，再输入hexo ghexo d理论上此博客应该已被删除，然而在github首页上显示并没有变化，而如果使用hexo s 看本地页面的话，确实已经被删除了。然后去看github上对应的仓库，可以看到仍然存在已删除的文件！那么解决方法也简单，在本地先输入hexo clean，然后再hexo g，再hexo d即可...

今天学习了keras的基础用法便跟着教程悄咪咪用keras撸了一遍mnist的手写数字识别，然后便出现了上述错误，不过要是不出点错心里倒还不自在，那么就直接解决这个问题吧。出现该问题的可能性有很多种，网上的解决方案也五花八门，因此本文只论述我的解决办法。我的问题是h5py这个包的版本问题，只需要将其更新到2.9.0即可。但是如果使用清华源的话，更新不到最新版本！！因此必须切换回默认源。切换...

有时候在使用pip或conda更新包的时候，明明不是最新版的包，却提示为最新版本，这时候往往是下面的原因。国内用户为了提高下载速度往往会使用清华源，然而由于种种原因，清华源里面的很多软件包并不是最新版的，因此这个时候进行下载，尽管包并不是最新版，但仍然会提示requirement already up-to-date，这时候我们只需要换回默认源即可，在命令行输入如下代码：conda confi...

海维赛德阶跃函数又称单位阶跃函数，是一个不连续函数，其最简单的定义如下：即当x大于0时，H(x) = 1；x小于0时，H(x) = 0但是对于x等于0时的函数值，却有不同的说法比如下图所示的一个替代形式：亦或使用half-maximum约定，则可将其定义如下：与一般的离散型函数不同，H(0)的定义在实际应用中是非常重要的本文翻译自：https://en.wikipedia.org...

本文转载自知乎用户 忆臻 的回答（侵删）：https://www.zhihu.com/question/22178202/answer/161732605

直方图和柱状图因其长得很相似，故常引起初学者的疑惑，但其实二者存在很大的区别。上述两图中，前图为柱状图，后图为直方图。单从视觉上看来两种图很相似，但是细心点也可以发现柱状图的图中是有间隔的，而直方图没有，但是为什么呢？他们又分别用于什么情况？柱状图和直方图其实在本质上的功能就是不同的，柱状图常描述多个对象的某个值的不同，而直方图常描述同一个值在不同区间中的分布。听起来有点抽象，下面举个栗子...

rank是将Series或DataFrame的数据进行排序类型的一种方法，不过它并不像sort（含sort_index、sort_values等）那样返回的是排序后的数据，而是当前数据的排名。上述很好理解，但是往往可以看到一句话：默认情况下，rank是通过“为各组分配一个平均排名”的方式破坏平级关系的刚接触这个方法可能很难理解这句话，那么看下面的例子：是不是仍然很难理解，为什么ran...

初接触axis确实感到非常厉害，但又有点难以理解，直到我看到了这篇博文：https://blog.csdn.net/m0_37673307/article/details/82118030最核心的一句话是：设axis=i，则numpy沿着第i个下标变化的方向进行操作...

本文转载自《利用python进行数据分析-第二版》

numpy中对于数组中数字的操作有许多，这里列出常用的一部分，分别是：round, around, rint, ceil, floor, modf, trunc, fix方法名定义作用roundnp.round(a, decimals=0, out=None)将a四舍五入，精度由参数decimals决定，与around等价aroundnp.around(a, d...

KNN算法是分类算法中最简单的一个算法了，关于这个算法的原理我就不做详细介绍了，这么简单的算法，究竟能不能用来准确的进行分类呢？其正确率又有多高呢？带着一点怀疑，咱来进行这个实验，我们就用最简单的KNN算法来进行手写数字识别，编程语言是python 3。首先讲一下思路，常规的机器学习算法大致有如下几个步骤：1、收集数据2、数据预处理3、寻找一个function set4、通过对数据进行...

仔细斟酌了几秒钟，我终于决定写下这篇博客，或许应该取一个高大上的名字，比如“Linear Regression to predict PM2.5 using Gradient Descent”，不过回头看了看惨淡的排名…言归正传，本文仅适合看见该题目无从下手的小白进行参考，用的算法也是入门爆款的线性回归的梯度下降，也是我用py撸的第一个梯度下降，下面切入正题。题目链接：https://www...

numpy中的array和asarray有细微差别如果原始数据是python内置的列表类型，比如list，则使用array和asarray是一样的，都是新开辟了一个空间，比如：data3 = [1,2,3]test1 = np.array(data3)test2 = np.asarray(data3)print(data3)print(test1)print(test2)输出为：...

首先在键盘上按：crtl + alt + del，然后选择“任务管理器”选中这个，然后按右下角重启即可

关于“鞍点”的说法网上讲的乱七八糟，因此我特地上维基百科探查了鞍点的真相。首先在高等数学里可能大家都还记得一个平面叫马鞍面，图形如下（粘贴自维基百科），那个红点就是三维空间中的鞍点。我们可以从正交的两个方面来看这个点，以平行于坐标轴XOZ平面和YOZ平面的过这个红点的两个平面对这个图形进行截取，可以发现，在一个方向上它是极大值，在另一个方向上它是极小值，这种点就叫鞍点（Saddle Point）...

本文转载自：http://tech.ifeng.com/c/7mEnQrFxKcC 【侵删】本文由知名开源平台，AI 技术平台以及领域专家：Datawhale，ApacheCN，AI 有道和黄海广博士联合整理贡献，内容涵盖 AI 入门基础知识、数据分析挖掘、机器学习、深度学习、强化学习、前沿 Paper 和五大 AI 理论应用领域：自然语言处理，计算机视觉，推荐系统，风控模型和知识图谱。是你学习...

首先进入搜狗输入法linux的官网：https://pinyin.sogou.com/linux/下载好对应的版本后，通过命令行安装deb文件安装命令如下，当然你得把搜狗输入法的版本改成和你自己下载的版本相对应：sudo dpkg -i sogoupinyin_2.2.0.0108_amd64.deb然后可能会报错说缺少一些依赖，这很简单，输入如下命令，执行完后再重新执行上面的那条命令：...