neweastsun的专栏

本文介绍如何给Jsoup增加代理，主要有两类原因需要增加代理：;当见到该异常时，我们需要给Jsoup设置代理，否则不能访问外部网络。防止IP被封：另外一种情况是防止网站封锁我们的IP地址。也就是说，使用代理（多个滚动代理）可以更可靠解析HTML，避免因为封锁IP地址让代码停止运行。...

泊松分布描述在给定时间间隔内发生K次事件的概率。如果给定随机变量X服从泊松分布，那么X恰等于k次的公式为：P(X=k) = λ* e/ k!泊松实验的一个例子是某医院每小时分娩的人数。例如，假设某家医院每小时平均分娩10例。这是一个泊松实验，因为它有以下四个性质:实验中成功的次数是可以计算的-我们可以计算出生的次数。在特定的时间间隔内发生的平均成功次数是已知的——已知平均每小时发生10次分娩。每个结果都是独立的——一个母亲在给定的一小时内生产的概率是独立的。...

本文简要介绍了Apache Flink框架，并通过示例展示如何使用一些转换API,包括利用DataSet API实现单词频次计算，利用DataStream API 实现简单实时事件流转换。

模式匹配是C或java中switch语句的泛化，match方法用于代替switch语句。它定义在Scala根类Any上，因此所有对象都可用。match方法包括一组case作为参数，每个表示一种模式，并且如果匹配可以执行一个或多个表达式。=>符号用于分割模式和表达式。本文通过实例说明模式匹配和case类的使用。...

为了分析连续数据，通常需要离散化或分成组。本文介绍pandas包中cut和qcut函数，对连续变量进行使用不同方式进行分组。

本文介绍如何使用Pandas创建透视表（交叉表）。

实际应用中通常需要基于数据框已有列，计算产生新的数据列。本文通过基于计算三列的结果增加列示例进行讲解。

本文我们学习了如何使用groupby对单个和多个列进行分组，通过对每组执行counts,size,max,min,mean,describe等聚集函数。https。

本文介绍Pandas中对数据框行或列进行计数、查找唯一值的相关函数，并通过示例进行说明。

单向方差分析(ANOVA是analysisofvariance的缩写)常用于决定多个独立分组均值是否有显著性差异。本文使用Python实现单向方差分析示例。

本文介绍Numpy数组的常用方法以及与描述性统计相关的方法，如均值、方差、标准差、众数等。

QQ图，全称quantile-quantileplot，又称为分位图。通常用于判断一组数据是否服从某种理论分布，大多数情况用于判断是否服从正太分布。尽管Q-Q图不是正式的统计检验，但它提供了一种直观、简单方法来检查数据集是否为正态分布的。本文介绍如何使用Python创建QQ图。...

时间序列图用于展示随着时间变化的数据值。本文介绍如何适用seaborn画各类时间序列图。

OrientDB是开源多模式NoSQL数据库，支持图、文档、key-value、地理空间等多种存储模式；同时支持SQL语法进行查询交互，本文介绍OrientDB数据库的Java api。

汉明距离是以美国数学家理查德·汉明的名字命名的，他在1950年关于汉明码的论文中提出了该举例度量指标。它被广泛用于多个学科，如信息论、编码理论和密码学。举例：“karolin” 和 “kathrin” 两个字符串汉明距离为s 3 (差异字符有: r-t, o-h, l-r),1011100 和 1001000 汉明距离为 2 (不同二进制数为: 1-0 和 1-0)31738 和 32337 汉明距离为 3 (不同整数位: 1-2, 7-3, 和 8-7).汉明距离在解决很多问题中被证明是非常有用。例如

KNN算法中的k表示邻近数据结点的数量，其算法过程如下：选择邻近结点数量K计算出测试数据结点和K个最近结点的距离在这个K个距离中，对每个分类进行计数依据少数服从多数原则，将测试数据结点归入在K个点中占比最高的那一类对于KNN分类算法，两点的距离计算采用欧式距离。请看下图：假设数据集包括两类，分别为红色和蓝色表示。我们选择k为5，即基于欧式距离考虑5个最近结点，所以当测试新数据点时，5个结点，其中国三个蓝色、两个红色。则认为新数据点分类为蓝色。鸢尾花数据集(Iris)包括3种鸢尾(setosa, virgi

ANN主要用于解决对人很容易但对机器很难的问题，如：识别猫狗图片、数字图片。这些问题通常也称为模式识别，广泛应用于光学字符识别（OCR, optical character recognition）、物体检测等。本文主要介绍ANN并通过R示例介绍其实现过程。1943年，沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts)建立了首个神经元数学模型。在他们的研究论文中，描述了神经元的简单数学模型，它代表了神经系统中接受输入、处理输入并返回输出的单个细胞，该模型被称为McC

量化两个变量之间的关系通常使用皮尔逊相关系数，即衡量变量间的线性相关程度。相关系数取值范围：[-1，1]:越远离0，相关性越强。当变量数量超过2个时，通常使用相关矩阵表示，即用方阵形式表格表示每对变量之间的相关性。下面通过Python示例说明如何计算相关矩阵，并使用热力图进行表示。首先创建示例数据集：下面计算相关矩阵：表格对角线的相关系数都为1，表示每个变量都完全自相关。其他数值表示每对变量的相关系数：assists 和 rebounds 相关系数为 -0.245.assists 和 points

本文介绍Python计算欧式距离和余弦相似度。为了余弦相似度需要使用欧式距离，我们首先介绍欧式距离。欧式距离标识两个向量之间的距离，计算公式如下：欧式距离 = Σ(Ai−Bi)2\sqrt{Σ(A_i-B_i)^2}Σ(Ai​−Bi​)2​python计算欧式距离，可以使用numpy.linalg.norm函数：输出结果显示两个向量的欧式距离为：12.409673645990857如果两个向量长度不等，函数会产生警告：也可以针对数据框的列计算欧式距离：余弦相似度余弦相似度用向量空间中两向量夹角的余弦

一般数据分析项目第一步都需要探索性数据分析。主要包括三个方面：通过上述三个方面分析，可以在执行假设检验或统计模型之前对数据集的分布情况有基本理解，并检测获得问题数据情况。下面通过示例说明探索性数据分析，并给出Python代码实现。首先创建pandas数据框：通过head()函数查看前五行数据：查看数据概况使用describe() 函数可以快速查看每个数值变量的概况：每个数值变量的信息说明：count: 非缺失值数量std: 均值min: T最小值25%: 第一四分位值 (前25%)50%: