- 博客(150)
- 收藏
- 关注
RSS订阅原创 selenium 遇见 element not interactable
在windows环境下使用selenium能正常运行抓取内容，但在linux环境下却报错，Message: element not interactable，很多解决思路都是延迟加载等之类的，但不能完全解决问题。当切换操作系统环境，出现Message: element not interactable错误时，优先考虑使用execute_script
2024-02-29 15:54:18
532
原创 VIP + Nginx + Keepalived
VIP（Virtual IP Address），虚拟IP地址，主要是用来进行不同主机之间的切换，主要用在服务器的主从切换技术。主从服务器都配置同一个VIP地址，保障系统不间断切换。Keepalived是高可用解决方案，借助VRRP协议实现高可用服务之间的故障切换转移。
2023-04-20 14:28:24
2843
1
原创 centos7安装kafka3.4
查看官网快速入门：https://kafka.apache.org/documentation.html#quickstart通过快速入门可以明确，需要先安装Java环境，但centos7操作系统默认已安装；同时也可以了解到，kafka不仅可以搭配ZooKeeper使用，还可以搭配Kraft查看java版本。
2023-04-03 17:01:23
1347
原创 openssl生成证书和nginx配置ssl证书
一般情况下，使用ssl证书需要三个操作步骤：1.生成密钥对；2.生成证书请求文件；3.生成证书文件。从单纯的开发者角度来说，可以使用开源的openssl生成密钥和证书，且通过openssl的req命令，可以一个命令完成上述3个操作
2023-03-30 11:48:34
1606
原创 Python3和Django的单元测试示例
unittest是python自带的单元测试框架，unittest框架是受到 JUnit 的启发，与其他语言中的主流单元测试框架有着相似的风格。支持将测试样例聚合到测试集中，并将测试与报告框架独立。unittest 通过面向对象的方式支持的重要概念，包括TestFixture、TestCase、TestSuite、TestRunnerdjango.test.TestCase是在unittest.TestCase基础上的二次封装，并且提供Client类用于模拟多种请求的发送测试。
2022-12-20 15:49:44
776
1
原创 python源码编译为.so文件
Cython不仅是python使用广泛和高效的解释器，也是python源代码的加密工具。Cython加密源码的过程：1、将.py编译为.c文件2、将.c文件编译为.so或者.pyd
2022-10-08 10:29:28
743
1
原创 Django调用Nameko微服务使用简介
Nameko is a framework for building microservices in Python.The example above requires RabbitMQ, because it’s using the built-in AMQP RPC features.Django REST framework is a powerful and flexible toolkit for building Web A
2022-04-06 15:03:38
4082
1
原创 uwsgi部署配置apscheduler随项目自动启动
django项目中使用了apscheduler的定时任务框架，开发阶段通过python manage.py runserver 0.0.0.0:8000启动项目时，apscheduler可以自动启动。但部署生产环境通过uwsgi启动项目，apscheduler定时任务没有随项目的启动而自动启动，当通过浏览器打开登录网页，定时任务才启动。一、初始化启动任务代码在__init__.py文件中编写任务初始化# 初始化函数def init_task(): print('------------ini
2022-03-29 09:14:22
996
原创 Elastic Stack之用户认证
Elastic Search开启用户认证，包括增加安全配置项【xpack.security.enabled: true】、给内置用户设置密码【elasticsearch-setup-passwords interactive】等，最后使用浏览器等验证效果。
2021-11-19 16:02:24
2102
原创 Windows环境部署django项目（apache+mod_wsgi）
Windows环境部署django项目（apache+mod_wsgi）注意：Windows的操作系统位数，python的位数，mod_wsgi的位数需要保持一致1、python版本查看，关注点：MSC版本号19002、下载安装apache对应版本；配置httpd.conf3、安装mod_wsgi；配置httpd.conf
2021-11-05 15:59:20
817
原创 python实现文件上传
python实现文件上传，同时实现上传文件名后缀添加回车符（\n），顺便验证了CVE-2017-15715漏洞。关于漏洞详情参见：https://vulhub.org/#/environments/httpd/CVE-2017-15715/
2021-09-10 10:23:30
1780
原创 Elastic Stack之EBK安装
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。Kibana 是一个免费且开放的用户界面，能够让您对 Elasticsearch 数据进行可视化，并让您在 Elastic Stack 中进行导航。Beats 是一个免费且开放的平台，集合了多种单一用途轻量型数据采集器。Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，集中、转换和存储数据。
2021-05-30 17:18:21
408
1
原创 神经网络之CNN
卷积神经网络（Convolutional Neural Networks, CNN）是计算机视觉技术最经典的模型结构，主要知识点包括：卷积、池化、激活函数、批归一化、丢弃法等。卷积神经网络对特征的提取，既能提取到相邻像素点之间的特征模式，又能保证参数的个数不随图片尺寸变化。典型的卷积神经网络结构中，在输入图片上使用多层卷积和池化层组合，在网络的最后通常会加入一系列全连接层，ReLU激活函数一般加在卷积或者全连接层的输出上，网络中通常还会加入Dropout来防止过拟合。
2021-03-11 11:56:33
785
1
原创 机器学习之神经网络
神经网络中最基本的成分是神经元(neuron)模型。在生物神经网络中，每个神经元与其他神经元相连，当神经元的电位超过"阈值" (threshold)，它就会被激活， 即"兴奋"起来，向其他神经元发送化学物质，从而改变其他神经元内的电位。Sklearn提供的是伯努利限制玻尔兹曼机(BernoulliRBM)，实现的训练算法被称为随机最大似然(Stochastic Maximum Likelihood )或持续对比发散(Persistent Contrastive Divergence )
2021-03-06 16:50:56
1113
原创 机器学习之概率图模型
概率图模型(probabilistic graphical model)是一类用图来表达变量相关关系的概率模型。第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网(Bayesian network); 第二类是使用无向图表示变量间的相关关系，称为无向图模型或马尔可夫网(Markovnetwork)。
2021-02-23 11:22:39
391
原创 机器学习之半监督学习
让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习(semi-supervised learning)。sklearn库提供了两种标签传播模型: LabelPropagation 和 LabelSpreading ，以及SelfTrainingClassifier类
2021-02-22 22:16:33
942
原创 机器学习之特征选择与稀疏学习
从给定的特征集合中选择出相关特征子集的过程，称为"特征选择" (feature selection)。作用：一是解决维数灾难问题，二是去除不相关特征降低学习任务的难度。处理高维数据的两大主流技术：特征选择、降维。
2021-02-21 17:37:13
1758
1
原创 机器学习之降维与度量学习
线性降维方法假设从高维空间到低维空间的函数映射是线性的。k 近邻(k-Nearest Neighbor)学习是一种常用的监督学习方法，使用某种距离算法找到K个最近的样本，基于K个邻居进行预测（近朱者赤近墨者黑）。主成分分析(Principal Component Analysis)是最常用的一种降维方法，用于提取数据的主要特征分量。主成分分析是一种无监督的线性降维方法，有监督线性降维方法最著名的是线性判别分析(LDA)。
2021-02-21 12:58:25
531
1
原创 机器学习之集成学习
集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务。集成方法的目标是把多个使用给定学习算法构建的基估计器的预测结果结合起来，从而获得比单个估计器更好的泛化能力/鲁棒性。集成学习方法大致可分为两大类：个体学习器间存在强依赖关系、必须串行生成的序列化方法；比如：Boosting个体学习器间不存在强依赖关系、可同时生成的并行化方法。代表是Bagging 和"随机森林" (Random Forest)
2021-02-20 22:32:18
321
原创 机器学习之贝叶斯分类器
贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都己知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。GaussianNB 实现了运用于分类的高斯朴素贝叶斯算法。MultinomialNB 实现了服从多项分布数据的朴素贝叶斯算法。ComplementNB实现了补充朴素贝叶斯(CNB)算法。
2021-02-20 15:47:45
4577
原创 机器学习之支持向量机
SVM的目标是寻找到最优的超平面，可以将不同类别的样本数据分隔开。即：寻求最优分类边界。SVM的关键技术是核函数，核函数可以将在低维度空间中的线性不可分问题映射为高维度空间中的线性可分问题。支持向量机 (SVMs) 可用于的监督学习算法包括分类，回归 和 异常检测。多元分类：SVC, NuSVC 和 LinearSVC；回归：SVR, NuSVR 和 LinearSVR；异常检测：类OneClassSVM实现了一个用于离群点检测的单类SVM。
2021-02-19 20:56:48
493
原创 机器学习之层次聚类
层次聚类(hierarchical clustering)试图在不同层次对数据集进行划分，从而形成树形的聚类结构。数据集的划分可采用"自底向上"的聚合策略（AGNES），也可采用"自顶向下"（DIANA） 的分拆策略。Sklearn库内两种层次聚类算法：AgglomerativeClustering 和 Birch类的代码实现。
2021-02-19 15:01:44
567
1
原创 机器学习之密度聚类（DBSCAN）
密度聚类亦称"基于密度的聚类" (density-based clustering) ，此类算法假设聚类结构能通过样本分布的紧密程度确定。DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种著名的密度聚类算法。通常情形下，密度聚类算法从样本密度的角度来考察样本之间的可连接性，并基于可连接样本不断扩展聚类簇以获得最终的聚类结果。
2021-02-19 12:05:30
4345
原创 机器学习之K均值的SSE和轮廓系数
SSE（sum of the squared errors）是对簇松散度的衡量，作为目标函数其实是一个严格的坐标下降（Coordinate Decendet）过程。SSE不能保证找到全局最优解，只能确保局部最优解。轮廓系数法结合了聚类的凝聚度（Cohesion）和分离度（Separation），用于评估聚类的效果。指标：内部距离最小化，外部距离最大化。平均轮廓系数的取值范围为[-1,1]，系数越大，聚类效果越好。
2021-02-19 09:43:06
10474
1
原创 机器学习之原型聚类算法（K均值和高斯混合）
原型聚类算法是假设聚类结构能通过一组原型进行刻画，通常情形下，算法先对原型进行初始化，然后对原型进行迭代更新求解。采用不同的原型表示、不同的求解方式，将产生不同的算法。K均值和LVQ算法的主要差异是更新原型向量的方法，K均值是根据分配到簇内的所有样本计算新的均值向量；LVQ是随机抽取一个样本，找到与其最近的原型向量，如果标记相同，则计算出更靠近随机样本的新原型向量，否则相反计算出更远的新原型向量。K均值、LVQ 用原型向量来刻画聚类结构，高斯混合聚类采用概率模型来表达聚类原型。
2021-02-18 21:54:25
2175
2
原创 机器学习之聚类相关术语
在"无监督学习" (unsupervised learning) 中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，常见的无监督学习任务有聚类 (clustering)、密度估计(densityestimation)、异常检测(anomaly detection) 等。
2021-02-17 22:33:01
774
1
原创 机器学习之决策树
决策树(decision tree) 是一类常见的机器学习方法。顾名思义，决策树是基于树结构来进行决策的，其基本流程遵循简单且直观的"分而治之" (divide-and-conquer) 策略。决策树学习的关键是如何选择最优划分属性，使得分支结点的"纯度" (purity) 越来越高。决策树是一种用来 classification 和 regression 的无监督学习方法。Sklearn库中类DecisionTreeClassifier分类算法，类DecisionTreeRegressor 回归算法。
2021-02-17 21:36:28
311
1
原创 机器学习之多分类相关术语
多分类学习的基本思路是“拆解法”,即将多分类任务拆为若干个二分类任务求解。类别不平衡(class-imbalance)就是指分类任务中不同类别的训练样例数目差别很大的情况。
2021-02-17 11:11:02
279
原创 机器学习之线性判别分析LDA
线性判别分析（Linear Discriminant Analysis, 简称LDA）是一种经典的线性学习方法，LDA算法既可以用来监督式的降维，也可以用来分类。LDA思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。在Sklearn库中逻辑回归模型使用 LinearDiscriminantAnalysis类，其求解器（solver）可使用的优化算法，包括svd（奇异值分解） 、lsqr（最小二乘）和 eigen（特征分解）。
2021-02-16 23:22:17
582
1
原创 机器学习之逻辑回归（对率回归）
线性回归模型帮助我们用最简单的线性方程实现了对数据的拟合，即实现了对连续值的预测。那怎么预测离散值（分类）呢？在数学意义上，就是找到一个单调可微函数将分类任务的标记与线性回归模型的预测值相关联。形似S的Sigmoid函数可以实现将连续的预测值转换为离散的预测值。对于二分类任务，当线性预测值大于零，则输出离散值为正例；当线性预测值小于零, 则输出离散值为反例。
2021-02-16 17:22:19
4952
1
原创 机器学习工具之sklearn库
scikit-learn是基于 Python 语言的机器学习工具，简称sklearn。它是SciPy的扩展，建立在Numpy和matplolib库的基础上。sklearn包括了分类，回归，降维和聚类等四大机器学习算法，还包括了特征提取，数据处理和模型评估者三大模块。特点 •简单高效的数据挖掘和数据分析工具 •开源，可商业使用 - BSD许可证
2021-02-15 23:14:26
2835
原创 机器学习之线性回归
线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化。均方误差对应了常用的欧几里得距离，简称欧氏距离（Euclidean distance）。
2021-02-15 18:02:05
939
1
原创 机器学习的实现和方法论
归纳与演绎是科学推理的两大基本手段，类似的，实现机器学习也可以分成两步：训练（归纳）和预测（演绎）。机器学习模型构成的三个部分是模型假设、评价函数（损失/优化目标）和优化算法。可以把机器学习过程看作一个在所有假设（hypothesis）组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配fit”的假设。
2021-02-15 12:37:35
1343
原创 机器学习之模型评估的术语
过拟合（overfitting、过度匹配）：过度训练样本以至于将某些样本自身的个别特点，作为样本的一般性质，导致模型泛化能力较差的机器学习现象。欠拟合（underfitting）：训练不足以至于没有掌握样本的一般性质。误差（error）：实际预测输出与样本的真实输出之间的差异，即模型预测错误数
2021-02-14 17:01:56
523
1
原创 机器学习入门术语
本文内容整理自周志华机器学习，机器学习研究的主要内容：在计算机中从数据中产生“模型 model”的算法，即“学习算法 learning algorithm”。A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P
2021-02-14 11:34:05
225
原创 使用Serviceability Agent(SA)查看JVM中的class文件
The Serviceability Agent is a Sun private component in the HotSpot repository that was developed by HotSpot engineers to assist in debugging HotSpot.SA是JDK提供的一个强大的调试工具集
2021-01-13 16:35:40
641
原创 Spring微服务使用feign传递Token的简单示例
Spring微服务之间使用feign的RequestInterceptor拦截器实现请求头传递当前登录用户信息，代码实现逻辑：消费者Consumer微服务调用提供者Provider微服务，通过feign拦截器将请求头信息传递给提供者服务。
2020-12-07 10:29:25
1516
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人