- 博客(45)
- 收藏
- 关注
RSS订阅原创 在无网络的linux服务器上pip安装python模块
1、在有网络的机器上安装好相应模块以fate-client为例，首先编写一个requirements.txt文件，内容是要安装的模块。cat >requirements.txt << EOFfate-clientEOF2、将指定的模块下载到package文件夹pip download -d ./package -r requirements.txt3、将requirements.txt和package文件夹上传到服务器通过scp -r命令将requirements.txt
2021-06-23 16:31:42
1078
原创 docker使用代理拉取镜像
docker使用代理拉取镜像前言在无法直接访问外网的情况下，需要通过配置代理proxy才可以进行访问1、创建配置目录sudo mkdir -p /etc/systemd/system/docker.service.d2、添加环境变量sudo vi /etc/systemd/system/docker.service.d/http-proxy.conf在配置文件中添加以下内容：[Service]Environment=“HTTP_PROXY=http://proxy-addr:port/”
2021-06-22 11:40:47
2112
原创 jmeter相关参数
1、线程组一个测试计划的所有元件必须在一个线程组下。线程组元件控制JMeter运行测试时使用的线程数。在jmeter中，线程有3个属性需要设置：线程数线程之间是互相独立的，多线程用来模拟到达服务器程序的同步连接。ramp-up时间该参数决定jmeter多久开始“ramp-up”选择的全部线程。如果使用10个线程，ramp-up时间为100s，则jmeter用100s使所有10个线程启动并运行。每个线程会在上一个线程启动后10s（100/10）启动。如果有30个线程和一个120s的ram
2020-11-23 19:55:34
1327
原创 Mac下使用jmeter发起docker镜像上的mysql查询
一、使用Docker搭建MySQL服务1、安装docker2、建立镜像拉取官方镜像docker pull mysql # 拉取最新版mysql镜像检查是否拉取成功sudo docker images一般来说数据库容器不需要建立目录映射sudo docker run -p 3306:3306 --name mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql检查容器是否正确运行docker container ls3、连接mysql
2020-11-23 15:43:36
222
原创 leetcode560和为K的子数组、974和可被K整除的子数组
1、560和为K的子数组解题思路：由于数组长度很大，暴力O(n^2)的解法必定要超时，同时要找的是连续子数组，排序O(nlogn)肯定也不可以，此时应该想到利用hash表。如何优化呢？首先，定义pre[i]为[0..i]里所有数的和，则有：pre[i]=pre[i−1]+nums[i]同理，[j..i]这个子数组和为k这个条件可以转化为pre[i]−pre[j−1]=k所以，可以得到：pre[i]-k=pre[j−1]所以求以i结尾的和为k的连续子数组个数可以转化为求有多少个前缀和为pre[
2020-05-27 10:40:11
172
原创 leetcode142环形链表Ⅱ
题目思路1利用hash表，每当走到一个节点，判断该节点是否已经存在hash表中，如果存在，则该节点就是要求的节点，否则将其加入hash表，直到走到尾节点。python中的set的底层实现就是hash表（与list的顺序存储不同，set效率要高于list，尤其是大数据查找下），所以可以直接利用set来进行操作。class Solution: def detectCycle(self, head: ListNode) -> ListNode: s = set([])
2020-05-26 11:02:01
210
原创 torch.stack()详解
torch.stack()跟torch.scatter()类似，scatter()请看我的上一篇博客：https://blog.csdn.net/weixin_43496455/article/details/103870889贴个torch.stack()官方文档的截图dim代表沿着哪个维度进行堆叠举个例子：dim=0时：（dim不写时，默认为0）a: 2x3 ; b: 2x3 ...
2020-01-12 10:54:27
1825
1
原创 pytorch中scatter()、scatter_()详解
scatter()、scatter_()scatter() 和 scatter_() 的作用一样。不同之处在于 scatter() 不会直接修改原来的 Tensor，而 scatter_() 会在原来的基础上对Tensor进行修改。torch.scatter()官方文档scatter(dim, index, src)将src中数据根据index中的索引按照dim的方向进行填充。dim=0...
2020-01-07 11:41:27
20956
7
原创 pytorch中的一些函数---torch.cat()、index_select()、torch.gather()
torch.cat()torch.cat是将两个张量（tensor）拼接在一起，cat是concatnate的意思，即拼接。其中dim代表维度，0代表行，1代表列。index_select()index_select(x, 1, indices)1代表dim(维度)为1，即列。indices是筛选的索引序号。当dim为0时，就是筛选行的索引，当dim为1时，就是筛选列的索引。注...
2020-01-06 16:37:05
454
原创 利用sklearn进行特征选择
3种特征选择Filter过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。（先对数据集进行特征选择，然后再训练学习器）Wrapper包装法，根据目标函数（通常是预测效果评分），每次选择若干特征，或者排除若干特征。（给定学习器选择最有利于其性能、“量身定做”的特征子集）Embedded嵌入法，先使用某些机器学习的算法和模型进行训练，得到各个特征的...
2019-12-20 22:27:47
6249
原创 集成学习ensemble learning
个体与集成集成学习通过构建并结合多个学习器来完成学习任务。如图，一般结构是：先产生一组“个体学习器”，再用某种策略将它们结合起来。如果集成中只包含同种类型的个体学习器，这样的集成是“同质”的。同质集成中的个体学习器称为“基学习器”，相应的学习算法称为“基学习算法”。类似地，异质集成中的个体学习器一般也称为“组件学习器”。要获得好的集成，个体学习器应该“好而不同”，即个体学习器要有一定的：准...
2019-12-19 22:51:58
209
原创 sklearn库实现三种贝叶斯分类器
sklearn官方教程https://scikit-learn.org/dev/modules/naive_bayes.htmlsklearn库朴素贝叶斯分类：https://blog.csdn.net/luanpeng825485697/article/details/78967139三种贝叶斯分类参数介绍https://www.cnblogs.com/JosonLee/p/10053...
2019-12-19 20:12:53
2817
原创 西瓜书——贝叶斯分类器+EM算法
西瓜书贝叶斯分类器详解：https://blog.csdn.net/yangjingjing9/article/details/79986371贝叶斯分类器应用—水果分类https://blog.csdn.net/qq_25948717/article/details/81744277贝叶斯分类器应用—影评态度分类https://blog.csdn.net/lsldd/article/deta...
2019-12-19 14:56:30
1352
原创 k-means、DBSCAN聚类算法代码
k-means聚类算法优点容易实现。缺点可能收敛到局部最小值，在大规模数据集上收敛较慢。适用数据类型数值型数据。伪代码创建k个点作为起始质心（经常是随机选择）当任意一个点的簇分配结果发生改变时 对数据集中的每个数据点 对每个质心 计算质心与数据点之间的距离 将数据点分配到距其最近的簇 对每一个簇，计算簇中所有点的均值并将均值作为质心k-means代码fro...
2019-12-16 22:10:00
1612
原创 聚类
聚类聚类是一种无监督学习，它试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”。聚类的性能度量聚类的性能度量又称为聚类“有效性指标”。聚类的期望结果是“簇内相似度”，且“簇间相似度”低。聚类性能度量分为两类：一类是将聚类结果与某个“参考模型”进行比较，称为“外部指标”；另一类是直接考察聚类结果而不利用任何参考模型，称为“内部指标”。外部指标基于上式，有聚类...
2019-12-16 14:13:28
1415
原创 field larger than field limit (131072) 和 ParserError: Expected 337 fields in line 4, saw 1491
Error: field larger than field limit (131072)当在文本文件中出现非常大的字段时候，就可能出现这个问题：第一种解决方式：import csvcsv.field_size_limit(500 * 1024 * 1024)第二种解决方式：import sysimport csv csv.field_size_limit(sys.maxsiz...
2019-11-17 19:28:38
1066
原创 AttributeError: module 'tensorflow' has no attribute 'Session'——python与tensorflow版本问题
AttributeError: module ‘tensorflow’ has no attribute ‘Session’这个报错真的搞了我好久，最后才发现是！！python和tensorflow的版本不对应导致的！！！我用的python3.6，然后下的tensorflow是2.0版本，事实上这样是行不通的。二者对应版本参见链接：官方网站：https://pypi.org/project...
2019-11-15 22:57:45
1159
转载 MySQL的IFNULL函数
MySQL IFNULL函数是MySQL控制流函数之一，它接受两个参数，如果不是NULL，则返回第一个参数。 否则，IFNULL函数返回第二个参数。两个参数可以是文字值或表达式。以下说明了IFNULL函数的语法：IFNULL(expression_1,expression_2);如果expression_1不为NULL，则IFNULL函数返回expression_1; 否则返回expre...
2019-11-15 18:59:12
465
原创 反向传播（BP）网络的mnist实例（提升篇）
提高神经学习的学习效率并行计算可以使用GPU进行并行计算，以此提高学习效率。梯度消失问题梯度消失问题的存在使得学习效率会变慢，出现梯度消失的原因如下：其中，对sigmoid函数求导的时候，在[-4, 4]的范围外会发生导数很小，接近于0的情况，进而导致学习的梯度消失。改进的思路归一化因为数据度量的量纲可能不同，所以需要对数据进行归一化处理。归一化的效果如图：参数初...
2019-11-15 18:44:43
1031
原创 反向传播（BP）网络的mnist实例
BP网络——前馈神经网络（Back Propgation Networks）本文将实现一个最简单的三层神经网络其中，损失函数是线性函数，激励函数是sigmoid函数。代码的实现中，采用的是随机梯度下降法。计算导数的方法可以参考图片，有兴趣的小伙伴可以参考，自行推导：随机梯度下降法的原理代码如下所示：#!/user/bin/env python3# -*- coding:...
2019-11-14 21:29:53
1318
转载 机器学习三大算法——GBDT、XGBoost、LightGBM
本文主要简要的比较了常用的boosting算法的一些区别，从AdaBoost到LightGBM,包括AdaBoost,GBDT,XGBoost,LightGBM四个模型的简单介绍，一步一步从原理到优化对比。AdaBoost原理原始的AdaBoost算法是在算法开始的时候，为每一个样本赋上一个权重值，初始的时候，大家都是一样重要的。在每一步训练中得到的模型，会使得数据点的估计有对有错，我们就在每...
2019-10-28 17:20:29
952
原创 XGBoost参数及代码实战
XGBoost参数解释：https://blog.csdn.net/qq_40587575/article/details/82886782XGBoost参数调优：Complete Guide to Parameter Tuning in XGBoost with codes in PythonXGBoost算法是一种高度复杂的算法，功能强大，足以处理各种数据不规则性。使用XGBoost建立...
2019-10-28 16:28:04
1810
原创 数据分析—python中透视表的使用
数据透视表数据透视表是电子表格程序和其他数据分析软件中常见的数据汇总工具。它根据一个或多个表聚合一张表的数据，将数据在矩形格式中排列，其中一些分组键是沿着行的，另一些是沿着列的。Python中的pandas透视表是通过groupby工具以及使用分层索引的重塑操作实现的。DataFrame拥有一个pivot_table方法，并且还有一个顶层的pandas.pivot_table函数。除了为g...
2019-10-18 21:26:55
2704
原创 Linux的常用命令（下）
gzip压缩和gunzip解压缩gzip 文件 （功能描述：压缩文件，只能将文件压缩为.*gz文件）gunzip 文件.gz （功能描述：解压缩文件命令）zip和unzip指令zip [选项] XXX.zip 将要压缩的内容 （功能描述：压缩文件和目录的命令）unzip [选项] XXX.zip （功能描述：解压缩文件）zip常用选项：-r：递归压缩，即压缩目录（/home/*...
2019-09-30 11:39:53
305
原创 Linux的常用命令（上）
关机、重启、用户登录注销关机&重启shutdown：shutdown -h now：表示立即关机shutdown -h 1：表示1分钟后关机shutdown -r now：立即重启halt：就是直接使用，效果等价于关机reboot：就是重启系统sync：把内存的数据同步到磁盘**注：**当我们关机或者重启的时候，都应该先执行sync指令，把内存的数据写入磁盘，防止数...
2019-09-26 21:26:52
218
原创 Linux的远程登录——Xshell
1、ifconfig找不到ip地址解决办法①查看ens33网卡的配置： vi /etc/sysconfig/network-scripts/ifcfg-ens33注：vi后面有空格②将此处的no改为yes注：然后按 Esc 退出 再输入命令 :wq 再按Enter即可 （备注 :wq表示保存并退出）③然后重启网络服务：sudo service network restart④...
2019-09-24 20:43:55
158
转载 jdk下载安装教程+java环境配置
jdk是学习java必不可少的，以win7 32位系统和大家分享一下jdk的下载和安装。有需要的朋友可以参考下。现附上jdk的下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html根据自己的电脑(32位还是64位)选择对应的版本下载。找到下载的文件，运行".exe"文件...
2019-08-25 16:10:08
123
原创 利用seaborn进行数据分析（一）
官方seaborn教程绘图功能可视化统计关系统计分析是了解数据集中的变量如何相互关联以及这些关系如何依赖于其他变量的过程。可视化可以是此过程的核心组件，因为当数据可视化时，人类视觉系统可以看到指示关系的趋势和模式。import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as ...
2019-08-24 19:23:34
1349
转载 利用Pandas进行数据分析
Pandas包概述1、pandas非常适合许多不同类型的数据：①具有异构类型列的表格数据，如SQL表或Excel电子表格。②有序和无序（不一定是固定频率）时间序列数据。③具有行和列标签的任意矩阵数据（均匀类型或异构）。④任何其他形式的观察/统计数据集。 实际上不需要将数据标记为放置在Pandas数据结构中。pandas 的两个主要数据结构，Series（1维）和DataFrame（2维...
2019-08-24 15:21:28
4904
1
转载 12种用于Python数据分析的Pandas技巧
Pandas功能强大，在https://www.cnblogs.com/0n-the-way/p/9480268.html中，讨论了12种分析技巧，分别是：1、在表格中，如果你想根据另一列的条件筛选当前列的值，你会怎么做？举个例子，假设我们想要一份所有未毕业但已经办理了贷款的女性清单，具体的操作是什么？在这种情况下，Boolean Indexing，也就是布尔索引能提供相应的功能。2、Appl...
2019-08-23 15:40:44
148
原创 Scrapy爬虫框架
架构介绍Scrapy框架的架构如下图所示：它可以分为如下的几个部分：①Engine。引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。②Item。项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象。③Scheduler。调度器，接受引擎发过来的请求并将其加入到队列中，在引擎再次请求的时候将请求提供给引擎。④Downloader。下载器，下载网页内容，并将网...
2019-08-21 19:11:13
385
转载 pycharm快捷键及一些常用设置
编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档Shift + F1 外部文档Ctrl + 鼠标 简介Ctrl + F1 显示错误描述或警告信息Alt + Insert 自...
2019-08-18 10:19:08
88
原创 一个奇奇怪怪的方法：python十进制转二进制
十进制正数转为二进制直接调用bin()函数即可十进制负数转为二进制首先，要知道python中int()的一种用法，命令行下输入help(int):可以看到，当int()中第一个参数为字符串时，第二个参数是进制数，有效的进制数是0，2-36。其中，字符串是相应的进制数的表示，通过int()函数，会将这个表示转换为十进制整数。如上图所示，‘100’在二进制下为4。高能如下！！！如...
2019-07-25 18:46:55
1401
原创 SQL管理事务处理、使用游标、高级SQL特征
管理事务处理事务处理使用事务处理（transaction processing），通过确保成批的SQL操作要么完全执行，要么完全不执行，来维护数据库的完整性。事务处理是一种机制，用来管理必须成批执行的SQL操作，保证数据库不包含不完整的操作结果。利用事务处理，可以保证一组操作不会中途停止，它们要么完全执行，要么完全不执行（除非明确指示）。如果没有错误发生，整组语句提交给（写到）数据库表；如果...
2019-07-22 16:02:08
409
原创 SQL创建和操纵表、使用视图、使用存储过程
创建和操作表创建表SQL有两种创建表的方法：a、多数DBMS都具有交互式创建和管理数据库表的工具b、表也可以直接用SQL语句操作用程序创建表，可以使用SQL的CREATE TABLE语句。实际上，使用交互式工具时就是在使用SQL语句。表创建基础利用CREATE TABLE创建表，必须给出下列信息：a、新表的名字，在关键字CREATE TABLE之后给出b、表列的名字和定义，用逗号...
2019-07-21 14:45:08
626
原创 SQL组合查询、插入数据、更新和删除数据
组合查询SQL允许执行多个查询（多条SELECT语句），并将结果作为一个查询结果集返回。这些组合查询通常称为并（union）或复合查询（compound query）。主要有两种情况需要使用组合查询：a、在一个查询中从不同的表返回结构数据；b、对一个表执行多个查询，按一个查询返回数据。使用UNION可用UNION操作符来组合数条SQL查询。SELECT cust_name, cust...
2019-07-18 17:33:48
1960
原创 SQL使用子查询、联结表、创建高级联结
使用子查询利用子查询进行过滤SELECT cust_name, cust_contactFROM CustomersWHERE cust_id IN (SELECT cust_id FROM Orders WHERE order_num IN (SELECT order_num FROM OrderItems ...
2019-07-17 22:48:44
221
原创 SQL排序检索数据、过滤数据、创建计算字段、使用函数处理数据、汇总数据、分组数据
排序检索数据排列数据 GROUP BYSELECT prod_name FROM Products ORDER BY prod_name;注：GROUP BY子句的位置在指定一条ORDER BY子句时，应该保证它是SELECT语句中最后一条子句！！！按多个列排序SELECT prod_id, prod_price, prod_name FROM Products ORDER BY p...
2019-07-17 21:02:36
329
原创 SQL基础、检索数据
什么是SQL？SQL是Structured Query Language（结构化查询语言）的缩写。SQL是一种专门用来和数据库沟通的语言。SQL的优点：a、几乎所有重要的DBMS都支持SQL；b、SQL简单易学；c、SQL是一种强有力的语言，可以进行非常复杂和高级的数据库操作。主键：唯一标识表中美行的这个列（或这几列）称为主键。主键用来表示一个特定的行。没有主键，更新或删除表中特定行就...
2019-07-16 21:32:48
216
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人