- 博客(77)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 linux设置jupyter开机自启
ExecStart=路径/bin/jupyter-lab --config=路径/jupyter_lab_config.py。WorkingDirectory=工作目录。非root用户需要sudo。
2022-08-24 11:21:36
1075
1
原创 linux安装jupyter lab并实现远程连接
由于公司服务器自带防火墙了，我就进行了简单设置，私人服务器应该要注意设置防火墙。服务器使用python运行以下指令。在文档中找到想要修改的命令进行修改。conda或者pip都可。直接在浏览器访问即可。...
2022-08-19 09:56:00
1002
1
原创 scanpy细胞图谱细胞类型合并
我猜测函数可能是根据这一分类依据自动创建了leiden_color并进行分类和上色。我猜测每次生成umap，图中的颜色都是从这个数组中取得的，于是我尝试把相同celltype的颜色改为一致。在用scanpy进行单细胞分析时常常要对聚类后的簇进行细胞标注并生成细胞图谱，但是在通常使用的更改注释的方法中。好吧，现在相同celltype的颜色总算是一致了，总体美观多了，就是右侧的类型注释还是没有做到合并。的字符不允许重复，而我无法确保每一个簇的细胞类型都不相同，于是我只能在相同的细胞类型后添加。...
2022-07-19 14:29:10
1617
2
原创 数美22春招算法题
一# 贪心def func(arr): maxp = 0 end = 0 step = 0 for i in range(len(arr)-1): maxp = max(maxp, i + arr[i]) if end == i: step = step+1 end = maxp return step二在这里插入代码片三# 优先队列使用堆排序def func(a
2022-05-31 08:25:23
248
原创 Python写字
from turtle import *speed(1)#bgpic(r"abc.gif")def writeString(mystr,fontsize=60): pendown() write(mystr,font=('楷体',fontsize,'normal')) penup()def yinzhang(): pensize(2) pencolor('red') pendown() for i in range(4):
2022-05-22 18:50:59
1335
原创 费米问题求解
费米估算介绍有时在面对一个问题时，往往会因为解决这个问题的信息资源有局限，条件资源有局限，而感到无从下手。而费米估算正是解决如何在数据不明确、以及各种限制条件下，利用一些假设的理由和经验推算出正确答案这一问题的方法。其具体思路为，通过公式或者逻辑将大的问题拆解为多个可以解决的小问题，再通过小问题的求解来得到大问题的答案。例子：芝加哥有多少调音师有公式如下：总人数 = 总工作时长 / 单人工作时长所以问题可以分解如图：此时问题已经拆解至可解，而对于可解问题，仍然没有一个准确的数据，此时就需
2022-05-22 18:29:18
467
原创 vgsales游戏销售数据分析
分析目标游戏类型销量趋势（近年热门游戏类型）游戏平台销量趋势（近年热门平台类型）游戏地区销量趋势（近年高销量地区）类型标准差：31.0385平台标准差：94.1193发行商标准差：10.8071大区标准差：41.3870...
2022-04-10 00:05:19
630
原创 电信客户流失分析实战
分析目标找到流失用户特点预测用户是否流失提出优化建议源数据数据预处理数据清洗import pandas as pdf = pd.read_csv(r'D:\Data\电信用户流失' r'\WA_Fn-UseC_-Telco-Customer-Churn - Copy.csv') #检索数据print(pd.isnull(f).sum(), f.info())#按列检索数据# for x in f.columns:#
2022-02-25 10:03:04
1224
1
原创 Airbnb NYC2019分析实战
分析目标民宿特征分布图可视化（位置、房型、价格）寻找热门民宿特点源数据数据预处理字段分析字段含义id民宿idname民宿名称host_id房东idhost_name房东姓名neighbourhood_group邻近大区neighbourhood临近社区latitude维度longitude经度room_type房型price价格minimum_nights最少入住天数number_of_r
2022-02-20 18:07:39
460
1
原创 MySQL经典习题50道
根据以下博文所创建的自己的答案原博文先建四张表学生表 Studentcreate table Student(SId varchar(10),Sname varchar(10),Sage datetime,Ssex varchar(10));insert into Student values('01' , '赵雷' , '1990-01-01' , '男');insert into Student values('02' , '钱电' , '1990-12-21' , '男');insert
2022-02-08 17:22:58
55
转载 三大特征提取器（RNN/CNN/Transformer）
三大特征提取器 - RNN、CNN和Transformer简介近年来，深度学习在各个NLP任务中都取得了SOTA结果。这一节，我们先了解一下现阶段在自然语言处理领域最常用的特征抽取结构。本文部分参考张俊林老师的文章《放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较》(写的非常好，学NLP必看博文)，这里一方面对博文进行一定程度上的总结，并加上一些个人理解。在深度学习流行起来之后，随着我们的网络越做越深，我们的神经网络模型越来越像一个黑箱，我们只要喂给它
2021-06-11 10:30:56
11468
1
转载 4种边界Padding方法
卷积操作作为卷积神经网络的核心模块，在其计算过程中必须考虑图像“边缘像素”的卷积方式。查阅资料发现，我们可以采用“卷积之前进行边界填充”或“卷积之后进行边界填充两种方式”，同时边界填充的具体手段包含常量填充、零填充、镜像填充以及重复填充等。比起使用卷积自带的填充方式，提前填充有更强的功能有更大的自由，更为推荐。在具体分析各种Pad之前，先创建一个2dTensor用于测试后面的填充操作：x = torch.Tensor([[1, 2], [3, 4]])创建的Tensor数值分别1、2、3、4：1
2021-04-06 14:45:18
2419
转载 卷积的三种模式:full, same, valid
卷积的三种模式:full, same, valid通常用外部api进行卷积的时候，会面临mode选择。本文清晰展示三种模式的不同之处，其实这三种不同模式是对卷积核移动范围的不同限制。设 image的大小是7x7，filter的大小是3x31，full mode橙色部分为image, 蓝色部分为filter。full模式的意思是，从filter和image刚相交开始做卷积，白色部分为填0。filter的运动范围如图所示。2，same mode当filter的中心(K)与image的边角重合时
2021-04-06 14:30:09
367
转载 卷积核为何是奇数
为什么CNN中的卷积核一般都是奇数为什么CNN中的卷积核一般都是奇奇数奇数，没有偶数偶数的？咱们经常见到的多为 3 * 3、55;怎么从来没有见过 44，6*6 之类的卷积核？无论奇数 or 偶数，都是能够做卷积的呀之前学习的时候真的没有想过这些问题，再复习时，觉得全是 Why?说明之前还是没有搞明白从AlexNet模型的1111、55、33，还有VGG开始统一卷积核为33，再到之后的模型，都没有用过 偶数偶数的卷积核，说明它是有问题的，或者是没有 奇数奇数的方便这一串的问题，原因有两个：1.保
2021-04-06 10:08:18
479
原创 将.mat转为.csv
import pandas as pdimport scipyfrom scipy import io# 文件路径features_struct = scipy.io.loadmat(r'D:\Document\Cincinnati_Bearing\提取\feature1.mat')# matlab变量名features = features_struct['ans']dfdata = pd.DataFrame(features)# 存储路径datapath1 = r'D:\Documen
2021-03-31 11:23:50
739
3
原创 12.PyTorch深度学习实践——循环神经网络（基础）
循环神经网（RNN）络被大量运用于NLP领域，但是实际上，只要是时序信号比如轴承振动信号等交由RNN处理都有不错的效果。本节就来熟悉RNN的使用。如上图所示，RNN由同一循环单元重复运算构成，它的参数会随着每次运算改变。单个循环单元解释如下：从这里可以看到，它通过将输入x线性变换成和隐层h维度相同而进行运算，所以通过输入x维度和隐层h维度即可确认循环单元，可得公式如下：这里即是构造了一个循环单元，只需将循环单元循环使用即可构造RNN网络。在构造之前我们需要数据维度，网络运输就是一个维度变换的过程
2021-03-15 15:44:47
874
原创 10.PyTorch深度学习实践——卷积神经网络（基础）
本节开始学习卷积神经网络卷积神经网络(Convolutional Neural Networks, CNN)最早由Alexander Waibel于1987年提出，起初被称作时间延迟网络(Time Delay Neural Network, TDNN)，在Yann LeCun于1989年论述网络结构时提到了“卷积”一词，因此得名。同年Yann LeCun及其合作者的LetNet-5项目为CNN引入了池化层，该项目及其变体不断发展完善CNN，最终定义了现代CNN的基本结构。还记得上一节中我们使用全连接神经
2021-02-23 13:16:47
674
3
原创 09.PyTorch深度学习实践——多分类问题
import torchfrom torchvision import transformsfrom torchvision import datasetsfrom torch.utils.data import DataLoaderimport torch.nn.functional as Fimport torch.optim as optimbatch_size = 64transform = transforms.Compose([ transforms.ToTensor()
2021-02-18 18:28:05
489
原创 08.PyTorch深度学习实践——加载数据集
这节主要看到了DataLoader的使用和batch_size对训练的影响，DataLoader帮助我们更便捷的操作数据集，batch_size会极大地影响训练效果准备先了解机器学习中的Epoch，Batch_size，Iteration三个概念，其实也是之前一直用到的用公式表示：Epoch = Batch_size * Iteration为什么用DataLoader？DataLoader帮我们做了什么？实验了解了基本概念和DataLoader后直接上代码，对比Batch_size对训练
2021-02-06 16:39:29
268
原创 07.PyTorch深度学习实践——处理多维特征的输入
采用sigmoid激活函数import numpy as npimport torchimport matplotlib.pyplot as plt#这里之所以设置为float32是因为大部分显卡的存储都支持，只有少部分高端显卡支持doublexy = np.loadtxt('data/diabetes.csv.gz', delimiter=',', dtype=np.float32)x_data = torch.from_numpy(xy[:, :-1])y_data = torch.fr
2021-02-04 12:26:31
214
原创 06.PyTorch深度学习实践——逻辑斯蒂回归
逻辑回归主要用于二分类问题（Binary Classification），与线性回归的区别在于添加了sigmoid激活函数（sigmoid函数也叫Logistic函数），使线性回归预测值映射在（0，1）之间，代表二分类的概率；损失函数改为计算分布差异的损失函数BCELoss，计算分布差异的方法还有很多，如KL和Cross Entropy。在损失函数中有一个选项为是否求均值，这里是否都可，主要是对学习率有影响。import torchimport matplotlib.pyplot as pltimp
2021-02-03 11:56:26
184
原创 05.PyTorch深度学习实践——线性回归
使用Pytorch分四步：import torchimport matplotlib.pyplot as plt#1.准备数据x_data = torch.Tensor([[1.0], [2.0], [3.0]])y_data = torch.Tensor([[2.0], [4.0], [6.0]])#2.设计模型#必定要重写__init__和forward两个函数class LinearModel(torch.nn.Module): #定义模型 def __init__(
2021-02-02 16:26:54
136
原创 04.PyTorch深度学习实践——反向传播
import torchimport matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]w = torch.tensor([1.0])#tensor默认不计算梯度，需要手动开启w.requires_grad = True#x会自动转换为tensordef forward(x): return x * w#loss会构建计算图，看到loss就应该能画出计算图，这是一种理解方式d
2021-02-02 11:13:34
156
2
原创 03.PyTorch深度学习实践——梯度下降
梯度下降import matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]w = 1.0def forward(x): return x * wdef cost(xs, ys): cost = 0 for x, y in zip(xs, ys): y_pred = forward(x) cost += (y_pred - y) ** 2
2021-01-31 23:47:53
144
原创 02.PyTorch深度学习实践——线性模型
学习B站的PyTorch深度学习实践做练习记录欢迎去原视频一键三连支持upPyTorch深度学习实践import numpy as npimport matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]def forward(x): return x * wdef loss(x, y): y_pred = forward(x) return (y_pred - y) * (y_pred
2021-01-31 18:04:03
119
原创 pandas批量读取csv生成dataframe
此方法用来将数据集合并import pandas as pdimport globimport ospathr = r'D:\XX\XX' #批量文件所在路径file = sorted(glob.glob(os.path.join(pathr, "*.csv")), key=lambda name: int(name[87:-4])) #name[]去除路径首尾字符print(file)dl = []for f in file: dl.append(pd.r
2020-11-04 20:52:37
1635
原创 快速学会~~python闭包和装饰器
有时候我们可能会有些需要，要求在不改变原函数的情况下给函数增加功能，这个时候装饰器就派上了用场。要理解装饰器需要先理解什么是闭包。闭包定义：在函数嵌套的前提下，内部函数使用了外部函数的变量，并且外部函数返回了内部函数，我们把这个使用外部函数变量的内部函数称为闭包。举一个栗子：def f_outer(str1): def f_inner(str2): print('同桌拿了我的%s，我%s了' %(str1, str2)) return f_inner#创建闭包f = f_outer(
2020-06-29 20:51:29
91
原创 Ubuntu 18.04 DNS 配置（解决静态ip配置和wired unmanaged）
当Ubuntu设置为NAT模式的时候无法上网，此时需要手动配置DNS和静态ip在控制台输入：sudo gedit /etc/network/interfaces打开网卡配置文件在其中输入以下代码后保存# interfaces(5) file used by ifup(8) and ifdown(8)auto loiface lo inet loopbackauto ens33if...
2020-04-08 15:51:50
963
转载 deepin下mysql的安装配置
deepin下mysql的安装配置deepin系统下使用apt安装mysql自动安装的是MariaDB①安装②设置密码deepin系统下使用apt安装mysql自动安装的是MariaDB①安装进入终端输入：sudo apt-get install -y mysql-server mysql-client②设置密码在终端中输入如下指令：sudo mysql -uroot -p进入...
2019-09-28 17:10:11
822
原创 8个小球
#八个小球,其中有一个劣质小球，比较两次得到该球from random import shufflebolls = [1,1,1,1,1,1,1,0]#打乱小球顺序shuffle(bolls)#开始对比group0 = bolls[0] + bolls[1] + bolls[2]group1 = bolls[3] + bolls[4] + bolls[5]group2 = boll...
2019-09-20 22:16:26
491
1
原创 图书馆：模拟一天的借阅过程
虽然不太熟练，还是尽量把所有要素都使用上父类：人（名字）子类：学生（名字，ID），管理员（名字）接口：OperationS方法：找书，借书，还书接口：OperationM方法：同意（如何学生ID相同则同意，否则拒绝），回收import java.util.ArrayList;import java.util.List;public class test { static ...
2019-03-16 12:03:56
1002
原创 用埃氏筛法求2～100以内的素数
用“埃氏筛法”求2～100以内的素数。2～100以内的数，先去掉2的倍数，再去掉3的倍数，再去掉5的倍数，……依此类推，最后剩下的就是素数。要求使用数组及增强的for语句。先科普下埃氏筛法相关知识埃拉托斯特尼筛法，简称埃氏筛或爱氏筛，是一种由希腊数学家埃拉托斯特尼所提出的一种简单检定素数的算法。要得到自然数n以内的全部素数，必须把不大于根号n的所有素数的倍数剔除，剩下的就是素数。publi...
2019-03-10 23:05:09
3133
原创 找到更多的这样的整数：一些相续正整数的立方和正好等于另一个整数的立方。
使用JAVA语言，设定一个区间，遍历区间内所有可能组合，如果和的开三次方为整数，则符合条件，输出公式int sum = 0; System.out.println("请输入一个数字作为上限，程序会自动找到符合相续正整数的立方和正好等于另一个整数的立方的公式"); Scanner scanner = new Scanner(System.in); int j = scanner.ne...
2019-03-02 10:48:32
1887
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人