![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
_刘文凯_
熟练掌握c/c++, R, matlab, python,unity3D, flask,Linux,pyqt5, docker, anaconda, 爬虫,机器学习,深度学习,图神经网络,keras, tensorflow, pytorch, 生物信息学, 实变函数,泛函分析,大数据,hadoop, HDFS,Hive, spark, NLP, CV, ArcGIS等单词拼写.
展开
-
稀疏变分高斯过程【超简单,全流程解析,案例应用,简单代码】
稀疏变分高斯过程(Sparse Variational Gaussian Processes, SVGP)是一种高效的高斯过程(GP)近似方法,它使用一组称为引入点的固定数据点来近似整个数据集。这种方法大大减少了高斯过程模型的计算复杂度,使其能够适用于大数据集。下面是SVGP的详细数学过程。在标准高斯过程中,给定数据集xiyii1N{(xiyii1N,目标是学习一个映射fff,其中f∼GPmkf∼GPmkmmm是均值函数,kkk。原创 2024-05-06 03:22:44 · 958 阅读 · 0 评论 -
强化学习,快速入门与基于python实现一个简单例子(可直接运行)
强化学习是一种机器学习方法,旨在让智能体通过与环境的交互学习如何做出最优决策以最大化累积奖励。在强化学习中,智能体通过尝试不同的行动并观察环境的反馈(奖励或惩罚)来学习。它不依赖于预先标记的训练数据,而是通过与环境的实时交互进行学习。强化学习的核心概念包括以下几个要素:智能体(Agent):执行动作并与环境进行交互的学习主体。环境(Environment):智能体所处的外部环境,它对智能体的动作做出反应,并提供奖励或惩罚信号。原创 2023-11-25 21:01:27 · 1952 阅读 · 0 评论 -
用python画一个柱状图可能用到的代码【完整版】
绘制一个柱状图; 函数的第一个参数指定要绘制的水平线的位置,这里设为 0 表示绘制 y 轴上的 0 刻度线。color 参数指定线的颜色,这里设为 ‘black’ 表示黑色,linewidth 参数指定线的宽度,这里设为 2。在这个例子中,我们使用xlabel()和ylabel()函数来设置X轴和Y轴的标签。然后,使用 plt.gca() 获取当前轴对象。通过 spines 字典对象,我们设置了 x 轴和 y 轴的线宽,其中 ‘bottom’ 对应 x 轴下边框,‘left’ 对应 y 轴左边框。原创 2023-09-01 21:19:29 · 877 阅读 · 0 评论 -
图神经网络-针对异构图的预测问题,以及每种网络可以用于的任务类型
异构图介绍异构图神经网络简介异构图神经网络任务介绍Heterogeneous Graph Neural Network (HetGNN)Relation-aware Graph Convolutional Networks (R-GCN)Heterogeneous Information Network Embedding (HINE)Heterogeneous Graph Attention Network (HAN)Graph Transformer Networks for Hetero原创 2023-03-16 12:04:30 · 4886 阅读 · 0 评论 -
python实现异步编程 python协程
实现一个python异步编程代码import asyncioasync def func(i): print('1') await asyncio.sleep(3) print(i) return 'aa'async def main(): print('main...') ### 关键步骤 1 t_list = [ asyncio.create_task(func(3)), asyncio.create_ta原创 2021-06-20 21:25:48 · 122 阅读 · 0 评论 -
python报错:cannot import name ‘joblib‘ from ‘sklearn.externals‘
python储存模型时报错,cannot import name ‘joblib’ from ‘sklearn.externals’ (C:\anaconda\lib\site-packages\sklearn\externals_init_.py)原因:使用的anaconda 而不是自己下载的python解决:删除:from sklearn.externals import joblib更改为:import joblib...原创 2021-06-19 18:35:37 · 2351 阅读 · 0 评论 -
异步编程报错:Task exception was never retrieved ... RuntimeError: Session is closed
在执行aiohttp时:Task exception was never retrievedfuture: <Task finished name=‘Task-3’ coro=<get_url() done, defined at C://async_get.py:52> exception=RuntimeError(‘Session is closed’)>Traceback (most recent call last):raise RuntimeError(“Sessio原创 2021-06-21 14:16:52 · 16241 阅读 · 9 评论 -
python灵活使用np.expand_dims np.tiley
np.expand_dims(exist_row, axis=0) 拓展一个维度np.tile(exist_row,(100, 1)) 将第0维复制100次,第1维复制1次 exist_row = np.array([1,2,3]) exist_row = exist_row.reshape(1,-1) exist_row = np.expand_dims(exist_row, axis=0) exist_row = np.tile(exist_row,(100, 1))原创 2022-03-26 20:22:30 · 886 阅读 · 0 评论 -
python报错:joblib.externals.loky.process_executor.【完美解决】
joblib.externals.loky.process_executor.TerminatedWorkerError: A worker process managed by the executor was unexpectedly terminated. This could be caused by a segmentation fault while calling the function or by an excessive memory usage causing the Operatin原创 2021-07-25 10:14:26 · 7779 阅读 · 5 评论 -
python判断一个字符串是否在另一个字符串中【详细】 python获得一个字符串在另一个字符串中的首位置 python获得一个字符串在另一个字符串中的多次出现的位置
如题: python如何获得多次出现的字符串在另一个字符串中的位置 python如何判断一个字符串是否在另一个字符串中 python如何获得一个字符串在另一个字符串中的首位置1. 判断是str2是否在str1中str1 = "iloveyou"str2 = "you"if str2 in str1: print('yes')2. 判断str2在str1中的首位置(唯一)str1 = "iloveyou"str2 = "you"site = str1.index(str2)print原创 2021-06-21 16:27:29 · 1811 阅读 · 0 评论 -
python报错:only integer scalar arrays can be converted to a scalar index【完美解决】
如题,在使用python时出现错误:only integer scalar arrays can be converted to a scalar index ; 类似的错误都可以用这个方法解决 交叉验证时错误等代码for tr_idx, val_idx in kfold.split(x_train, y_train): tr_X_tmp, val_X_tmp, tr_y, val_y = x_train[tr_idx], x_train[val_idx], y_train[tr_idx]原创 2021-06-29 13:59:14 · 7632 阅读 · 1 评论 -
问题记录:Start : 由于出现以下错误,无法运行此命令: 系统找不到指定的文件。。
执行:$ openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout mykey.key -out mycert.pem$ jupyter notebook --certfile=mycert.pem --keyfile mykey.key出现:Start : 由于出现以下错误,无法运行此命令: 系统找不到指定的文件。。原创 2021-05-31 15:05:24 · 3390 阅读 · 0 评论 -
ERROR: No .egg-info directory found in C:\Users\ybliu\AppData\Local\Temp\pip-pip-egg-info-_zbac78z
python pip install xxx出现:ERROR: No .egg-info directory found in C:\Users\ybliu\AppData\Local\Temp\pip-pip-egg-info-_zbac78z这个错误原因:该python版本缺少相应依赖解决:方法1(推荐):更换python版本,建议使用python3.8,不推荐python3.7方法2(不推荐,因为还有可能出现后续错误):(1)去python包网站下载对应安装版(2)在该网站c原创 2021-06-05 13:30:49 · 17081 阅读 · 10 评论 -
pandas重设index set_index和resert_index
reset_index 自动重设index, 不需要某一列:dt=pd.DataFrame(data)dt.reset_index(level=None, drop=False, inplace=False, col_level=0, col_fill='')# 例子:dt.reset_index(drop=True) # True 为在元数据上进行跟新,False为拷贝一个副本,元数据不变参数解释:level:数值类型可以为:int、str、tuple或list,默认无,仅从索引中删除给定原创 2022-03-11 14:13:11 · 6546 阅读 · 0 评论 -
完美解决:ValueError: Object arrays cannot be loaded when allow_pickle=False
python numpy 报错 ValueError: Object arrays cannot be loaded when allow_pickle=False原因:allow_pickle 参数默认为False解决:import numpy as pydata = np.load('file') # 原先的,更改为如下代码data = np.load('file',allow_pickle=Ture)...原创 2021-06-03 15:12:17 · 579 阅读 · 0 评论 -
conda jupyter 报错 ImportError: DLL load failed: 找不到指定的模块。ernelRestarter: restart failed。
使用jupyter切换子环境,以及导致的`找不到指定模块DLL`和`找不到指定的程序`问题,使用多核心conda jupyter时 某一个python环境总是加载不出来,并有如下报错:原创 2022-10-23 10:37:13 · 1386 阅读 · 0 评论 -
python如何使用多进程 python使用多进程
python使用多进程 超简单直接上代码:1、手动开启两个进程import osfrom multiprocessing import Manager,Processimport timedef func1(a1, a2): print('aaaaa') a = a1+a2 time.sleep(5) # 暂停5秒 print('a={}'.format(a)) ### 注意: 不能return一个值,如果想实现return的形式,可以查阅“多进程通原创 2021-06-20 14:43:00 · 1459 阅读 · 0 评论 -
python如何生成连续的小数 python如何生成连续的浮点数
一行代码解决:import numpy as npnp.arange(0,1,0.1)输出:array([0. , 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9])原创 2022-03-26 20:20:21 · 2237 阅读 · 0 评论 -
Features are constant. invalid value encountered in true_div【问题记录】
Features [ 80 81 82 83 312 413 414 415] are constant. invalid value encountered in true_dividepythonfrom sklearn.model_selection import GridSearchCV在进行10折交叉验证时发现这个问题,求大神解答原创 2021-07-24 14:02:29 · 303 阅读 · 0 评论 -
python删除文件夹里损坏的图片
今天学习pytoch时发现有好多图片损坏了报错如下:PIL.UnidentifiedImageError: cannot identify image file <_io.BufferedReader name=’./train\cat\052cat.jpg’>原因图片没有被正确的下载解决写个小程序把所有损坏的图片都删除import cv2import osimport numpy as npfn_all = './test/cat/'for fn in os.listdi原创 2022-03-31 16:22:14 · 4787 阅读 · 0 评论 -
如何启动jupyter 如何后台启动jupyter
如何后台启动jupyter,并把日志输出到指定文件夹具体命令:jupyter notebook --ip=0.0.0.0 --port=8111 --no-browser --allow-root # 非后台运行nohup jupyter notebook --ip=0.0.0.0 --port=8111 --no-browser --allow-root > test.log 2>&1 & #后台运行...原创 2021-05-31 19:37:32 · 3322 阅读 · 2 评论 -
python 生成器yield 和 迭代器iter next 示例
python 生成器yield 和 迭代器iter next 示例. 通过一个非常简单的例子解释清楚什么是生成器和迭代器。 numpy作为迭代器,pandas作为迭代器。使用生成器和迭代器的好处是可以节省内存等。原创 2022-10-26 02:20:20 · 245 阅读 · 0 评论 -
conda换源 anaconda如何换源
1、windows下在anaconda prompt 里执行:conda config --set show_channel_urls yes在用户目录下建立.condarc文件,添加清华源:channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ - https://mirrors.tun原创 2021-11-01 20:57:04 · 18992 阅读 · 3 评论 -
怎么也获得不了numpy的npz文件里的数据 0维npz数据的读取方法
问题读取.npz .npy文件的时候怎么也读取不了解决a = np.load('a.npy‘) # a是一个0维的numpy数组value = a.item() # 这样就能读取出来了, 用.values()是读取不了的!!原创 2021-11-15 16:20:10 · 1263 阅读 · 0 评论 -
python如何读取matlab数据 python如何读取.mat数据
如下:在cmd中:> pip install scipy # 已经有的就不用装了在python中:from scipy.io import loadmatmat_data = loadmat("C:/data/filename.mat")原创 2021-06-10 16:46:36 · 142 阅读 · 0 评论 -
linux anaconda pip下载的东西 可以给所有用户使用
linux anaconda pip下载的东西 可以给所有用户使用在使用普通用户pip install lib 的时候,发现会自动的下载到 ~/.local 文件下,其他用户不能使用;而使用root用户安装时,会自动下载到anaconda的安装处 非常方便。(法一,建议使用)具体操作如下:使用root账户登录$ sudo su$ pip install libname(法二,不建议)当然如果,不想这样做,也可以设置本用户权限:$ unmask 022 # 将本用户所创建的文件默认使用ch原创 2021-05-30 13:43:19 · 553 阅读 · 0 评论 -
python如何批量读取文件 python如何批量读取csv python如何批量读取npy
python 如何读取一个文件目录下的所有csv 或者 npy 或者 txt读取csvimport pandas as pdimport numpy as npimport osos.chdir("./data") # 设置工作目录file_chdir = os.getcwd() # 获得工作目录filename_npy = [] # 文件名列表file_npy = [] # 数据列表for root,dirs,files in os.walk(file_chdir): # os.wa原创 2021-06-03 15:16:55 · 5737 阅读 · 10 评论 -
numpy按行归一化,numpy按列归一化
如下所示按列归一化:import numpy as np x = np.array([[10, 10, 10], [ 1, 5, 3], [ 8, 7, 1]]) x_norm = x / x.max(axis=0) # 0列,1行。 这个要具体问题具体分析 print(x_norm)# [[ 1. 1. 1. ]# [ 0.1 0.5 0.3 ]# [ 0.8 0.7原创 2021-12-02 22:52:44 · 4001 阅读 · 1 评论 -
pandas报错 TypeError: Cannot perform ‘rand_‘ with a dtyped [object] array and scalar of type [bool]
python在使用&的时候报错TypeError: Cannot perform ‘rand_’ with a dtyped [object] array and scalar of type [bool]问题data = pd.DataFrame()data.iloc[:,0] == key0 & data.iloc[:,1] == key1以上会报错!!这是因为&的两边只能是bool型数据解决只需要在两边都加上括号就行了(data.iloc[:,0] == k原创 2021-11-23 13:52:04 · 9079 阅读 · 0 评论 -
python异步爬取数据并存储
如何爬取http网页,并储存在本地代码如下:import asynciofrom aiohttp import ClientSessionimport aiofilesimport pandas as pdimport os### 建立本地储存数据文件夹root_file = './save_file'if not os.path.exists(root_file): os.mkdir('./save')root_file = root_file + '/'async d原创 2021-06-21 14:44:49 · 561 阅读 · 0 评论 -
自动超参数优化 AutoGluon 简单使用
今天发现 一个非常简单易用的超参数优化包 (李沐大神开发的),简单的使用了以下,效果不错。说明支持的模型: 机器学习模型; 深度学习模型; 模型集成; 深度学习模型集成;等等 简单应用 超参数调优// 你没看错,这个里也要超参数调优。 哈哈哈,用于调优模型的模型也是有参数的:**支持的任务**分类回归图像识别图像预测物体检测文本预测多任务预测**另外**支持自定义模型支持神经架构原创 2022-01-01 18:53:52 · 5651 阅读 · 0 评论 -
python 保存训练好的预测模型 python如何加载训练好的模型pkl格式文件
ptyhon如何保存训练好的模型,python储存训练好的模型 python如何读取存储的模型(以svm为例)如下所示:import numpy as npfrom sklearn import svmx_data = ... # 写自己的y_label = ... # 写自己的x_test = ... # 写自己的xlf = svm.SVC(C=1,gamma=1,kernel='rbf',probability=True) # 构建模型xlf.fit(x_data,y_lab原创 2021-06-19 18:25:30 · 3711 阅读 · 1 评论 -
pandas 返回符合条件单元格所在行
如果有列名的:df = pd.Dataframe() # 写入你自己的数据df[(df.BoolCol==3)&(df.attr==22)].index如果没有列名的:df = pd.Dataframe() # 写入你自己的数据df.iloc[df.iloc[:,1]==1,:].index # .iloc[:,1] 所有行,第一列原创 2021-11-23 13:38:50 · 2688 阅读 · 0 评论 -
Jackknife test 是什么
如题就是一种交叉验证方法原创 2021-06-19 17:52:49 · 983 阅读 · 3 评论 -
基于pytorch使用实现CNN 如何使用pytorch构建CNN卷积神经网络
基于pytorch使用实现CNN 如何使用pytorch构建CNN卷积神经网络本文是一个基于pytorch使用CNN在生物信息学上进行位点预测的例子基于pytorch实现CNN,基于CNN进行位点预测,将CNN代码进行封装,可以非常简单的使用代码,基于最简单的特征提取方法。原创 2022-10-26 04:54:59 · 3891 阅读 · 4 评论 -
如何安装pytorch
直接去官网安装https://pytorch.org/get-started/locally/官网界面:如图,选择对应的版本,然后会自动生成命令。将命令输入你的计算机就行了。原创 2021-12-02 12:57:07 · 1323 阅读 · 0 评论 -
python读取xlsx python读取excel数据
如题 python 如何读取特定sheet的excel数据安装pandas已经有的可以不用再安装>pip install pandas 读取数据首先将excel数据和代码放在一个文件夹下import pandas as pddata = pd.read_excel('data.xlsx') # 默认读取第一个sheetprint(data.head()) # 预览数据其它形式data_super = pd.read_excel('data.xlsx', sheet_name='原创 2021-06-20 19:36:57 · 21484 阅读 · 0 评论 -
python pandas合并数据 按列合并数据 按行合并数据 【超简单】
如题:纵向合并import pandas as pdres = pd.concat([train, test], axis=0)也就是:111和00合并成11100横向合并import pandas as pdres = pd.concat([train, test], axis=1)也就是 1 1 1 和 0 0合并成 1 1 1 0 0原创 2021-06-22 22:21:17 · 1997 阅读 · 0 评论 -
keras Lambda函数的应用
自定义一个函数:def pad_backend(inputs, in_channels, out_channels): pad_dim = (out_channels - in_channels)//2 return K.spatial_3d_padding(inputs, padding=((0, 0), (0, 0), (pad_dim, pad_dim)))使用这个函数,参数以字典形式传递,默认第一个参数是tensor:identity = Lambda(pad_backend原创 2021-11-02 11:04:50 · 429 阅读 · 0 评论 -
pandas如何设置索引从0开始,pandas如何恢复默认索引,DataFrame如何恢复隐式索引
pandas如何设置索引从0开始,pandas如何恢复默认索引,DataFrame如何恢复隐式索引import pandas as pddata = pd.DataFrame([[1,2,3],[2,2,2],[1,1,1]],index=[1,2,3])data = data.reset_index(drop=True)data这时恢复默认索引了原创 2021-09-26 21:05:13 · 2084 阅读 · 0 评论