python
文章平均质量分 60
龙海L
金牛座理工男,请多多指教,多多打赏点赞
展开
-
pyspark 入门
为什么用python中pandas是数据分析的利器,具有并行的特兹那个,而且函数和数据计算的方法非常方便,是数据分析中的瑞士军刀。但是受限于单个机器性能和配置的限制,当大规模数据,比如100G-10TB规模的数据时,pandas就显得局限了,就像瑞士军刀杀牛,难以下手。这时就需要基于分布式计算的大数据工具spark,是基于分布式计算,可以基于hadoop和hive,进行分布式的数据计算,同时spark具有python API,可以通过类似python的语法,无门槛的过渡。怎么用pyspark支持RDD原创 2021-10-11 11:51:31 · 872 阅读 · 0 评论 -
一些python库的详细指南
文章目录可视化MatplotlibpyEcharts命令行Argparse可视化Matplotlib可视化库,在算法领域的可视化或者数据科学中扮演了重要的作用,学好了可视化,组会做展示,分分钟让老板加薪!官方中文教程示例pyEcharts简书文档示例官方中文文档命令行Argparse详细教程...原创 2021-01-22 20:40:40 · 108 阅读 · 0 评论 -
Google coLab使用说明 强烈推荐
文章目录简介新建项目前期配置1.修改笔记本环境2.安装必要的包和软件、3.挂载Google Drive4.安装深度学习平台进阶操作1.更改工作目录2.运行自己的代码简介Google Colaboratory是谷歌开放的一款研究工具,主要用于机器学习的开发和研究。这款工具现在可以免费使用,但是不是永久免费暂时还不确定。Google Colab最大的好处是给广大的AI开发者提供了 免费的GPU 使用!GPU型号是 Tesla K80 !你可以在上面轻松地跑例如:Keras、Tensorflow、Pytorc原创 2021-01-12 15:16:12 · 3435 阅读 · 0 评论 -
Python更加基于项目的虚拟环境管理pipenv
库名称 Pipenv功能作用pipenv=pip+virtualenv这样的效果可以使我们更加关注项目的管理:工具内部封装了以上两个功能优势不需要再分别安装pip和virtualenv ,直接使用Pipenv即可,会自动创建虚拟环境并安装三方库,自动记录项目依赖的所有三方库,而且使用Pipfile和Pipfile.lock取代了requirements.txt使用说明文档:https://docs.pipenv.org1.安装:pip install pipenv2.创建虚拟环境原创 2020-12-27 22:40:55 · 226 阅读 · 2 评论 -
ubuntu开启Jupyter notebook远程访问,无界面玩转服务器
Ubuntu安装jupyter notebook1.Anaconda自带一般安装Anaconda后,jupyter notebook已经附带安装,命令行输入jupyter noterbook,即可开启jupyter notebook服务,不过现在只能本地访问,在服务器的浏览器访问localhost:8888使用。如果jupyter notebook没有被附带安装,可以使用Anaconda安装conda install jupyter notebook2.pip安装pip install jup原创 2020-12-14 16:54:06 · 764 阅读 · 0 评论 -
多模态融合技术综述和应用
文章目录多模态技术基础1,多模态融合架构(神经网络模型的基本结构形式)1.1联合架构1.2协同架构1.3编解码架构(自监督)2,多模态融合方法2.1早期融合2.2 晚期融合2.3混合融合3,模态对齐方法3.1显式对齐方法3.2隐式对齐方法4,开放数据与资源应用1:多模态摘要(综合多模态信息生成内容摘要)多模态摘要种类多模态表示基础多模态中的注意力机制多模态词表示(用非语言特征:视频、音频调整词语的表示 )教学型视频摘要多模态新闻摘要论文 Multi-model Summarization for Async原创 2020-12-03 11:58:14 · 28008 阅读 · 14 评论 -
面试问题决策树合集
文章目录1. ID3、C4.5和CART三种决策树的区别一、决策树的优点和缺点二、决策树思想及生成过程三,前后剪枝区别四,决策树优缺点:五,Random Forest Vs Bagging:XGBOOST和GDBT的区别xgboost,rf,lr优缺点有哪些?xgboost和lightgbm的区别和适用场景GDBT的原理,以及常用的调参参数AdaBoost和GBDT的区别GBDT推导gbdt推导和适用场景说一下gbdt的全部算法过程随机森林和 GBDT 的区别stacking和blending的区别?附加原创 2020-11-04 16:37:50 · 905 阅读 · 0 评论 -
注意力机制attention和Transformer
参考文献:https://zhuanlan.zhihu.com/p/146130215文章目录一,注意力机制二,自注意力(self-attention)三,软注意力机制1,空域注意力2,通道注意力机制3,混合域模型4,Non-Local5,位置注意力机制四,强注意力机制一,注意力机制attention 机制可以认为是一种资源分配的机制,可以理解为对于原来平均分配的资源根据对象的重要程度重新分配资源,重要的单位多分一点,不重要不好的的少分一点,attention的资源分配方式就是权重。视觉注意力分为几原创 2020-09-30 19:59:56 · 7660 阅读 · 1 评论 -
Pytorch实现YOLOv3目标检测
本教程使用的代码需要运行在 Python 3.5 和 PyTorch 0.3 版本之上。你可以在以下链接中找到所有代码:https文章目录一,YOLO工作原理1,全卷积神经网络2,输出3,二,创建YOLO网络层级三,实现网络的前向传播四,目标置信度阈值和非极大值抑制五,设计输入和输出管道一,YOLO工作原理1,全卷积神经网络FCN 75个卷积层,跳过连接和上采样,不适用任何形式的池化,使用步幅为2的卷积层对特征图进行下采样。这有助于防止通常由池化导致的低级特征的丢失。作为 FCN,YOLO 对于输原创 2020-09-29 22:51:39 · 1334 阅读 · 0 评论 -
机器学习学习笔记-西瓜书
误差函数1.0-1损失函数2.平方损失函数:最小二乘法的具体表现,误差分布满足正态分布3.绝对损失函数4.对数损失函数怎样选择?监督学习有两种策略:经验最小化和结构风险最小化当样本容量小时,经验风险最小化的策略容易产生过拟合的现象。结构风险最小化可以防止过拟合。结构风险最小化是在经验风险的基础上加上表示模型复杂度的正则化项或罚项:卷积池化后的图像大小计算设图像尺寸为WxW,卷积核尺...原创 2020-07-04 17:19:17 · 331 阅读 · 0 评论 -
深度学习中的评价指标函数
P R AP混淆矩阵TP:正确分类到正样本的样本个数FP:错误分类分到负样本的个数TN:正确分类到正样本的样本个数FN:错误分类分到负样本的样本个数P=TP/(TP+FP)R=TP/(TP+FN)一般来说,precision和recall是鱼与熊掌的关系,往往召回率越高,准确率越低,AP:平均准确度,计算方式:P-R线的面积mAP:平均AP,不同的类别的性能的均值,目标检测的性能指标。P-R曲线即 以 precision 和 recall 作为 纵、横轴坐标 的二维曲线。通过选取不同阈原创 2020-07-04 17:14:32 · 1147 阅读 · 2 评论 -
PyTorch模型转caffe
PyTorch模型转caffe简单教程1.将Pytorch 模型参数名和对应权重保留,存成字典,存入npy文件2. 建立caffe的prototxt文件。对应pytorch的网络结构,参数名字要有对应规律,可以使用python接口写,然后自动生成。1.手写prototxt文件,根据pytorch的模型。2.采用python接口自动生成prototxt文件3. 建立caffemodel文件,根据参数映射,将pytorch参数权重赋予caffe4.推测。对caffemodel进行测试,看看能不能得到对应结果1原创 2020-07-04 17:10:23 · 2095 阅读 · 0 评论 -
PyTorch的GPU训练方式学习
文章目录单机单卡单机多卡多机多卡 分布式训练torch.distributed 包支持单机单卡单机多卡torch.nn.DataParallel多机多卡 分布式训练torch.distributed 包支持分布训练包括 GPU 和 CPU 的分布式训练支持。Pytorch 分布式目前只支持 Linux。torch.distributed 分布式训练的优势:1.每个进程对应一个独立的训练过程,且只对梯度等少量数据进行信息交换。在每次迭代中,每个进程具有自己的 optimizer ,并独立原创 2020-07-04 16:59:53 · 978 阅读 · 0 评论 -
数据比赛代码记录
数据比赛里用写的代码,可快速应用到其他比赛使用库数据处理特征工程模型训练和预测使用库import pandas as pdimport numpy as npfrom sklearn.model_selection import StratifiedKFold #数据进行交叉验证的,模型选择时使用from lightgbm import LGBMClassifier#lightgbm做分类的模型from lightgbm import LGBMRegressor#lightgbm做回归预测fr原创 2020-05-29 20:58:51 · 195 阅读 · 0 评论 -
pyinstaller 将python程序打包为可执行文件exe
文章目录pyinstaller简介相关参数打包流程第一步,安装pyinstaller第二步,打开命令行,进入要打包的主程序目录下,在命令行中输入:第三步,执行打包命令规范说明常见问题1. RecursionError: maximum recursion depth exceeded2.双击程序 Failed to excute Script main3.文件打包后过大的问题防止反编译的问题py...原创 2020-03-30 11:43:18 · 371 阅读 · 0 评论 -
Python实现windows下模拟按键和鼠标点击和监控的方法
本文实例讲述了Python实现windows下模拟按键和鼠标点击的方法。分享给大家供大家参考。具体如下:这段代码可以模拟在窗口上按下按键、鼠标左键点击、鼠标右键点击、鼠标双击、鼠标移动,键盘输入等等。前提先要安装 pypiwin32pip install pypiwin32实现代码:# _*_ coding:UTF-8 _*_# 需要安装pypiwin32# 输入:pip i...原创 2020-03-18 23:31:01 · 2210 阅读 · 3 评论 -
Python打包环境方案 简化部署
文章目录requirement.txtconda创建打包环境进入创建环境并打包进入测试环境创建打包的环境在linux操作系统下,python项目的打包特别重要,如果是在开发测试,可以方便部署到正式的服务器,同时在正式的服务器中打包备份有着很好的数据安全的保护作用。是开始一个项目最开始考虑的,主要包括两种方式 pip和condarequirement.txtpip freeze >req...原创 2020-03-12 22:09:16 · 705 阅读 · 0 评论 -
Python从路径提取文件
几乎所有的关于操作系统的内容可以在python 官方文档中找到:https://docs.python.org/3/library/os.html#module-os关于操作系统的内容可以使用库:OSimport os其中os.path被单独列出:https://docs.python.org/3/library/os.path.html#module-os.pathfrom os im...原创 2020-03-12 16:27:52 · 348 阅读 · 0 评论 -
PyTorch入门,帮你构建自己的神经网络模型
文章目录张量 tensor自动求导神经网络的构建图像分类器(实战宝可梦)迁移学习数据并行处理 使用 GPUPytorch 综合评价:所以当前学pytorch 最合适,等待tensorflow 2的生态完善,Tensorflow1和2完全不兼容Pytorch 生态也比较完善功能:GPU加速自动求导: autugrad,grad函数神经网络:全连接层nn.linear,卷积层nn.co...原创 2020-03-07 16:51:16 · 906 阅读 · 0 评论 -
图像分类数据集制作 SVM/DNN
方法综述简单的图像分类可以采用HOG+SVM的算法,通过提取图像的HOG特征,然后特征通过SVM进行分类,实现图像的分类。下面将代码的步骤讲清楚提取HOG特征#一种自定义的方法def get_features(img): #腐蚀后 锐化 #腐蚀 im_gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)#灰度图形 im=cv2...原创 2020-03-06 23:05:18 · 2156 阅读 · 0 评论 -
python爬取数据网站多网页数据
文章目录使用库requestsselenium代码示例使用库requests是用Python语言编写,基于urllib的HTTP库,满足HTTP测试需求安装:pip install requests函数功能发起HTTP请求,获得url对应的网页内容import requestsresponse = requests.get('https://www.baidu.com/')p...原创 2020-03-06 22:19:41 · 1878 阅读 · 0 评论 -
python对视频进行处理
文章目录获取视频每帧的图像将每帧图像汇总成视频将视频中的一段截取下来获取视频每帧的图像import osimport cv2def video2img(): rootlist = 'E:/python project/find_location/' vc = cv2.VideoCapture(rootlist + 'video_name.mp4') # 读入视频文件 ...原创 2020-03-06 22:13:46 · 1826 阅读 · 1 评论