自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(79)
  • 资源 (1)

原创 阿里云内网穿透

学习链接需求:用笔记本c 通过有公网ip的阿里云服务器b 连接内网aabc都需要配置内网a将A的ssh密钥生成出来,然后传输给B。在A上执行下面的命令来完成密钥的生成和传输操作:ssh-keygen -t ‘rsa’ -C ‘ccc@B’ssh-copy-id root@123.123.123.123在进行ssh-keygen操作时,一路回车,什么都不要输入。安装autossh,Ubuntu系统下直接执行命令:sudo apt-get install autossh 就完成了autossh

2020-08-31 21:31:41 140

原创 pyinstaller打包py遇到的问题

遇到了几个问题,记录一下ubuntu16.04系统 python3.6 conda (注意ubuntu的可执行文件就直接是文件名,windows的可执行文件是exe)pip install pyinstaller然后直接pyinstaller -F 文件名.py在当前目录下面有一个dist文件夹 直接运行./文件名即可结果在运行的时候出现问题Traceback (most recent call last): File "site-packages/PyInstaller/loader

2020-08-04 23:06:34 184

原创 ubuntu安装必备包

tensorflow-gpu / torchvisionkerasscikit-learnmatplotlibnumpy(pyqt)pandasCondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://conda.anaconda.org/pytorch加入清华源 pytorch部分https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/解压zip文件su

2020-07-28 23:04:50 59

原创 jetson tx2 jetpack4 (cuda10.0 + opencv 4.1.1) 运行 yolov3-tiny

jetson tx2 jetpack4 [cuda10.0 + opencv 4.1.1]运行 yolov3-tiny之前准备opencv版本选择安装darknet+解决No package 'opencv' found +opencv版本问题darknet下载修改Makefile文件opencv版本问题解决No package 'opencv' found测试ubuntu打开摄像头之前准备看到有链接说arm下matplotlib不好装,果然我在pip install matplotlib的时候,下载w

2020-07-10 23:31:03 330

原创 服务器权限设置 + latex表格部分问题

服务器权限在运行./setup.sh时出现错误:setup.sh: Permission denied本以为需要root权限,但是其实可以使用chmod更改权限chmod +x /PATH/setup.sh重新运行即可(60) SSL certificate problem: self signed certificate错误打开setup.sh,curl语句为curl -O $url/training2017.zip解决:后面加 -kcurl -O $url/training

2020-06-10 12:57:12 83

原创 EDAS投稿系统格式检查 -- 摘要不一致 -- Font font_1 is of type Type 3 问题解决

The abstract in the PDF file differs from the paper meta data (99.9).这个问题反映 注册时填写的摘要与上传的PDF中的摘要内容不一致。具体我的情况是:注册时直接从latex复制到投稿系统的摘要中,多了几个回车。系统检测到了回车的异常,所以报此错误。Font font_1 is of type Type 3.这个问题困扰了我很久,前前后后搞了好几天也解决不了,该错误语义不太明确,也搜不到标准解决流程。而且edas系统报出这个问题

2020-05-23 15:39:27 845

原创 jetson tx2 内存使用情况查看 清除异常进程 远程关机

今天运行tx2跑个小程序,由于需要调参被我ctrl+z取消掉了结果再跑的时候发现内存(显存)被占满了,心里认定是前一个强行退出的程序还在占用内存结果我去top里找到一个python3进程,kill掉以后内存依然还是被占用。各种top就已经不出现高占用内存的进程了,这个进程失踪了?后来学习了链接可使用以下命令ps -e -o 'pid,comm,args,pcpu,rsz,vsz,sti...

2020-04-19 22:10:54 272

原创 nvidia jetson tx2 配置过程遇到的问题总结

nvidia jetson tx2 配置过程遇到的问题总结刷机相关配置查看板卡状态cuda cudnn安装tensorflowtx2找不到gpu其他vscode拿到一块nvidia jetson tx2 开发板,进行研究。由于其采用arm架构,异于大部分计算终端的x86架构,所以在配置的过程中遇到了很多问题。现总结如下。刷机拿到板子应该先刷个机,我采用了最新的jetpack4.3进行刷机。...

2020-04-18 20:29:13 517 6

原创 matlab imagesc叠加+矩阵定位

今天写项目的matlab程序遇到了一些很“智障”的困难,有感而发。好久没碰matlab了,需要用imagesc画矩阵(二维数组)的染色图,并把矩阵中大于某值的位置在图中标记出来。我的思路就是:如何在imagesc图上叠加标记下面是我晚上1个小时的活:如何在imagesc图上叠加标记可以直接用plot如何在imagesc图上叠加标记搜索查找如何叠加可以直接用plotplot与imagesc...

2020-03-11 17:50:04 296

原创 Matlab创建HDF5数据集-压缩

概述创建HDF5数据集必须先后使用h5create h5write命令h5create官方链接h5write官方链接我创造的数据集大小是256x256x3x50000每个256x256x3是RGB图片样本。问题如果在matlab里将RGB三维矩阵存成JPG,大小只有6KB但是我把三维矩阵存入到HDF5中,大小竟达到200+KB全部存取完大小达到200x50000=10GB,这对于...

2019-12-30 16:00:22 148

原创 解决could not create cudnn handle: CUDNN_ STATUS_ INTERNAL_ ERROR —— 一张显卡运行多个任务出现的错误

解决could not create cudnn handle: CUDNN_ STATUS_ INTERNAL_ ERROR —— 一张显卡运行多个任务出现的错误

2019-11-12 09:26:50 90

原创 再配置服务器 cuda9.2 cudnn 7.6.4 tensorflow-gpu 1.11.0 keras 2.2.4

再配置服务器 cuda9.2 cudnn 7.6.4 tensorflow-gpu 1.11.0 keras 2.2.4问题 Module 'tensorflow.python.keras.backend' has no attribute 'get_graph问题 Tensorflow:UnknownError: Failed to get convolution algorithm. This...

2019-11-09 19:49:34 516

原创 python小工具-2to3-py2so

python小工具-2to3-py2so2to3py2so2to3作用是将python2的程序自动转为python3这个小工具无需下载,一般都在anaconda里,搜索2to3.py即可使用:到2to3.py目录中运行CMD,输入python 2to3.py -w 文件路径即可截图py2so这个是github上的小工具,可以用于python代码的编译,py2so1py2so...

2019-10-22 14:29:52 329

原创 ubuntu 16.04 404 Not Found [IP: 91.189.91.24 80]

使用sudo apt-getsudo apt install python3-dev gcc出现 Not Found [IP: 91.189.91.24 80]问题查了很多帖子包括换源等都不能解决我的问题最后使用sudo apt-get update再运行上面代码就ok了...

2019-10-22 11:17:30 5226

原创 加频偏相偏

加频偏相偏公式表示实现公式表示向信号中添加频偏相偏,如下公式所示:to(n)=(I+jQ)ej(2πf0t+θ)t_{o}(n) = (I+jQ)e^{j(2\pi f_{0}t+\theta)}to​(n)=(I+jQ)ej(2πf0​t+θ)其中f0f_{0}f0​为频偏,θ\thetaθ为相偏。上式中t=nTst=nT_st=nTs​,TsT_sTs​为采样间隔(采样率FsF_sFs...

2019-10-09 22:33:06 1024

原创 ubuntu服务器 root使用user的python版本

ubuntu服务器 root使用用户(user)的python版本问题阐述解决问题阐述如下图,user内安装了python3.7,且配置好了环境。切换到root,再python内找不到python3.7的版本,因此也就无法使用配置好的环境。目的:使root可以调用python3.7(user的python)解决这篇博客给了我很大启发。update-alternatives --li...

2019-09-27 23:32:18 123

原创 ubuntu16+python3.7+tensorflow-gpu安装过程

ubuntu16+python3.7+tensorflow-gpu安装过程安装情况出现错误列计划cuda安装问题重启系统cudnntensorflow-gpu验证结论安装情况配置一台ubuntu16的命令行服务器,无脑conda安装tensorflow-gpu后,测试时我只是import tensorflow,看没有问题就没继续管了。结果后来发现服务器无法启动gpu跑模型,本文记录下崎岖的解决...

2019-09-24 22:12:44 966

原创 配置ubuntu服务器-连不上网-An HTTP error occurred when trying to retrieve this URL.

问题明明连接了网线到路由器/交换机,却ping不通常用网站?原来可以上网的服务器,在conda安装包的时候,一直出错,显示:An HTTP error occurred when trying to retrieve this URL.HTTP errors are often intermittent, and a simple retry will get you on your wa...

2019-09-23 11:34:26 434

原创 设置命令行python代码运行参数

应用场景很好的功能,关键是在服务器里比较有用。以下场景适用:1、查看变量信息。想查看一个固定变量的信息,但是不想每次都在程序里设断点再运行查看。2、多参数实验。可以避免出现改一个参数就打开一次文件修改再保存的窘况,最后会有n多个相似命名的代码,自己都记不住。(注:每次实验仍然需要做好记录)解决参考链接我主要使用了python自带的argparse 模块。因为它不用单独安装依赖+设...

2019-09-19 12:56:33 604

原创 近期python与keras问题汇总190905

近期python问题汇总python错误提示“non-default argument follows default argument”pandas.read_csv() 报错 OSError: Initializing from file failedValueError:Input 0 is incompatible with layer lstm_1: expected ndim=3,fo...

2019-09-05 18:20:23 323

原创 keras保存历史准确率与loss值

折腾了一下午,记录下。需求:为了能做对比试验的acc和loss plot图目的:需要保存模型运行时每轮的acc与loss值到txthttps://blog.csdn.net/momaojia/article/details/72877953找到了简单易行的办法。直接 history1 = model.fit(X_train, Y_train, validation_data=(X...

2019-09-02 16:49:27 4746

原创 CTeX的MiKTeX出现No Data: Data: Get host by name failed in tcp_connect()错误解决

原因是CTeX中自带的MiKTeX组件版本过低,无法连接服务器进行更新,手动更新会出现错误提示:No Data:Data: Get host by name failed in tcp_connect().解决办法:需要安装更高版本的MiKTeX。从官网https://miktex.org/download下载最新版本的安装文件。安装路径可以不必在ctex中,需要安装的包可以直接在cons...

2019-08-19 17:57:18 4433

原创 CTR场景数据分析建模 问题汇总5 - 复盘比赛2

CTR场景数据分析建模 问题汇总5 - 复盘比赛2创建特征(续)简易fm归一化训练集分割验证集模型选取lightgbmlgb叶子节点+LRlibfm创建特征(续)简易fm对部分相关度较高的特征做相乘相加处理,扩展特征数量,发现更好特征。data_lxy_fa = data_lxy.copy()float_importfa_feature = [ 'count_Product_id', ...

2019-08-19 17:48:45 91

原创 CTR场景数据分析建模 问题汇总4 - 复盘比赛1

CTR场景数据分析建模 问题汇总4 - 复盘比赛比赛背景经验EDA预处理类别特征打标签填充na值创建特征比赛背景赛题描述本次大赛基于脱敏和采样后的约 40,000 条用户消费行为数据,预测在未来的一段时间内,用户对于某产品是否会有购买和收藏的行为。参赛团队需要设计相应的算法进行数据分析和处理,比赛结果按照指定的评价指标使用在线评测数据进行评测和排名,得分最优者获胜。数据背景本数据集为经...

2019-08-19 15:59:32 210 2

原创 在Pyqt5中实现keras深度学习网络预测

在Pyqt5中实现keras深度学习网络预测load_model是出现Tensor is not an element of this graph问题部分功能load_model是出现Tensor is not an element of this graph问题问题描述:global path_openfile_namepath_openfile_name = 'F:/code/pyth...

2019-08-15 17:38:08 1112

原创 CTR场景数据分析建模 问题汇总3 - 引入DNN

CTR场景数据分析建模 问题汇总3 - 引入DNNkeras 中没有auc metric的问题Key Error: None of [Int64Index…] dtype='int64] are in the columns使用 keras EarlyStopping功能时出现 TypeError: unsupported operand type(s) for -: 'NoneType' and...

2019-07-25 10:38:47 308

原创 Pyqt5 - 2 多线程

Pyqt5 - 2 多线程问题解决信号与槽代码问题把想实现的功能写在了一个主ui界面中,如果任务量小,界面可以正常显示。如果功能任务量较大,主界面进程长时间处理,会导致主界面进程认为程序卡顿,进而使界面(未响应)解决办法,分离UI主线程与工作线程问题源码:from PyQt5.QtWidgets import QDesktopWidget,QPushButton,QFileDialog...

2019-07-24 17:07:10 86

原创 CTR场景数据分析建模 问题汇总2 预处理及机器学习模型相关

CTR场景数据分析建模 问题汇总2- 预处理及机器学习模型相关概论lgb lightbgm核心参数调参特征选择 feature_importance特征预处理categories特征:label化连续特征离散化特征选择deepctr概论用决策树类 lgb xgboost等或者用nn的方法目前比较新颖的是使用deepfm方法lgb lightbgm官方文档https://lightgb...

2019-07-22 17:02:24 317

原创 CTR场景数据分析建模 问题汇总1-pandas及python操作

CTR场景数据分析建模 问题汇总pandas DataFrame格式重命名特定列valuEerror :range parameter must be finitePython replace()方法Pandas Series.nunique() 用法axis=0 or 1?画分布统计图np 变量排序、集合运算、获取数组(矩阵)值不为0的元素下标排序集合运算获取非零下标reset_indexPyt...

2019-07-22 15:04:16 152

原创 CTR场景数据分析建模 问题汇总0-pandas及python操作

keras——deepfm构建中遇到的问题ctr deepfmpd.DataFrame.valueskeras embedding层画数值图和分布图直接画数值图:画分布图画布设置plot组合pandas缺失值填补ctr deepfmctr广告点击率场景下使用deepfm模型进行收藏和购买预测。github 大神的轮子https://github.com/xxxmin/ctr_Keras/b...

2019-07-18 20:58:23 181

原创 近期keras调试问题

近期keras调试问题Keras中model.evaluate()Python format 格式化函数keras 拆分张量(网络层)Input 0 is incompatible with layer conv11: expected ndim=3, found ndim=2 错误kears拼接-How to concatenate two layers in keras?服务器linux杀死进...

2019-07-09 20:55:02 450

原创 ubuntu root 用户安装ipdb 调试包

搞了一上午,想复杂了错误做法输入pip install --user ipdb-0.9.4.tar.gzpython3m -m pip install --user ipdb-0.9.4.tar.gz都会报错,出现Could not install packages due to an EnvironmentError: [Errno 13] Permission denied: '...

2019-06-25 12:07:45 137

原创 吴恩达deeplearning Lesson5 Week2 自然语言处理与词嵌入 词嵌入操作+根据文本自动加注Emoji

吴恩达deeplearning Lesson5 Week2 自然语言处理与词嵌入 词嵌入操作+根据文本自动加注Emoji词嵌入使用词嵌入嵌入矩阵学习词嵌入基础模型Word2VecGloVe 词向量情感分析除偏非带性别表征词汇(比如码农)带性别表征词汇(比如爷爷奶奶)作业1 词嵌入操作作业2 根据文本自动加注EmojiEmoji v2embedding kerasLSTM keras备注词嵌入...

2019-06-04 17:35:13 185 1

原创 吴恩达deeplearning Lesson5 Week1 RNN+LSTM 手搭RNN 恐龙起名 使用LSTM生成爵士乐

吴恩达deeplearning Lesson5 Week1RNNGRULSTMBuilding+a+Recurrent+Neural+Network+-+Step+by+StepRNN考虑了序列的先后顺序情况,解决的问题更加灵活。加入了时间维的deeplearning。相当于考虑了过去的激活值a< t -1>,和现在的输入x< t >RNN反向传播:GRU...

2019-05-29 22:03:10 349 2

原创 吴恩达deeplearning Lesson4 Week4 图片风格转换+人脸识别

吴恩达deeplearning Lesson4 Week3 写在前面:Art+Generation+with+Neural+Style+Transfer遇到的困惑1 优化器会不会同时优化网络的weight?遇到的困惑2 为啥需要在计算cost的时候要加转置?对tensor进行sess.run 与否的结果sess.run(model['input'].assign(style_image))结果写...

2019-05-22 22:04:28 162

原创 吴恩达deeplearning Lesson4 Week3 YOLO识别车辆图片

吴恩达deeplearning Lesson4 Week3-Autonomous+driving+application+-+Car+detection YOLO的思路model卷积实现找到框之后的操作实现过程遇到的TensorFlow问题K函数tf.boolean_masktf.image.non_max_suppression()K.gather()其他YOLO的思路model输入:(N...

2019-05-21 11:02:32 375

原创 吴恩达deeplearning Lesson4 Week2 keras入门 2个案例:happyhouse+resnet

吴恩达deeplearning Lesson3 Week2Keras+-+Tutorial+-+Happy+House+v2input正确率50%compile中 loss 选择问题代码Residual+Networks+-+v2找不到resnets_utils思路keras 细节Keras±+Tutorial±+Happy+House+v2遇到两个问题。model函数建立如下:def ...

2019-05-19 15:53:11 129

原创 吴恩达deeplearning Lesson4 Week1 np实现卷积网络

吴恩达deeplearning Lesson3 Week1复习卷积网络遗漏python矩阵操作np 多维矩阵求和tf 转置 & 平均前向传播n_C_prev和n_C计算Z复习卷积网络遗漏1、maxpooling层每个操作只是对一个channel,maxpooling后channel数不变。2、卷积层有偏置。每层有一个偏置。具体代码:def conv_single_step(a_...

2019-05-18 23:05:13 101

原创 吴恩达deeplearning Lesson2 Week2

吴恩达deeplearning Lesson2 Week2matlab python 细节matlab取整matlab 无视警告python表示数组结尾pyhton表示乘方、开方coursera notebook打不开本地提交方法课程mini-batch梯度下降法指数加权平均动量梯度下降法(Gradient descent with Momentum)RMSpropAdammatlab pyth...

2019-05-09 16:37:45 118

原创 吴恩达deeplearning Lesson2 Improving Deep Neural Networks Week1

吴恩达deeplearning Lesson:Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization Week1初始化问题0初始化He/Xavier 初始化正则化梯度检验初始化问题0初始化 :Zeros initialization – setting initializatio...

2019-04-29 17:45:55 129

外星人飞船1-移动飞船重构完毕

python从入门到实践 外星人飞船 12.1-12.7完成部分 功能:主文件、设置模块、游戏功能模块、飞船模块

2019-03-07

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除