- 博客(120)
- 资源 (1)
- 收藏
- 关注
原创 包含动画的PPT转为PDF
目的:带动画的PPT转化为PDF,PDF的每一页是动画的一个步骤方法:使用 宏参考链接:https://www.codercto.com/a/70548.html具体方法(win、mac均可):前提:需启用 宏 功能步骤一打开 工具-宏-Visual Basic 编辑器,点击 插入-模块,在窗口中粘贴如下代码Option ExplicitSub AddElements()Dim shp As Shape Dim i As Integer, n As Integern = Acti
2021-08-23 17:47:38
2109
3
原创 开源时序建模框架Kats
KATS简介时间序列分析建模是数据科学和机器学习的一个重要的领域,在电子商务、金融、供应链管理、医学、气象、能源、天文等诸多领域有着广泛的应用。目前时间序列分析以及建模的技术非常多,但相对散乱。Facebook开源的Kats 是第一个开发标准并连接时间序列分析各个领域的综合 Python 库,用户可以在这里探索其时间序列数据的基本特征,预测未来值,监视异常,并将其合并到ML模型和pipeline中。Kats (Kits to Analyze Time Series) 是一个轻量级、易于使用、可扩展和通
2021-08-23 17:11:49
2091
1
原创 mac时间机器的使用
备份要使用“时间机器”创建备份,只需一个外置储存设备。连接储存设备并选择它作为备份磁盘后,“时间机器”会自动制作过去 24 小时的每小时备份、过去一个月的每天备份以及之前所有月份的每周备份。如果备份磁盘已满,则最早的备份会被删除。01 选择磁盘把备份硬盘插入MacBook,然后在[系统偏好设置]找到“时间机器”,打开。可以选择加密备份,设置密码。如果选择的磁盘没有按照“时间机器”的要求进行格式化,系统会提示先抹掉磁盘。点按“抹掉”以继续操作。这样操作会抹掉备份磁盘上的所有信息。02 备份方式
2021-08-23 14:20:57
10110
原创 centos7安装CUDA11.2+CUDNN8.1+tensorflow2.4
环境:系统:centos7CPU:Intel(R) Xeon(R) Gold 5220 CPU @ 2.20GHz 36核GPU:Tesla V100*4查看CPU信息:cat /proc/cpuinfo查看GPU信息:nvidia-smi一、安装CUDA11.2参照该博客附:TensorFlow/cuda版本对照:官方文档版本对照链接二、安装TensorFlow2.4pip install tensorflow-gpu==2.4安装验证:import
2021-02-10 14:36:17
3497
原创 tf.keras.metrics.AUC和sklearn.metrics.auc计算结果不一致
问题:tf.keras.metrics.AUC和sklearn.metrics.auc计算结果差别较大,如果用这样一个不准确的auc设置earlystop,可能会影响模型效果经过一天的调研,差别原因如下:sklearn.metrics.auc只会计算label=1的auc,而tf.keras.metrics.AUC在多分类情况下,会将每一类的输出flattened,视作一列计算(每个样本对于每一类的数据均会被视为一个点),在样本不均衡的情况下,会得到较高的AUC解决方法:auc .
2021-01-31 22:24:55
4481
1
原创 windows10 GPU+tensorflow环境配置
一、安装CUDA和CUDNN参考这篇博客,完全无坑基于上面的博客,安装了CUDA10.0二、安装tensorflow错误1:
2021-01-24 13:41:49
197
原创 pyinstaller、Cython封装AutoML代码
背景自己开发了一套AutoML代码,虽然比不上市面上成熟的AutoML,但至少也是集多种祖传操作于一身,且可以直接输出公司需要的报告,但在一些联合建模的场景下,可能存在代码泄露的风险,所以最近在调研如何将代码封装起来方法一:pyinstallerstep1:新建一个虚拟环境一定一定要新建一个虚拟环境,由于pyinstaller会自动封装虚拟环境下的包,如果环境中有一些非必须的包,那么封装后的文件会十分的大!第一次打包后生成的文件有300M,新建环境且仅安装必须的包后,打包生成的文件仅70
2020-11-24 20:16:37
363
原创 mac os安装spark
最近由于需要使用本机环境运行spark,所以进行了spark的安装,记得当年(2017年)装spark的时候折腾了几个小时才装好,没想到现在安装的流程这么简单,1. 下载安装包http://spark.apache.org/downloads.html这里我选的是spark-2.4.7-bin-hadoop2.7.tgz2. 安装cd /usr/localmv ~/Downloads/spark-3.0.0-preview2-bin-hadoop2.7.tgz ./ # 下载sp
2020-11-21 21:02:49
611
1
原创 开机自动后台启动jupyter
之前使用screen后台运行jupyter,但是电脑重启后后台进程也会自动停止,又需要重新启动,作为程序员,本着一件事重复多次就要自动化的精神,打算写一个可以开机自启jupyter的脚本目标:实现jupyter(或别的程序)的开机自启步骤1:实现jupyter的状态检查、启动、停止#!/usr/bin/bash#-----------------------------------------------------------------# Author: lm# Filename
2020-11-12 10:00:04
1162
原创 在shell中执行conda activate报错:Your shell has not been properly configured to use ‘conda activate‘.
今天想要在Mac上执行一段自动启动jupyter的shell脚本,但是出现了错误错误代码:CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'.To initialize your shell, run $ conda init <SHELL_NAME>Currently supported shells are: - bash - fi
2020-11-11 17:37:20
5554
5
原创 服务器jupyter使用matplotlib显示中文
问题: 在服务器上jupyter使用matplotlib画图,中文显示为方块解决方案:1. 下载字体simhei2. 查找字体路径和缓存路径import matplotlib# 查找字体路径print(matplotlib.matplotlib_fname())# 查找字体缓存路径print(matplotlib.get_cachedir())3. 将下载好的字体文件,存放到目录:(根据上面的结果,找到字体存放位置)/home/dev/.conda/envs/python
2020-10-27 11:48:51
825
1
原创 pycharm2020报错 Error: failed to send plot to http://127.0.0.1:63342
pycharm2020报错 Error: failed to send plot to http://127.0.0.1:63342问题:使用pycharm2020连接远程Python解释器,画图plt.show()报错错误原因:在“http://127.0.0.1:63342”中的63342是环境变量os.environ[‘PYCHARM_DISPLAY_PORT’]或者os.getenv(“PYCHARM_MATPLOTLIB_PORT”)。远程解释器尝试将图像数据发送到 远程服务器的1
2020-09-08 12:47:06
2987
4
原创 sklearn接口报错Input contains NaN, infinity or a value too large for dtype(‘float64‘)
1. 错误场景某个包调用了sklearn接口,在fit(x,y)时报错Input contains NaN, infinity or a value too large for dtype('float64')2. 错误原因通过查看/sklearn/utils/validation.py文件,发现有一段这样的代码: if is_float and (np.isfinite(_safe_accumulator_op(np.sum, X))): pass elif
2020-08-11 10:54:51
17447
5
原创 mac iterm 快速连接远程服务器
Windows连接远程服务器一般使用xshell,对于mac来说,可以使用iterm代替,如何在iterm上配置一键连接远程服务器,达到xshell的效果呢?1. 进入/Users/XX/.ssh目录(其实也可以是其他目录),vim一个文件,添加如下代码:#!/usr/bin/expect -fset user 用户名set host 服务器地址set password 密码set timeout -1spawn ssh $user@$hostexpect "*password.
2020-07-28 17:16:21
817
原创 crontab调度git报错fatal: could not read Username for url: Device not configured
在多人合作开发的场景下,每次开发前需从Git仓库pull最新的版本,当有多个项目同时进行(或同时关注)时,总是手动pull耗时耗力,而且还可能忘记,于是想到了用crontab定时pull所有自己关注的项目。调试的过程中遇到如下错误错误1:没有权限读取文件原因:crontab中的运行环境和默认环境不一致,无法读取mac非User目录下的文件解决方法:将文件夹迁移至User下错误2:fatal: could not read Username for 'url': Device not co
2020-06-27 20:59:10
967
原创 使用selenium进行网页爬取
有些网站的反爬机制极强,需要更真实的去模拟人访问网站的动作才可以爬取信息,这时就需要selenium一、selenium是什么selenium是什么呢?它是一个强大的Python库。它可以做什么呢?它可以用几行代码,控制浏览器,做出自动打开、输入、点击等操作,就像是有一个真正的用户在操作一样。二、驱动下载首先需要安装浏览器驱动,下载驱动后将exe文件复制到python根目录下(虚拟环境根目录也可以)ChromeDriver与Chrome版本对应参照表及ChromeDriver下载链接
2020-06-27 15:18:20
1209
原创 python爬虫-动态网站爬取
对于某些静态网站,只要requests.get(‘url')即可获得页面全部内容,如链家使用pgn代表页面、rs代表关键字,https://sh.lianjia.com/ershoufang/pg2rs%E8%99%B9%E5%8F%A3/但对于一些动态加载的网页,则不可以通过直接get url的方式获取到网页内容AjaxAjax 即“AsynchronousJavascriptAndXML”(异步 JavaScript 和 XML),是指一种创建交互式、快速动态网页应用的网页开发技术,无需...
2020-06-27 14:24:19
659
原创 windows10安装docker的若干坑--Docker Desktop requires Windows 10 Pro/Enterprise (15063+)
安装windows docker 桌面版时报错:Docker Desktop requires Windows 10 Pro/Enterprise (15063+) or Windows 10 Home (19018+)原因:系统是windows10家庭版,且版本不符合要求尝试1:用Windows自带的检查更新,将系统升级到最新版本,结果出现了神奇的现象,版本升到了最新,但os内部版本号却没有变化,且尝试了多种方法均无法提升os内部版本,安装docker依然报错解决办法:某宝花了20元买
2020-06-14 18:20:49
22592
原创 windows10安装docker的若干坑--无法找到Hyper-V
想在电脑上装一个docker,但是发现自己的系统是Windows10家庭版,而家庭版是不带Hyper-V的,那要如何解决这个问题呢?1. 复制下列代码到文本文件里,重命名为Hyper-V.cmdpushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txtfor /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /n
2020-06-14 15:54:25
1198
原创 pycharm从远程仓库clone时“Authentication failed for '仓库地址'”的问题解决
背景:使用pycharm-Git-clone 时,输错了账户名,提示“Authentication failed for '仓库地址'”,但pycharm将错误的账户名保存了,之后无论是重新clone还是重启pycharm再克隆,均会提示无权限解决方法:控制面板-用户账户-管理你的凭据-Windows凭据,在 普通凭据 一栏中找到之前输错的仓库地址,点击 编辑 ,修改账户和密码,至...
2020-05-02 16:19:34
2088
1
原创 python3下使Word2Vec每次运行结果一致
如何在python3环境使Word2Vec每次运行结果一致我们经常使用gensim的Word2Vec来进行单词转向量,但是这个包存在一个问题,每次训练结果都不同,这就导致了特征无法复现。查阅Word2Vec的官方文档,在seed参数哪里可以发现这样的解释:seed (int) – Seed for the random number generator. Initial vectors f...
2019-08-05 10:06:43
967
转载 Python包设置清华源(pip, anaconda等)
pip清华镜像站pypi 镜像每 5 分钟同步一次。临时使用pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package注意,simple 不能少, 是 https 而不是 http设为默认升级 pip 到最新的版本 (>=10.0.0) 后进行配置: pip install pip -U ...
2019-08-05 09:48:14
2476
原创 服务器搭建jupyter并实现远程访问
一、 进入所需的conda环境二、安装jupyterconda install jupyter notebook三、查看配置文件位置jupyter notebook --generate-config四、生成密码进入环境ipython, 在ipython环境下输入:from notebook.auth import passwdpasswd()输入方便你记的密码,连续输;两次…输...
2019-07-25 10:05:23
710
转载 pytorch训练出现loss=na
遇到一个很坑的情况,在pytorch训练过程中出现loss=nan的情况有以下几种可能:1.学习率太高。2.loss函数有问题3.对于回归问题,可能出现了除0 的计算,加一个很小的余项可能可以解决4.数据本身,是否存在Nan、inf,可以用np.isnan(),np.isinf()检查一下input和target5.target本身应该是能够被loss函数计算的,比如sigmoid激活...
2019-06-24 20:25:27
966
原创 人脸识别Face Recognition的安装
Face Recognition是世界上最简洁的人脸识别库,你可以使用Python和命令行工具提取、识别、操作人脸。Face Recognition的人脸识别是基于业内领先的C++开源库 dlib中的深度学习模型,用Labeled Faces in the Wild人脸数据集进行测试,有高达99.38%的准确率。但对小孩和亚洲人脸的识别准确率尚待提升。1、安装gcc我是使用centos7安装...
2019-05-28 10:10:55
2294
1
原创 python模型转PMML
关于python模型的部署,目前有以下几种方式flask等python为服务框架,无需跨语言xgb4j,lgb4j等Java包,需跨语言,但只支持xgb/lgbPMML,跨语言,支持所有sklearn接口的模型综上所述,当遇到跨语言部署时,PMML是个万金油方式,可以将所有sklearn接口的模型转换为PMML文件,并用JAVA/SCALA相关的包进行解析,然而经过一番调研,网上关于p...
2019-05-21 09:57:32
7095
6
原创 pycharm本地远程关联相关问题
配置远程SFTP在PyCharm中打开SFTP配置面板,路径为Tools => Deployment => Configuration:配置Connection参数设置,填写远程服务器域名或者IP地址及用户名密码后,点击Test按钮进行连接测试,另外可以点击Autodetect按钮自动关联root path:配置Mappings参数设置,进行本地项目路径和远程服务器项目路径...
2019-05-06 17:13:17
855
原创 scrapy带帐号密码的爬取
最近在对github和gitlab进行爬取,遇到了很多坑,经过一系列的调研终于解决了问题1、基本设置settings.py下,设置:ROBOTSTXT_OBEY = FalseROBOTSTXT_OBEY 默认为True,就是要遵守robots.txt 的规则,那么 robots.txt 是什么?robots.txt 是遵循 Robot协议 的一个文件,它保存在网站的服务器中, 它的作...
2019-04-26 10:43:37
1473
原创 需账号密码登陆的网页爬虫
对于普通网页的爬取十分简单,如果网站没有任何反爬机制,只要以下代码就可以实现对于网页的爬取import requestshtml = requests.get(url='网址',headers=headers,verify=False)from bs4 import BeautifulSoupsoup = BeautifulSoup(html.text,'lxml')#以下三种方式均...
2019-04-17 15:08:19
20160
原创 Docker发布自己镜像报错denied: requested access to the resource is denied
1.创建自己的docker账号进入dockerhub,https://hub.docker.com/,登陆自己的账号或者创建新账号创建自己的仓库2.启动docker登陆自己的账号,输入账号密码docker login查看镜像docker images给将要上传的镜像打标签,注意仓库名一定要写正确docker tag IMAGEID(镜像id) REPOSITO...
2019-04-15 16:55:46
3974
转载 Docker——入门实战
看到一篇写得很好的docker入门教程,马克一下,写了dockers的下载、安装,以及一个简单的案例:在容器中部署静态网站https://blog.csdn.net/bskfnvjtlyzmv867/article/details/81044217...
2019-04-15 13:58:31
185
原创 windows建立定时任务执行bat脚本
在Linux中我们可以通过crontab来定时执行脚本,那么windows中如何执行呢?为了避免分支冲突,准备在每天上班的时候自动将git远程仓库的最新版本pull下来,然后在下班时间自动将重要项目push到远程仓库,这样即使用家里的电脑进行开发,也可以从远程仓库得到最新的代码。首先将push和pull写成bat文件,然后需要考虑的就是建立定时任务执行bat脚本了1.打开任务计划程序-创建任...
2019-04-12 10:47:13
17579
原创 zabbix的使用
使用zabbix设置监控报警1.登陆zabbix的web页面2.配置监控项选择 配置-主机,选择配置监控的目标机点击 监控项-创建监控项,注意名称和键值3.配置触发器输入表达式,选择严重性4.往zabbix发送数据在terminal中输入命令发送数据,若超过阈值则自动报警zabbix_sender -z “IP” -p 10051 -s "$HOSTNAME" -k 键名...
2019-04-10 16:32:42
547
1
原创 elasticsearch使用
删除index和数据切换到elsearch账户,不可用root账户查看indexcurl 'localhost:9200/_cat/indices?v'删除indexcurl -X DELETE 'localhost:9200/索引名*'
2019-04-08 13:40:16
187
原创 ELK扩展:使用Beats收集其他服务器上的日志
一、logstash与beats由于Logstash在数据收集上并不出色,而且作为agent,性能并不达标。elastic发布了beats系列轻量级采集组件。至此,elastic形成了一个完整的生态链和技术栈,成为大数据市场的佼佼者二、什么是beatsbeats 是一个使用 Golang 构建的平台,libbeat 是其核心库,用来提供API进行与Elasticsearch,Logstash...
2019-04-08 10:51:38
3537
1
原创 git报错fatal: the remote end hung up unexpectedly
之前在github上建了一个项目,传了几个不到1M的xlsx表格,但是用家里的电脑克隆项目时一直报错:fatal: the remote end hung up unexpectedlyfatal: early EOFfatal: index-pack failed尝试了https和ssh克隆均以失败告终查看了一些网上的解决方法,原来是文件过大造成的这个错误解决方法:运行:git ...
2019-04-06 10:07:41
1521
原创 运行spark报错Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'
问题描述最近换了一台电脑,将原电脑的spark streaming代码考到了新电脑上,使用IDEA运行却报错了Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'The root scratch dir: /tmp/hive on HDFS should be writable经检查发现是/tmp/...
2019-04-02 10:10:23
6665
3
原创 conda activate报错:gbk相关错误
使用conda create -n 建立新的虚拟环境后,使用activate无法进入虚拟环境,报了一个和gbk相关的错误,后来经排查发现,是系统环境变量中包含中文字符,把系统变量中所有装在中文路径下的软件卸载,这个问题就解决了。这就告诉我们,重要软件一定不要装在中文路径下!!!...
2019-03-26 11:25:02
1839
2
原创 kibana的使用
一、访问host:5601端口后可进入kibana的web界面二、进入management,进入Index Management查看es中是否有我们需要的index* 三、进入index patterns-Create index pattern使用我们的index建立pattern* 四、进入discover,如果没有数据显示则调整右上角的时间轴,扩大范围...
2019-03-20 19:42:47
702
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人