God丶Davide的博客_Davide~苏_CSDN博客-Python,Utils,Linux领域博主

原创 python logger工具类

# encoding: utf-8# Author : Davide<forever.suwei@gmail.com ># Datetime : 2021/2/19 5:38 下午# User : suwei# Product : PyCharm# Project :# File : logger.py# explain : 文件说明import logging.configimport osBASE_PATH = os.getc.

2021-02-19 17:58:00 7

原创【笔记】linux下查看文件夹大小

查看当前目录大小du -sh查看当前目录下所有一级子目录文件夹大小du -h --max-depth=1按照目录大小进行倒序排序（以M为单位显示） du -m --max-depth=1|sort -nr

2020-10-21 16:18:48 4281

原创 docker批量删除镜像-条件删除(过滤条件筛选)

docker rmi $(docker images | grep "筛选关键字" | awk '{print $3}')其中的筛选关键字，可以筛选镜像名或tag或(id不建议)等最后的3 是打印结果中的第三项，也就是镜像 id

2020-08-19 14:20:28 7106

原创 python3.6/site-packages/h5py/init.py:36: FutureWarning: Conversion of the second argument解决办法

我是在使用bert==0.09的时候，遇到这个问题原因：numpy和h5py版本兼容问题，网上说h5py 官方已修复合并到 master 分支，但是还没发新版，在发版之前可以用降级 numpy 的方法跳过这个问题。所以我找到适合我的应用场景的一组版本，问题就解决了。解决：pip3 install --upgrade h5py==2.9.0pip3 install --upgrade numpy==1.14.2bug还原#首先安装bert==0.09pip3 install

2020-06-02 15:32:24 20271

原创 NLP：BERT NER实体识别部署运行笔记

趁有时间，好好整理整理一些NLP算法

2020-06-02 14:56:17 20829 1

原创一个简单的日志封装类

记录一个自己封装的日志类，不完善的地方，望指点。其中，包含写文件和输出到终点，定义日志等级，定义日志存储文件时间间隔，日志文件个数等并统一日志输出格式：文件名，方法名等信息import loggingfrom logging import handlersclass Logger(object): level_relations = { 'debug': logging.DEBUG, 'info': logging.INFO,

2020-05-18 11:42:41 26387 4

原创 Docker 修改容器时间和宿主机时间一致(标准北京时间)

# 查看时间配置文件ls/usr/share/zoneinfo/Asia/Shanghails/etc/timezone# 如果有显示，直接将 timezone 文件替换为 Shanghai 并重命名，如需要记得备份 timezonecp /usr/share/zoneinfo/Asia/Shanghai /etc/timezone然后，使用 date 看一眼时间变正常了date# 如果没有apt-get u...

2020-05-15 17:56:54 27911

原创 centos7安装anaconda3

最近需要重新安装conda，才发现，笔记没有整理。。。。首先下载anaconda3 对应版本信息及下载地址，查看：https://blog.csdn.net/GodDavide/article/details/102648787然后 bash Anaconda***.sh一路 enter 和 yes 即可最后一个Do you wish to proceed ...

2020-05-06 21:49:19 28021

原创 fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

第一次使用fake_useragent的时候，需要请求网络来获取useragent的信息，放在本地，以后使用的时候，都是本地直接读取了。然而，请求useragent地址需要翻墙，所以，在没有翻墙的设备上会报这个错误。解决办法：浏览器打开网址：注意：要翻墙如果没办法翻墙的，可以从本文末尾代码框中复制保存即可https://fake-useragent.herokuapp.co...

2020-04-16 16:13:48 39570

原创 Stanford CoreNLP 纯Python版本的深度学习NLP工具包 stanza 使用笔记

1、安装pip install stanza2、下载模型 stanza_resourcesimport stanzastanza.download('en') # download English modelstanza.download('zh') # download chinese model注意：在jupyter中下载如果有问题，可在终端中，python交互界面中下...

2020-04-15 17:35:35 40027 6

原创 linux下使用Docker安装gogs及都次运行安装程序配置注意事项

不得不说，一个人性化的可视化工具，比拿终端敲命令，确实省劲不少。。。以前一直使用终端来操作git服务器，也还挺好用的其实。具体操作可以查看：https://blog.csdn.net/GodDavide/article/details/82657393言归正传：1、准备数据库gogs需要数据库的支持，我这儿用的是mysql，这个看个人习惯，都能用。我这儿单独创建了一个gogs数...

2020-03-30 10:39:31 42748

原创 jupyter notebook 自动重新加载模块

%load_ext autoreload%autoreload 2自动重新加载更改的模块这个还是有问题的：假如有三个.py文件，1.py调用 2.py的常量、2中又调了3的常量，那么如果我更改3.py的常量值，那么，在jupyter中，即使加上了上面的语句，也不能重载到新值，但是，如果2中变化了一点，那么就能获取到3中的值。。。。1.py 使用 %run 1.py 导入...

2020-03-24 13:21:27 45692

原创 Docker Failed to start Docker Application Container Engine.

docker重启后遇到这个问题，记录一下解决办法systemctl status docker.service● docker.service - Docker Application Container Engine Loaded: loaded (/usr/lib/systemd/system/docker.service; disabled; vendor preset: di...

2020-03-23 17:50:41 45040

原创 Centos7 安装 gcc

在使用 pip3 install pyltp 时，需要先安装好 gcc安装：yum -y install gcc gcc-c++ autoconf pcre pcre-devel make automake

2020-03-20 11:28:10 47295

原创系统内或docker下mongodb使用命令创建用户及设置权限和删除用户

1、如果是直接系统安装的话，可以直接进入mongo终端# 进入mongo程序目录cd /usr/local/mongodb/bin找到 mongo 命令，或配置好环境变量，直接运行mongo，进入mongo命令编辑界面。2、docker下...

2020-03-13 18:01:52 47962

原创 linux 下 crontab -e 中/bin/sh: python3: 未找到命令

问题：使用crontab -e 进入后编辑了一下，* * * * * python3 test.py应该是每分钟执行一次发现报错：/bin/sh: python3: 未找到命令原因：我使用 anaconda3 装的python3装好后，并没有默认将Python3 配置到环境变量下，所以，自己配置一下就行了，我直接建了个软连接，问题解决！cd /usr/...

2020-03-13 17:45:08 48175 1

原创 Python基础编码规范

一、代码布局缩进建议采用空格最为缩进方式，程序中每一级缩进使用4个空格，首行无空格。def function(): pass行的最大长度建议所有行限制的最大字符数为79。超出长度的换行继续.在二元运算符之前应该换行吗？尽量不换行空行顶层函数和类的定义，前后用两个空行隔开。 ...

2020-01-31 11:33:06 52325

原创 Docker启动mongo及redis在配置用户密码时的注意事项

Mongo1.下载官方提供的mongo镜像docker pull mongo2.在宿主机新建文件夹,用于映射mongo的数据存储位置mkdir /home/mongo-data3.创建mongo容器docker run --name mongo -p 27017:27017 -v /home/mongo-data:/data/db -d mongo 注意：如果这样启动，不用用户...

2020-01-30 17:08:51 54135

原创 Dockerfile文件编写笔记+小实例

先编写一个简单的flask程序vim app.pyfrom flask import Flaskimport redisapp = Flask(__name__)# 链接redis做容器间关联验证效果用rd = redis.Redis(host='redis',port=6379)@app.route('/')def hello(): # Redis Incr 命...

2020-01-30 11:55:40 55803

原创 docker常用的命令笔记

常用的几个命令1、镜像操作查看有哪些镜像docker images == docker image ls拉取镜像docker pull ** == docker image pull删除镜像docker image rm (镜像名称or镜像ID) == docker imi (镜像名称or镜像ID)2、容器操作运行容器docker container（可省...

2020-01-28 18:25:22 55185

原创 Linux下使用rpm包安装docker（centos7）

rpm包下载地址：https://download.docker.com/linux/centos/7/x86_64/stable/Packages/centos7下安装的一些参数：rpm -i example.rpm 安装 example.rpm 包；rpm -iv example.rpm 安装 example.rpm 包并在安装过程中显示正在安装的文件信息；rpm -ivh ...

2020-01-28 18:23:24 55846

原创 centos7搭建http代理ip TinyProxy 及验证是否有效(python)

TinyProxy搭建yum -y install tinyproxy# 如果没有安装成功，应该是找不到这个包# 执行以下操作即可yum install -y epel-release yum update -y# 编辑配置文件vim /etc/tinyproxy/tinyproxy.conf两个配置：1、自定义开放端口注意：如果您选择在低于1024的端口上运行...

2020-01-17 17:38:47 70350

原创 liunx下Docker的安装和卸载

这里以centos7系统记录一、安装提一嘴：docker-ce是docker公司维护的开源项目，是一个基于moby项目的免费的容器产品docker-ee是docker公司维护的闭源产品，是docker公司的商业产品。yum update# 安装依赖包yum install -y yum-utils device-mapper-persistent-data lvm2 ...

2020-01-16 16:37:06 71436

原创记录一下scrapy中 settings 的一些配置

# 字符编码FEED_EXPORT_ENCODING = 'utf-8'# redis写法一# REDIS_URL = 'redis://localhost:6379' # redis写法二REDIS_HOST = '192.168.10.223'REDIS_PORT = 6379# 默认的 scrapy redis 会读取下面的密码和dbREDIS_PARAMS = {...

2020-01-16 11:49:41 71490

原创 nohup 日志重定向

nohup command > nohup.log 2>&1 &以下来自：https://www.cnblogs.com/zhangwuji/p/8059539.html侵权删用途：不挂断地运行命令。语法：nohup Command [ Arg ... ] [　& ]描述：nohup 命令运行由 Command 参数和任何相关的 Arg 参数指定...

2020-01-15 20:24:20 72568

原创解决 scrapy redis爬虫空跑，redis中的链接跑完后，程序仍然在监听队列，不关闭问题

平时使用scrapy redis主从式爬虫的时候，一般都是每天都会有爬取，所以没有考虑过这个问题，但是现在有个爬虫项目，redis队列是直接生成的，并且数量是一定的，所以在使用 scrapy slave时，需要判断一下队列是否已经被爬取完毕！经过度娘指点，知道了需要重写spider_idle 方法，在该方法中写自己的规则来判断是否要停止爬取。感谢！！！http://www.mamic...

2020-01-15 14:45:18 73734

原创 Mac下安装Homebrew

官网：https://brew.sh/复制命令：/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"如果可以，那就是可以了但是我遇到了个超时问题：curl: (7) Failed to connect to raw.githubu...

2020-01-10 17:12:32 73066 1

原创使用Docker部署mongo后使用Robo 3T、Studio 3T（ MongoChef ）在 create databse 创建数据库时的掉坑笔记

Studio 3T 的前身是 MongoChef ，Robo 3T 是Studio 3T的一个简版方便简洁，功能可视化方便虽然比studio 3t差那么一丢丢，但是胜在简洁，命令执行方便，而且软件轻小、流畅！创建数据库很简单：create一个即可，然后设置用户也不难：对了，这个地方说一下吧，如果使用docker启动的时候，不指定 --auth 参数，那么该数据库是可以无密访问的...

2020-01-10 13:46:54 73133 1

原创 mac下docker从容器内部访问宿主机ip

有两种情况：1、有网络的情况下：通过 ifconfig 中找到自己的电脑 ip 然后直接访问即可2、没有网络的情况下：通过 ifconfig 是找不到 ip 的，然后需要找到一个宿主机的ip可以通过域名来访问：docker.for.mac.host.internal可以 ping 或者用 telnet ip port 来测试一下...

2020-01-09 20:20:46 75162

原创 git pull 或 push时总是提示填写账号密码解决

同事在 git pull origin 时，每次都需要添加账户和密码，网上有的说用这个：git config --global user.name "username" git config --global user.email "email"拜托！这个是配置用户名和邮箱，并不是配置账号密码我不管clone了谁的哪儿个项目，都可以用一下方式来解决每次都要填写账号密码问题...

2020-01-09 10:33:53 72554

原创 WARNING: This is a development server. Do not use it in a production deployment. falsk WSGI

Environment: production WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.记录一下这个问题， Environment: production WARN...

2019-12-26 11:25:55 88660 18

原创 python matplotlib 中文设置

发现一个比较好的方法来设置中文# 查看字体库import matplotlibfont_list=sorted([f.name for f in matplotlib.font_manager.fontManager.ttflist])for i in font_list: print (i)会有很多，然后找一个字体设置一下就好了只要这一句就好了，字体自己可以修改...

2019-12-15 13:04:12 72727 3

原创 python使用py2neo操作neo4j

安装：pip install py2neo安装过程中，可能会报错：ERROR: ipython 5.1.0 has requirement prompt-toolkit<2.0.0,>=1.0.3, but you'll have prompt-toolkit 2.0.10 which is incompatible.意思是 Ipython需要的 prompt-to...

2019-10-24 14:13:57 73458

原创一个简单的例子来理解监督学习和非监督学习及其区别

首先，必须理解两个基本概念：特征值和目标值，先看图例1、特征值：特征值是指数据的特征，对于每个样本，通常具有一些 "属性"（Attribute）或者说 ”特征“（Feature），特征所具体取的值就被称作 ”特征值“。比如，苹果的皮是”光滑“的，橘子的皮是”褶皱“的，”光滑“和”褶皱“就是 ”苹果“ 和 ”橘子“ 这两个样本的特征值2、目标值(标签)目标值又叫标签，...

2019-10-22 14:23:19 80241 1

原创 linux下别名的永久创建和删除 alias 和 unalias 的使用及环境变量配置

创建别名例：默认系统下没有 ll 命令，使用 alias 创建别名alias ll='ls -alh'注意：等号前后不要有空格，不能写成alias ll ='ls -alh' 可以直接使用 alias 命令显示已经创建的别名列表，发现 ll 已经创建成功删除别名 unalias name # name 为你要删除的别名名称unalias ll...

2019-10-21 18:54:08 73949

原创 anaconda和python版本对照表

python2 python3 anaconda2/3 2.7.14 3.6.5 5.2.0 2.7.14 3.6.4 5.1.0 2.7.14 3.6.3 5.0.1 2.7.13 3.6.2 5.0.0 2.7.13 3.6.1 4.4.0 2.7.13 3.6.0 4.3.1 2....

2019-10-20 14:34:53 80898 2

原创 Anaconda常用命令笔记

Anaconda... 我现在主要用它进行虚拟环境的创建使用及一些Python包的安装，尤其是在深度学习方面的包的安装很方便，很多情况下，如果你pip install 失败了的话，使用 conda install 基本都能解决！！！ Anaconda的安装可能只在最后的环境变量配置稍稍麻烦一点儿，整体还是很简单的，随便找个教程都ok。常用操作 # 查...

2019-10-20 14:28:19 73342

原创 neo4j 增删改查及索引操作实战

上篇文章已成功使用docker安装并启动了neo4j服务,可以前往查看：https://blog.csdn.net/GodDavide/article/details/102636014本文记录一下neo4j的浏览器界面的增删改查及索引创建等操作以后将会学习Python使用py2neo如何操作neo4j的增删改查，提醒自己一定要学。一：增 1、添加节点：emp的名称如果相同...

2019-10-19 11:13:47 72785

原创 neo4j Docker安装详解+实战

本文介绍 Neo4j的Docker安装，增删改查及索引操作实战操作可查看另一篇文章：https://blog.csdn.net/GodDavide/article/details/102636364一、简介Neo4j是一个世界领先的开源图形数据库。它是由Neo技术使用Java语言完全开发的。1.Neo4j的特点SQL就像简单的查询语言Neo4j CQL 它遵循属性图数据模型...

2019-10-19 11:07:58 73362 2

原创 jupyter notebook Kernel Died: cannot import name 'create_prompt_application'问题（Died Kernel）

在pip安装其它模块的时候，根据其版本需求，安装了 prompt-toolkit 的更高版本比如：我是pip installpy2neo 的时候，py2neo所需的prompt-toolkit~=2.0.7 ，导致jupyter出现问题而jupyter需要的版本较低，所以重新安装一下低版本的prompt-toolkit即可pip install --upgradeprompt-...

2019-10-19 09:00:44 71945