BigData_Mining的博客

原创 Docker常用命令（比较全面）

从公网拉取一个镜像docker pull images_name查看已有的docker镜像[root@docker ~]# docker images查看帮助docker command --help查看镜像列表docker search nginx启动一个容器#基于hello-world镜像启动一个容器，如果本地没有镜像会从公网拉取过来，这次做为测试...

原创 python安装各种包、模块的地址

python安装各种包、模块的地址

原创 python项目导出依赖包requirements.txt文件

python项目导出依赖包

原创 conda安装fbprophet注意事项

conda安装fbprophet

原创 ubuntu20.04安装neo4j

机器环境Ubuntu 20.04.、Java 1.8.0_171注意Neo4j和Java版本的对应关系, 这里需要注意一个情况，如果服务器上已经有JDK，通过java -version查看一下版本，如果是1.8.xx的版本，下载Neo4j 3.xx的版本。Neo4j 4.xx的版本需要jdk的version是11。安装步骤我安装的Neo4j版本为3.5.251.下载Neo4j压缩包官网地址：https://neo4j.com/download-center/#community选择社区版（免

原创 mysql定时清理数据

设置MySQLSHOW VARIABLES LIKE 'event_scheduler'; # 查看开关SET GLOBAL event_scheduler = ON; #打开事件调度器永久开启方法：my.cnf中[mysqld]添加event_scheduler=on #重启服务查看事件SHOW EVENTS; # 其中 EVENT_DEFINITION字段为事件执行的sql语句select EVENT_NAME,LAST_EXECUTED from information_schema

原创 如何优雅的退出gunicorn

在工作中，会发现gunicorn启动的web服务，无论怎么使用kill -9 进程号都是无法杀死gunicorn，经过我一番百度和谷歌，发现想要删除gunicorn进程其实很简单。寻找masterpid通过执行如下命令，可以获取Gunicorn进程树：pstree -ap|grep gunicorn得到如下的结果。很显然，60313就是Gunicorn的主进程。重启Gunicorn任务按照官方的推荐方法，很容易执行命令：kill -HUP 60313执行上述命令后，再次执行“p

原创 使用Crontab定时执行任务

crontab -u //设定某个用户的cron服务，一般root用户在执行这个命令的时候需要此参数crontab -l //列出某个用户cron服务的详细内容crontab -r //删除没个用户的cron服务crontab -e //编辑某个用户的cron服务使用crontab -e第一次打开crontab -e 将要更换编辑器Select an editor. To change later, run ‘select-editor’./bin/ed/bin/nano/usr/bin/

原创 使用Gunicorn部署flask项目

Gunicorn安装pip install greenlet#为使用异步做准备pip install eventlet#使用eventlet workerspip install gevent#使用gevent workerspip install gunicorn创建示例文件：from flask import Flaskapp = Flask(__name__)@app.route('/demo')#如果不想给方法起名就用'/',也可以自己定义名称，例如这里起名为demodef He

原创 ubuntu20.04下MySql8安装及其更新密码

安装：sudo apt upgratesudo apt install mysql-serversudo apt install mysql-client安装过程中无用户名密码提示。打开debian.cnf文件$sudo cat /etc/mysql/debian.cnf使用自动生成的账号密码连接登录，之后再重置账号、密码。mysql> use mysql;mysql> update user set authentication_string='' where use

原创 将文件夹中的多个txt文件合并为一个文件，并将文件名作为标签,写入csv中

文件夹下的文件：每个文件中的内容：代码：from __future__ import unicode_literals, print_function, divisionfrom io import openimport globimport osimport unicodedataimport stringdef findFiles(path): return glob.glob(path)categorty_lines = {}all_categories = []for f

原创 使用pytorch-geometric报错：No module named torch_sparse

使用pytorch-geometric报错：No module named torch_sparse解决方案：1)明确你的torch的版本和gpu的版本或者cpu2）进入下载链接，点击进入与你版本相同的子链接：3）根据版本号下载这四个whl文件4）使用pip install XX.whl命令安装这四个文件，然后在执行：pip install torch-geometric即可解决！...

原创 如何判断dll程序的位数：32位or64位

判断dll程序位数简便方法：直接用记事本或者notepad++打开exe文件（dll文件），会有很多乱码，不要头疼，接下来只需要在第二段中找到PE两个字母，在其后的不远出会出现d? 或者L。若是d，则证明该程序是64位；若是L，则证明是32位。...

原创 pytorch算法模型转换为onnx--＞ncnn（落地项目全生命周期3)

这一章节我们要对我们已经训练好的模型进行转换，分为三个步骤：1）pytorch模型转为onnx模型；2）onnx模型精简；3）onnx模型转为ncnn模型。一：pytorch模型转onnx模型我们以pytoch自带的算法为案例：import torchimport torchvision#define resnet18 modelmodel = torchvision.models.resnet18(pretrained=True)#define input shapex = torch.

原创 vs2017创建dll程序并配置ncnn和opencv运行环境（落地项目全生命周期-图解）2

这里我主要是创建一个动态链接库文件：步骤1：创建一个动态链接库项目步骤2：配置头文件路径切换到属性管理器配置你的项目属性，比如你要是想编译一个64位的Release版本的程序，那就选择Release|x64，若是想要编译一个32位的文件，就选择win32。但是注意，一定要与上方一致！我已编译Release版本64位为例：注意：在解决方案管理器中将配置和平台选为你要编译的发行版本。（1）配置包含目录：在包含目录中添加opencv、protobuf、NCNN的头文件所在目录。以下是我的路

原创 win10安装ncnn并配置protobuf+ncnn+openCV（落地项目全生命周期图解）

0.前提：自行到官网下载vs2017，下载https://visualstudio.microsoft.com/downloads并安装。1.下载ncnn到ncnn的GitHub中下载相应的组件https://github.com/Tencent/ncnn2.下载protobufGitHub中ncnn这个界面往下拉，找到这个：进入后，点击这里下载protobuf然后按照下面的步骤进行安装。1）将两个压缩文件解压2）安装两个组件注意：先安装protobuf重点来了，应该在什么地方安

原创 python项目（pytorch分类算法）pyinstaller打包为exe可执行程序--工业已应用

我们用pytorch或者tensorflow写的算法程序在实际使用过程中都需要加密打包，我看了网上很多的教程，基本上没有一个适合作为工业级发布python项目的模板，我根据工作中的实际应用，来详细的说一下如何打包pytorch写的一个分类程序为exe可执行文件。使用到的python模块有Cython和pyinstaller1、首先对代码加密使用Cython模块对代码进行加密在项目根路径创建 build_pyd.py (文件名随意，以下命令默认此文件名)from distutils.core imp

原创 TypeError: ‘＞=‘ not supported between instances of ‘NoneType‘ and ‘str‘

File “G:\Anaconda3\lib\distutils\cygwinccompiler.py”, line 129, in initif self.ld_version >= “2.10.90”:TypeError: ‘>=’ not supported between instances of ‘NoneType’ and ‘str’conda install libpython

原创 python加密报错：Cython directive ‘language_level‘ not set, using 2 for now (Py2)

错误：FutureWarning: Cython directive 'language_level' not set, using 2 for now (Py2). This will change in a later release! File: G:\software\PyCharm 2018.3.3\test_ext\add.py tree = Parsing.p_module(s, pxd, full_module_name)解决方案：在你需要加密的py文件顶部加上# cython:l

原创 PyTorch学习率调整策略

PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是:有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealing自适应调整：自适应调整学习率 ReduceLROnPlateau自定义调整：自定义调整学习率 LambdaLR。1.等间隔调整学习率StepLR:等间隔调整学习率，调整倍数为 gamma 倍，调整间隔为 s

原创 在用python完成文件中图片重命名时报错：Windows error[2]解决方法

Windows error[2]解决方法在用python完成文件中图片重命名时，遇到了windows error[2]的错误，主要是路径问题。代码中加上os.chdir(file)那句代码就能解决这个问题，把路径改变到你所需要重命名图片的路径下。错误如下:#-*- codeing = utf-8 -*-#@Time:2021/1/4 20:12#@Author: Z2Q#@File : change_name.py#@Software : PyCharmimport os ,os.path

原创 ubuntu20.04安装opencv步骤及依赖报错：E: 无法定位软件包 libjasper-dev

错误：E: 无法定位软件包 libjasper-dev解决方案：

原创 ubuntu20.04安装simhei字体--jupyter中文显示框框的解决方案

jupyter中的中文字体显示框框，解决方案：1、下载simhei.ttf字体：添加链接描述2、将字体放到合适的地方sudo cp SimHei.ttf /usr/share/fonts/3、删除matplotlib缓存 – 在jupyter中编辑查看缓存文件在哪里在终端中cd到目录删除缓存4.修改matplotlib的配置– 在jupyter中编辑到终端，编辑该文件matplotlibrc，添加：font.family:sans-seriffont.sans-serif:S

原创 Ubuntu设置软件开机自启动

1 修改/etc/rc.localrc.local脚本是一个ubuntu开机后会自动执行的脚本（重启后），我们可以在该脚本内添加命令行指令在exit 0前添加命令即可2 新建脚本，将脚本添加到启动脚本（推荐，可控，而且非常清楚）2.1 在/etc/init.d/ 下新建脚本xxx 或者 xxx.sh#!/bin/bash # command content exit 02.2 设置文件权限chmod 755 xxx2.3 将脚本添加到启动脚本update-rc.d xxx d

原创 工业微服务——实现工业APP高效开发和运行

工业微服务架构为工业互联网平台的知识转化和复用提供了最佳技术手段，算法、模型、知识等模块化组件能够以“搭积木”的方式被调用和编排，实现低门槛、高效率的工业App开发。微服务最早由Martin Fowler与James Lewis于2014年共同提出，微服务架构风格是一种使用一套小服务来开发单个应用的方式途径，每个服务运行在自己的进程中，并使用轻量级机制通信，通常是HTTP API，这些服务基于业务能力构建，并能够通过自动化部署机制来独立部署，这些服务使用不同的编程语言实现，以及不同数据存储技术，并保持最低

原创 边缘容器介绍（ACK Edge Kubernetes)

简介:一. 边缘计算随着互联网智能终端设备数量的急剧增加，以及5G和物联网时代的到来，传统云计算中心集中存储、计算的模式已经无法满足终端设备对于时效、容量、算力的需求，将云计算的能力下沉到边缘侧、设备侧，并通过中心进行统一交付、运维、管控，将是云计算的重要发展趋势。IDC预计，到2020年全球将有超过500亿的终端与设备联网，超过40%的数据要在网络边缘侧进行分析、处理与存储，这对边缘计算提供了充分的场景和想象空间。边缘计算按功能角色主要分为三个部分：云 – 传统云计算的中心节点，有丰富的云计算产品

原创 数字孪生定义、意义及案例

资料全部为网络搜集！数字孪生定义数字孪生（Digital twin）是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统。**相关概念：**构建物理信息系统（Cyber-Phyical System，CPS），实现物理工厂与信息化的虚拟工厂的交互和融合，从而实现智能制造，数字孪生作为实现物理工厂与虚拟工厂

原创 Ubuntu20.04安装向日葵

下载最新版本：https://sunlogin.oray.com/download/缺少部分依赖，手动下载：# 你知道最新的版本号了sudo wget http://download.oray.com/sunlogin/linux/SunloginClient-10.0.2.24779_amd64.debsudo wget http://mirrors.aliyun.com/ubuntu/pool/main/i/icu/libicu60_60.2-3ubuntu3_amd64.debsudo w

原创 docker下安装elasticSearch报错：[1]: max virtual memory areas vm.max_map_count [65530] is too low

docker下安装elasticSearch报错：[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]解决方案：编辑 /etc/sysctl.conf，追加以下内容：vm.max_map_count=262144保存后，执行：sysctl -p重新启动，成功。...

原创 ubuntu20.04下安装docker

前言：三种安装方法官方参考：Install Docker Engine on Ubuntu1.使用 repository 安装（本文）2.使用脚本快速安装$ curl -fsSL https://get.docker.com -o get-docker.sh$ sudo sh get-docker.sh123.下载软件包离线安装卸载旧版本Docker 的旧版本被称为 docker，docker.io 或 docker-engine 。如果已安装，请卸载它们：$ sudo apt-g

原创 Access denied for user ‘root‘@‘172.17.0.7‘ (using password: YES)

Docker中运行mysql出现错误解决方案：

原创 LSTM、GRU解析--笔记

每个cell都有自己的权值矩阵。重要的数据保存到ct中。候选输出可影响当前输出 。

原创 javascript:void(0)的解析

javascript:void(0)的含义html中经常会遇到这种格式的代码，其具体含义是啥呢？void关键字介绍首先，void关键字是javascript当中非常重要的关键字，该操作符指定要计算或运行一个表达式，但是不返回值。语法格式：void func()void(func())实例1　　当点击超级链接时，什么都不发生<!-- 1.当用户链接时，void(0)计算为0,用户点击不会发生任何效果 --> <a href="javascript:void(0

原创 Dropout判断可以抵抗过拟合的方法

DropoutLR=0.5model = Net()mse_loss = nn.CrossEntropyLoss()#定义优化器，设置正则化L2optimizer=optim.SGD(model.parameters(),LR,weight_decay=0.001)def train(): #调用一次，训练一个周期 model.train() # dropout 起作用 for i,data in enumerate(train_loader): #获得...

原创 Softmax激活函数

其中e1,e5,e3代表e^1 ,e^5…

原创 Docker笔记之拷贝命令

原创 ubuntu20.04卸载和安装MySQL

删除mysql1.sudo apt-get autoremove --purge mysql-server2.sudo apt-get remove mysql-common清理残留数据dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P 重新安装mysqlsudo apt-get updatesudo apt-get install mysql-server //服务端sudo apt-get install

原创 Docker安装redis

取最新版的 Redis 镜像这里我们拉取官方的最新版本的镜像：$ docker pull redis:latest3、查看本地镜像使用以下命令来查看是否已安装了 redis：$ docker images在上图中可以看到我们已经安装了最新版本（latest）的 redis 镜像。4、运行容器安装完成后，我们可以使用以下命令来运行 redis 容器：$ docker run -itd --name redis-test -p 6379:6379 redis参数说明：-p 637

原创 DockerFile创建Python，并指定运行的路径

通过 Dockerfile 构建创建 Dockerfile首先，创建目录 python，用于存放后面的相关东西。runoob@runoob:~$ mkdir -p ~/python ~/python/myappmyapp 目录将映射为 python 容器配置的应用目录。进入创建的 python 目录，创建 Dockerfile。FROM buildpack-deps:jessie# remove several traces of debian pythonRUN apt-get pur

原创 Docker笔记之安装mysql

1、拉取 MySQL 镜像这里我们拉取官方的最新版本的镜像：$ docker pull mysql:latest2、运行容器安装完成后，我们可以使用以下命令来运行 mysql 容器：$ docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql参数说明：-p 3306:3306 ：映射容器服务的 3306 端口到宿主机的 3306 端口，外部主机可以直接通过 宿主机ip:3306 访问