2020年07月_Dove_1234

原创二、物联网大数据之数据挖掘--数据挖掘的流程

1.数据挖掘一般流程1.1 业务需求分析业务需求分析是机器学习算法工程的第一步，是整个项目的基础，也是整个流程当中最重要的环节，主要体现在以下几个方面：业务是否适合用机器学习算法来解决。业务目标是否明确，是否单一，是否有其他关联目标。业务目标的主次关系，因果关系，流程关系。业务承担对象。1.2 获取数据获取数据：获取业务相关数据，用于机器学习项目建模，训练，调参，优化等。本地存储数据html页面数据爬虫数据数据库数据集群数据各类数据格式数据1.3 数据预处理数据预处

2020-07-31 16:44:34 1138

原创一、物联网大数据之数据挖掘--数据挖掘的定义

了解什么是数据挖掘什么是数据挖掘？数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、潜在的、有价值的信息的过程。数据挖掘又称为数据库中的知识发现（KDD：Knowledge Discovery inDatabase），实际上数据挖掘是知识发现过程的一个基本步骤。知识发现[外链图片转存失败,源站可能有防盗在这里插入!链机制,建描述]议将图片上https://传(imblogLdnimg.cn/20200731tJsV155546101

2020-07-31 16:09:10 1695

原创【每天更新一个linux命令】ps、top、kill 查看\动态查看\杀掉进程命令

1.ps 命令ps命令示例一——不带参数[user1@server2 ~]$ ps功能：查询在当前控制台上运行的进程。ps命令示例二——查看所有进程 [user1@server2 ~]$ ps -aux功能：查询系统中所有运行的进程，包括后台进程，其中：参数a 是所有进程，参数x 包括不占用控制台的进程，参数u 显示用户ps命令示例三——查看所有进程[user1@server2 ~]$ ps -ef功能：查询系统中所有运行的进程，包括后台进程，而且可以显示出每个进程的父进

2020-07-31 11:55:46 400

原创【每天更新一个linux命令】ls -l 长格式输出文件详情

# ls -l --长格式输出文件详情[user1@server1 ~]$ ls -ldrwxrwxr-x 2 user1 user14096 Aug 17 09:10 abc-rw-r--r-- 1 user1 user117 Aug 17 09:04 host.conf-rw-r--r-- 1 user1 user138450 Aug 17 09:04 php.in其中，参数-l 的功能是：以长格式列表输出指定目录中的文件清单。解释长格式输出

2020-07-30 09:06:56 2175

原创八、Docker核心技术之仓库

1.Docker 仓库简介1.1 什么是Docker仓库Docker仓库就是存放docker镜像并有docker pull方法下载的云环境Docker仓库分为公有仓库和私有仓库。公有仓库指Docker Hub(官方)等开放给用户使用、允许用户管理镜像。私有仓库指由用户自行搭建的存放镜像的云环境。2.Docker 私有仓库搭建2.1 搭建无认证私有仓库**第一步：**在需要搭建仓库的服务器上安装docker。**第二步：**在服务器上，从docker hub下载registry仓库

2020-07-29 23:28:25 149

原创七、Docker核心技术之数据管理

1.Docker 数据卷简介1.1 为什么用数据卷宿主机无法直接访问容器中的文件容器中的文件没有持久化，导致容器删除后，文件数据也随之消失容器之间也无法直接访问互相的文件为解决这些问题，docker加入了数据卷(volumes)机制，能很好解决上面问题，以实现：容器与主机之间、容器与容器之间共享文件容器中数据的持久化将容器中的数据备份、迁移、恢复等1.2 数据卷的特点数据卷存在于宿主机的文件系统中，独立于容器，和容器的生命周期是分离的。数据卷可以目录也可以是文件，容器可以利用数据

2020-07-29 23:06:43 171

原创六、Docker核心技术之网络管理

1.Docker 网络管理简介1.1 为什么需要Docker网络管理容器的网络默认与宿主机、与其他容器都是相互隔离。容器中可以运行一些网络应用(如nginx、web应用、数据库等)，如果要让外部也可以访问这些容器内运行的网络应用，那么就需要配置网络来实现。有可能有的需求下，容器不想让它的网络与宿主机、与其他容器隔离。有可能有的需求下，容器根本不需要网络。有可能有的需求下，容器需要更高的定制化网络（如定制特殊的集群网络、定制容器间的局域网）。有可能有的需求下，容器数量特别多，体量很大的一系列容

2020-07-29 22:55:09 122

转载 Docker网络代理设置

背景在一些实验室环境，服务器没有直接连接外网的权限，需要通过网络代理。我们通常会将网络代理直接配置在/etc/environment、/etc/profile之类的配置文件中，这对于大部分操作都是可行的。然而，docker命令却使用不了这些代理。比如docker pull时需要从外网下载镜像，就会出现如下错误：$ docker pull hello-worldUnable to find image 'hello-world:latest' locallyPulling repository do

2020-07-29 11:53:34 1259

转载 docker 设置国内镜像源

创建或修改 /etc/docker/daemon.json 文件，修改为如下形式# vi /etc/docker/daemon.json{ "registry-mirrors": ["http://hub-mirror.c.163.com"]}systemctl restart docker.service国内加速地址有：Docker中国区官方镜像https://registry.docker-cn.com网易http://hub-mirror.c.163.comustc-中国

2020-07-29 11:29:25 512

原创 linux代理设置&apt-get代理设置

一、Ubuntu的apt-get代理设置1.环境变量方法设置环境变量，下面是临时设置export http_proxy=http://127.0.0.1:8000sudo apt-get update2.设置apt-get的配置修改/etc/apt/apt.conf（或者/etc/envrionment），增加Acquire::http::proxy "http://10.251.210.xx:808/";Acquire::ftp::proxy "ftp://10.251.210.xx:8

2020-07-29 10:03:46 5282

转载一、＜a＞标签如何实现下载

实习期间负责的第一个项目：广东互联网协会官网。其中有一个很常见的功能----点击下载。页面截图在此之前，我所认识的<a>标签只是用于页面跳转的，实现文件下载是如何做到的呢？答案是：使用href与download属性<a href="http://image.gdis.cn/files/201809171147055.doc" download="协会团体会员入会申请表"></a>关于兼容性问题：我在Chrome 68.0、O...

2020-07-29 09:13:30 2993

原创五、Docker核心技术之容器与镜像

1.Docker的容器与镜像1.1 Docker容器与镜像的关系1.2 容器提交 – docker commit作用：根据容器生成一个新的镜像命令格式：docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]命令参数(OPTIONS)：-a, --author string 作者-c, --change list 为创建的镜像加入Dockerfile命令-m, --message string 提交信

2020-07-28 10:43:49 104

转载使用Flask-SocketIO完成服务端和客户端的双向通信

介绍：flask-socketio模块实际上是封装了flask对websocket的支持，websocket在连接建立阶段是通过HTTP的握手方式进行的，这可以看做是为了兼容浏览器或者使用一些现成的功能来实现，这样一种捷径。当连接建立之后，客户端和服务端之间就不再进行HTTP通信了，所有信息交互都由websocket接管。Flask-SocketIO使Flask应用程序可以访问客户端和服务器之间的低延迟双向通信，使客户端建立与服务器的永久连接。适用的场景：后台产生新的数据，需要在前台页面马上展示出...

2020-07-27 13:55:22 1424

转载使用py 和flask 实现的服务器系统目录浏览，日志文件实时显示到网页的功能

看日志希望带有彩色，希望从浏览器上看到，不用连到机器上看。浏览系统的文件夹，scan + 系统文件夹的层级名字当做url路由，可以深层次看到机器上任何层级的文件夹，实现系统文件夹浏览下载。如果是点击文件夹进入子目录。如果是点击文件，尝试以文本格式读取文件，并以实时更新的方式显示到浏览器日志控制台并加彩。主要是要做到不遗漏推送日志和不重复推送日志，采用的是python 操作文件的seek和tell。浏览系统目录和下载文件的页面查看实时日志更新的页面，提供了暂停功能和自动下拉功能。把日

2020-07-24 16:21:37 1710

原创 html折叠框实现【查看】&【收起】转换

折叠框html实现 <div class="panel-group" id="accordion"> <div class="panel panel-default" style="padding-bottom:10px"> <div class="panel-heading"> <h4 class="pane

2020-07-24 09:20:38 1377

原创解决bootstrap-table只能被调用一次的问题

问题：通过设置查询条件，触发bootstrap-table ajax后端请求后，再次触发不再进行请求原因：应该是，ajaxQuest检测到有表格数据存在，不再进行数据请求解决方案：在初始化table之前，要将table销毁，否则会保留上次加载的内容$("#table").bootstrapTable(‘destroy’);注意：表格id容易忘记替换，需要检查...

2020-07-23 10:29:03 655

转载 BootStrap-Table参数、事件、方法

表格参数名称标签类型默认描述 - data-toggle String 'table' 不用写 JavaScript 直接启用表格。 classes data-classes String 'table table-hover' 表格的类名称。默认情况下，表格是有边框的，你可以添加 'table-no-bordered' 来删除表格的边框样式。 sortClass data-sort-class..

2020-07-23 10:20:27 496

转载 PyCharm实现远程调试代码

pycharm是一个非常强大的python开发工具，现在很多代码最终在线上跑的环境都是linux，而开发环境可能还是windows下开发，这就需要经常在linux上进行调试，或者在linux对代码进行编写，而pycharm提供了非常便捷的方式。具体实现在windows上远程linux开发和调试的代码步骤如下：（必须是professional版本）步骤1：本地和远程同步步骤二：配置Project Interpreter（使用远程的Python解释器）步骤三：设置Terminal运行的Python版本步

2020-07-21 14:00:19 1063 2

原创四、Docker核心技术之容器

1.容器简介1.1 什么是容器容器（Container）：容器是一种轻量级、可移植、并将应用程序进行的打包的技术，使应用程序可以在几乎任何地方以相同的方式运行Docker将镜像文件运行起来后，产生的对象就是容器。容器相当于是镜像运行起来的一个实例。容器具备一定的生命周期。另外，可以借助docker ps命令查看运行的容器，如同在linux上利用ps命令查看运行着的进程那样。容器与虚拟机容器生命周期容器生命周期管理容器信息查看容器运行时操作容器总结...

2020-07-21 09:36:56 114

转载 pycharm 远程调试上传 helpers 卡住解决

公司开发环境跑在linux上，用了一周都没问题，突然今天无法使用了，具体表现就是一打开pycharm，同步远程解释器就卡在上传helper文件之处，折腾一上午加一中午，用这个方法解决了，写下来避免其他人入坑！解决：pycharm安装文件夹下例如C:\Program Files\JetBrains\PyCharm 2017.2.3这里面找到并且删掉skeletons文件夹，重新启动再配置远程环境就好了...

2020-07-20 17:36:46 1837 1

转载 HTML中jquery控制button按钮可点击、不可点击

1.首先来说button按钮不可点击1.1第一种（html代码中控制）<button id="button_id" disabled="disabled">按钮不可点击</button>1.2第二种（jquery控制）$("#button_id").attr('disabled',true);2.按钮可点击2.1第一种（html代码中控制，默认）<button id="button_id">按钮可点击</button>.

2020-07-20 17:15:04 591

转载关于Docker时的权限问题解决dial unix /var/run/docker.sock: connect: `permission denied`

Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.40/version: dial unix /var/run/docker.sock: connect: permission denied解决方案1: 在docker命令前加sudo解决方案2: ...

2020-07-20 12:11:08 2592

原创三、Docker核心技术之镜像

目录1.镜像简介2.镜像管理2.1 镜像搜索 - docker search2.2 镜像查看 - docker images/docker image ls2.3 镜像下载 - docker pull2.4 镜像删除 - docker rmi/docker image rm2.5 镜像保存备份 – docker save2.6 镜像删除 - docker rmi/docker image rm2.7 镜像备份导入 - docker load2.8 镜像重命名 – do

2020-07-20 11:53:37 114

原创二、Docker版本与安装介绍

Docker-CE 和 Docker-EEDocker-CE指Docker社区版，由社区维护和提供技术支持，为免费版本，适合个人开发人员和小团队使用。 Docker-EE指Docker企业版，为收费版本，由售后团队和技术团队提供技术支持，专为企业开发和IT团队而设计。相比Docker-EE，增加一些额外功能，更重要的是提供了更安全的保障。此外，Docker的发布版本分为Stable版和Edge版，区别在于前者是按季度发布的稳定版(发布慢)，后者是按月发布的边缘版(发布快)。通常情况下，Do

2020-07-20 11:07:38 340

原创一、Docker概览

1.Docker 简介1.1 什么是Docker?Docker是开发，运行和部署应用程序的开放管理平台。开发人员能利用docker 开发和运行应用程序运维人员能利用docker 部署和管理应用程序1.2 Docker平台介绍 (The Docker platform)Docker提供了【在一个完全隔离的环境中打包和运行应用程序的】能力，这个隔离的环境被称为容器。由于容器的隔离性和安全性，因此可以在一个主机(宿主机)上同时运行多个相互隔离的容器，互不干预。 Docke..

2020-07-19 23:27:33 365

原创 input 长度随内容长度自动变化

<input name="pro2" type="text" id="pro2" value=""onKeyDown="if(this.value.length>this.size)this.size=this.value.length+2" />

2020-07-17 16:02:17 1850

转载 Python logging浅尝（将log同时输出到Console和日志文件）

先贴上logger/handler/formatter/filter的用处（来源见参考中链接）：Loggers expose the interface that application code directly uses.Handlers send the log records (created by loggers) to the appropriate destination.Filters provide a finer grained facility for determining w

2020-07-13 16:16:29 1436

转载只需10分钟！就能用Flask，Docker和Jenkins部署机器学习模型

在生产环境中部署机器学习模型是数据工程中经常被忽视的领域。网上的大多数教程/博客都侧重于构建、训练和调整机器学习模型。如果它不能用于实际的预测，那么它又有什么用呢？接下来了解一下有哪些部署选项吧：评估选项在生产中部署机器学习模型时，有多种选择。其中一种流行的方法是使用Azure Machine Learning Studio等云服务设计和训练模型，这些服务具有使用拖放工具构建和训练模型的能力。此外，将这些模型作为Web服务发布只需点击几下即可。此类设置的附加优势在于，该部署会随着应用程序使用量的增加而.

2020-07-11 11:50:14 353

转载 Python logging 库的『完整教程』

前言本文的标题是『完整』。所谓『完整』，大意是想表达：提炼出一组最小的经验组合，并且能够快速应用于工程中，能 work，甚至能完美地 work。这篇文章就是想要做到『如何能完美地work』。初衷最原始的初衷就是：『现在的，是不完美的，不系统的』。一是：Python 官方对 logging 这个库的使用，介绍得不够“ 透彻 ”。我们能在官方文档中找到关于 logging 库的有价值的东西，大概是如下几样：库文档，主要是介绍一些class，以及logging 库是如何组成的，中间穿插了一些零

2020-07-10 16:45:12 524

转载 python logging模块使用教程

简单使用#!/usr/local/bin/python# -*- coding:utf-8 -*-import logginglogging.debug('debug message')logging.info('info message')logging.warn('warn message')logging.error('error message')logging.critical('critical message') 输出：WARNING:root:warn.

2020-07-10 15:26:34 230

Dove_1234的博客