m0_38053092的博客

原创 springboot文件上传与下载实现

package com.neusoft.learn_sp.utils.file_tranfer;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import org.springframework.http.MediaType;import org.springframework.web.bind.annotation.RequestMapping;import org.springfr

原创 python subprocess调用shell脚本，端口无法关闭（已解决）

参考：import osimport timeimport subprocess try: job_process = subprocess.Popen(args=["test.sh", param1], close_fds=True)except: print 'job_process error' time.sleep(3)try: job_process.terminate() passexcept: print 'error'print

原创 k8s微服务架构图

原创 跨hadoop集群hive表迁移

步骤一：在源机器（待迁移集群）执行show create table tables1;（1）查看hive表信息（2）查看该表路径信息： /user/hive/warehouse/abc.db/tables1步骤二：在源机器（待迁移集群）执行hadoop distcp hdfs://hadoop9:8020/user/hive/warehouse/abc.db/tables1 hdfs://ipaddress/apps/hive/warehouse/abc.db/tables1 ipaddre

原创 keras模型训练 + .h5转变可部署.pb

核对环境：tensorflow版本： 2.0.1keras版本: 2.3.1数据集文件夹结构：模型训练：# -*- coding: utf-8 -*-"""Created on Sat Jun 6 14:28:50 2020@author: USER"""from __future__ import absolute_import,division,print_function,unicode_literalsimport tensorflow as tffrom tenso

原创 区域卷积神经⽹络（R-CNN）系列

R-CNNR-CNN ⾸先对图像选取若⼲提议区域（例如锚框也是⼀种选取⽅法）并标注它们的类别和边界框（例如偏移量）R-CNN 主要由以下四步构成：（1） 对输⼊图像使⽤选择性搜索（selective search）来选取多个⾼质量的提议区域；（2） 选取⼀个预训练的卷积神经⽹络，并将其在输出层之前截断。将每个提议区域变形为⽹络需要的输⼊尺⼨，并通过前向计算输出抽取的提议区域特征；（3） 将每个提议区域的特征连同其标注的类别作为⼀个样本，训练多个⽀持向量机对⽬标分类。其中每个⽀持向量机⽤来判断样本

原创 迁移学习：微调

场景：假设我们想从图像中识别不同种类的椅子，然后将购买链接推荐给用户，一种可能的方法是：（1） 先找出100中常见的椅子，然后对椅子从各个角度进行拍照；（2） 通过该数据集训练一个深度学习模型；然而这个数据集的规模会远远小于imageNet样本数，这种情况下会导致适用于ImageNet的模型在现有的数据集上出现过拟合现象，同时由于训练数据集有限，最终得到的模型的精度也不会达到实用的要求，为了解决上述问题，有以下方法：（1） 扩充数据集，成本太贵（2） 迁移学习：从源数据集上学到的知识迁移到目标数

原创 卷积神经网络(多输入通道与多输出通道)

多输入通道：当输入数据含有多个通道时，我们需要构造一个输入通道数与输入数据通道数相同的卷积核，从而能够与含有多个输入数据做互相关运算。例如：阴影部分第一个元素及其计算所使用的输入和核数组元素：多输出通道：通过1乘1卷积核来调整网络层之间的通道数，并控制模型的复杂度。...

原创 关于matplotlib模块常用的可视化功能模块整理

为了让人更加清晰深入的了解数据，在数据分析中经常会涉及到数据可视化操作，之前就是用到了随便网上找找，并没有形成一个完整的概念，现在利用少有的时间整理一下数据可视化常用的工具。箱型图data = np.random.normal(size=(100, 4), loc=0.0, scale=1.0)labels = ['A','B','C','D']plt.boxplot(data, labels=labels)plt.show()能力分布图plt.style.use('ggplot')#

原创 shell+python解析.json文件

sample.json{ "secondJudgeRuleId": "202002171519149514,202002171521006374,202002171523189362", "ruleCategory": 1, "optUser": "admin", "requestFilePath": "/home1/test", "ruleStatus": 1, "algolId": "1101", "providerId": 1, "ruleDesc": "规则A",

原创 windows10 anaconda配置代理

修改文件: C:\Users\USER.condarcchannels: - http://mirrors.ustc.edu.cn/anaconda/pkgs/free/ - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/show_channel_urls: trueallow_other_ch

原创 optimizer 性能对比

在线性回归或者监督学习中，我们会计算预测值与真实值之间的差距，也就是loss。在计算得出loss之后，通常会使用Optimizer对所构造的数学模型/网络模型进行参数优化，通常情况下，优化的最终目的是使得loss趋向于最小。下面是几种Optimizer模型参数优化算法对比：...

原创 pandas dataframe 行条件处理

dataframe.ix[dataframe['原始结果'].str.contains('已处置'), ['处置结果']] = '处置'

原创 对图片md5加密实现

import org.apache.commons.io.FileUtils;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.math.BigInteger;import java.nio.MappedByteBuffer;import java.nio.channels.FileChan

原创 python 连接 oracle及mysql

# coding:utf-8 from sqlalchemy import create_engine import os os.environ['NLS_LANG']= '.AL32UTF8' #数据库连接 db = create_engine('oracle://username:password@ip_address:port/databasename') conn = db...

原创 快速熟悉一个系统需要弄清的问题

原创 crontab定时调度无法执行shell脚本中python语句

问题描述：需求…不在描述。shell 脚本名 /home/abc/test.sh#！/bin/bash...python test.py...执行权限已经赋予crontab -l20 6 * * * /home/abc/test.sh 无法执行脚本中的python命令，然而手动可以执行。问题原因：crontab 不会加载path环境变量，所以手动的加载。解决办法：...

原创 python logging日志

# coding=utf-8import logginglogger = logging.getLogger(__name__)logger.setLevel(level=logging.INFO)handler = logging.FileHandler("log.txt")handler.setLevel(logging.INFO)formatter = logging.For...

原创 Pandas将txt转变成xlsx格式

# coding=utf-8from pandas import DataFrameimport sysinput_file = sys.argv[1] # 输入文件output_file = sys.argv[2] # 输出文件dict_data = {}with open(input_file, 'r', encoding="utf-8") as df: for ...

原创 spawn+scp命令批量传输文件

下述代码解决两个自动化过程：1> spawn scp -r 指定文件 dingbs@10.98.33.30:目标文件夹地址指定文件：不能像 ./* 加载全部数据（spawn 命令支持,单scp可以）2> 免密登录（在无法使用ssh情况）if [ `ls 待传送文件夹 | wc | awk '{print $1}'` -gt 0 ]then for f in `l...

原创 python箱图实现

下图为四分位图，又称箱图；在数据分析中经常采用箱图作为特征选取一种方式。快速解释分位图：第一四分位数(Q1)，又称“较小四分位数”，等于该样本中所有数值由小到大排列后第25%的数字。第二四分位数 (Q2)，又称“中位数”，等于该样本中所有数值由小到大排列后第50%的数字。第三四分位数 (Q3)，又称“较大四分位数”，等于该样本中所有数值由小到大排列后第75%的数字。python箱图：...

原创 python实现：json文件、csv文件和.ini文件互转

from configparser import ConfigParserimport jsondef json2csv(json_path, csv_path): """ :param json_path: json文件路径 :param csv_path: csv路径 :return: json文件转变成csv """ with open(...

原创 数据处理实用代码库分享

该机器学习工具模块本人自己编写，用于快速完成机器学习开发，降低开发代码难度，集中自己的精力优化模型，改代码仅供参考。开发语言： python机器学习框架：sklearnPython工具包：from math import logfrom scipy import statsfrom sklearn.metrics import confusion_matriximport itert...

原创 通俗易懂的 k8s小漫画

** 耐心仔细欣赏k8s风景吧！**祝各位，旅途愉快！

原创 kubeflow(v0.7.0)卸载报错

报错信息：message: ‘Internal error occurred: failed calling webhook “inferenceservice.kfserving-webhook-server.pod-mutator”:Post https://kfserving-webhook-server-service.kubeflow.svc:443/mutate-pods?time...

原创 yaml语法

YAML基础YAML是专门用来写配置文件的语言，非常简洁和强大，相比JSON格式它更易读易写。基本语法规则大小写敏感使用缩进表示层级关系缩进时不允许使用Tab键，只允许使用空格缩进的空格数目不重要，只要相同层级的元素左侧对齐即可#号表示注释，从这个字符一直到行尾，都会被解析器忽略支持三种数据结构对象：键值对的集合，又称为映射（mapping）/ 哈希（hashes） / 字...

转载 vue2.0之axios使用详解

axios基于 Promise 的 HTTP 请求客户端，可同时在浏览器和 node.js 中使用功能特性在浏览器中发送 XMLHttpRequests 请求在 node.js 中发送 http请求支持 Promise API拦截请求和响应转换请求和响应数据自动转换 JSON 数据客户端支持保护安全免受 XSRF 攻击浏览器支持Browser Matrix安装使用 bow...

原创 vue 组件生命周期

vue组件生命周期函数：

原创 vuex架构（非常清晰理解vuex的工作流程）

转载 三维计算视觉研究

文章转载于https://www.cnblogs.com/yhlx125/p/4952522.html三维计算视觉研究内容包括：1）三维匹配：两帧或者多帧点云数据之间的匹配，因为激光扫描光束受物体遮挡的原因，不可能通过一次扫描完成对整个物体的三维点云的获取。因此需要从不同的位置和角度对物体进行扫描。三维匹配的目的就是把相邻扫描的点云数据拼接在一起。三维匹配重点关注匹配算法，常用的算法有最近点迭...

原创 html与css知识图谱

转载 vue通信、传值的多种方式

文章转至https://blog.csdn.net/qq_35430000/article/details/79291287一、通过路由带参数进行传值①两个组件 A和B,A组件通过query把orderId传递给B组件（触发事件可以是点击事件、钩子函数等）this.router.push(path:′/conponentsB′,query:orderId:123)//跳转到B②在B组件中获取...

原创 协议汇总概览

原创 UDP-协议程序流程

原创 TCP-网络程序原理全貌

原创 hive基础知识点总结

数据仓库：是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业或组织的决策分析处理。OLTP应用联机事务处理，关注的是事物的处理，典型的OLTP应用是银行转账，一般操作频率会比较高；OLAP应用联机分析处理，主要面向的是查询，典型的OLAP应用是商品推荐系统，一般不会做删除和更新，数据一般都是历史数据。数据仓库中的数据模型：星型模型和雪花模型。星型模...

原创 linux环境下Julia安装

julia是一个新型的语言，它高性能、使用简单、面向广大的开发者。这注定了我们将会在适当的时候使用它来开发各种东西。比如深度学习之类各种框架。julia优势: 可调用 C/Python 库； 类似 matlab 和 python 的语法，与python同样高效； 接近于 C++ 的性能； 支持多并发，分布式，并且开源；linux环境Julia 0.6.4安装：地址: (http...

原创 python 正则表达式

python正则表达式：import re\ ： 转义字符. ： 匹配任意一个字符（处理\n）[...] ： 匹配字符集中的任何一个字符\d/\D ： 匹配数字/非数字\s/\S ： 匹配空白/非空白字符\w/\W ： 匹配单词字符[a-zA-Z0-9]/非单词字符* ： 匹配前一个字符0次或者无限次+ ...

原创 centos 上安装 vagrant

第1步：在CentOS 7上安装VirtualBox 5.1尽管在www.howtoing.com上有几个关于安装virtualBox的教程（例如， 在CentOS 7上安装VirtualBox ），但是，我将很快通过virtualbox 5.1安装。首先安装VirtualBox依赖项。#yum -y install gcc dkms make qt libgomp patch #yum...

原创 部署MiniKF（kubeflow）

环境需求：12GB RAM2 CPUs50GB disk space试用的操作系统： Linux macOS Windows前期准备：安装 Vagrant安装 Virtual Boxhttps://blog.csdn.net/u011781521/article/details/80275212MiniKF安装： vagrant ini...