weweeeeeeee的博客

转载 python打包分发工具：setuptools

python打包分发工具：setuptools

原创 [搬运]Ali Canal Prometheus QuickStart

Prometheus QuickStartlcybo edited this pageon 29 Aug 2018·3 revisionsPages38Contents 目录Home Introduction/简介 Quick Start QuickStart Docker QuickStart Canal Kafka/RocketMQ QuickStart Aliyun RDS QuickStart Prometheus QuickStart Cl...

转载 浅谈网络安全态势感知

一、基本概念前美国空军首席科学家Endsley博士给出的动态环境中态势感知的通用定义是:态势感知是感知大量的时间和空间中的环境要素，理解它们的意义，并预测它们在不久将来的状态。在这个定义中，我们可以提炼出态势感知的三个要素：感知、理解、预测。并且这三个要素存在着层次上的递进关系：感知：感知和获取环境中的重要线索和元素； 理解：整合感知到的数据和信息，分析其相关性； 预测：基于对环境信息的感知和理解，预测相关知识在未来的发展趋势。对应到网络安全领域，我们可以给网络安全态势感知一个基本

转载 [转载]手把手教你实现热更新功能，带你了解 Arthas 热更新背后的原理

手把手教你实现热更新功能，带你了解 Arthas 热更新背后的原理文章来源：studyidea.cn/java-hotswa…一、前言一天下午正在摸鱼的时候，测试小姐姐走了过来求助，说是需要改动测试环境 mock 应用。但是这个应用一时半会又找不到源代码存在何处。但是测试小姐姐的活还是一定要帮，突然想起了 Arthas 可以热更新应用代码，按照网上的步骤，反编译应用代码，加上需要改动的逻辑，最后热更新成功。对此，测试小姐姐很满意，并表示下次会少提 Bug。嘿嘿，以前一直对热更新背后原理很

原创 阿里云云效流构建DockerCompose部署流水线

原创 【Nacos源码调试】集群模式内置数据源单机多实例部署问题解决

最近对Nacos源码比较感兴趣，个人是个好奇宝宝，特别想了解一下Nacos这个阿里开源的分布式服务注册与发现及配置管理中间件内部到底是个啥样子，于是就想着自己源码编译，debug走一下试试。可选...

转载 【美团技术团队搬运】新一代垃圾回收器ZGC的探索与实践

新一代垃圾回收器ZGC的探索与实践2020年08月06日作者: 王东 王伟文章链接12996字26分钟阅读ZGC（The Z Garbage Collector）是JDK 11中推出的一款低延迟垃圾回收器，它的设计目标包括：停顿时间不超过10ms； 停顿时间不会随着堆的大小，或者活跃对象的大小而增加； 支持8MB~4TB级别的堆（未来支持16TB）。从设计目标来看，我们知道ZGC适用于大内存低延迟服务的内存管理和回收。本文主要介绍ZGC在低延时场景中的应用和卓越表现，文章内容主要分...

转载 分布式事务科普

《分布式事务科普》是我在YiQing期间整理的一篇科普型文章，内容共计两万五千字左右，应该算是涵盖了这个领域的大多数知识点。篇幅较长，遂分为上下两篇发出。上篇为《分布式事务科普——初识篇》：ACID、事务隔离级别、MySQL事务实现原理、CAP、BASE、2PC、3PC等（昨天已经发出，有需要的同学可以跳转）。下篇为《分布式事务科普——终结篇》，详细讲解分布式事务的解决方案：XA、AT、TCC、Saga、本地消息表、消息事务、最大努力通知等。分布式事务科普随着业务的快速发展、业务复杂度越来越高，传统

转载 基于GitLab的Code Review教程

一、前言1、本文主要内容GitLab Code Review机制说明 Git Workflow 与 Git Code Review Workflow GitLab Code Review 配置说明 GitLab Code Review 流程演示 GitLab For IDE 插件介绍（JetBrains等等）2、GitLab Code Review机制GitLab可以在分支合并的时候支持两种方式：在本地将源分支(Source branch)代码合并到目标分支（Target bran

原创 SLF4J你一些不知道的附加功能

SLF4J extensionsslf4j官方提供了一些附加功能，这些功能都在slf4j-ext.jar中提供，这些附加功能主要包括:Profiler 分析器：可以阶段性的记录日志，并打印出各个阶段所耗费的时间，可用于性能分析之类的； Extended logger 扩展日志：提供entry和exit方法，可以在方法开始和结束时使用，打印记录使用过扩展日志的方法，以及方法的出入参数； Event Logger 事件日志：提供异步日志支持，通过MDC进行参数传递，实现异部线程之间日志参数的传递，.

原创 MultipartConfigElement与SpringMVC中DispartcherServlet对MutipartFile的处理

MultipartConfigElementMultipartConfigElement 是 javax.servlet 包中的是 JavaEE Servlet 规范定义的标准包。该类定义了Http服务上传文件存储位置、最大文件大小、最大请求的长度javax.servlet.MultipartConfigElementpublic class MultipartConfigElement { private final String location;// = ""; p

原创 MYSQL——B-Tree索引与hash索引的比较

B-Tree索引与hash索引的比较对B-Tree索引和hash索引的数据结构的理解可以帮助我们预测，在它们索引上使用到这些数据结构的存储引擎上不同的查询是如何进行的。特别是使用MEMORY存储引擎的时候，你需要去选择使用B-Tree索引或者书hash索引。B-Tree索引的特点1、B-Tree索引可使用=, >, >=, <, <=, or BETWEEN运算符进行列值的比较。B-Tree索引也可以用于LIKE匹配，但LIKE关键字后的字符串常量必须不是以模糊字符开头.

原创 linux systemctl命令详解

笔者在前文中概要的介绍了 systemd 的基本概念和主要特点。由于 systemd 相关的绝大多数任务都是通过 systemctl 命令管理的，所以本文将集中的介绍 systemctl 命令的用法。注意，本文以 ubuntu 16.04 进行介绍，文中所有的 demo 都在 ubuntu 16.04 中完成。systemctl 命令有两大类功能：控制 systemd 系统 管理系统上运...

转载 Tensorflow不同版本要求与CUDA及CUDNN版本对应关系

参考官网地址：Windows端：https://tensorflow.google.cn/install/source_windowsCPUVersion Python version Compiler Build toolstensorflow-1.11.0 3.5-3.6 MSVC 2015 update 3 Cmake v3.6.3tenso...

转载 阿里云对象存储 OSS ＞ 数据处理 ＞ 图片处理指南 ＞ 图片缩放

图片缩放更新时间：2019-06-27 10:12:31编辑我的收藏本页目录图片缩放参数 图片缩放注意事项 图片缩放示例 SDK 示例阿里云OSS的图片处理功能支持处理上传至OSS的图片文件，本文主要介绍如何进行图片缩放。说明图片处理支持的格式：jpg、png、bmp、gif、webp、tiff。图片缩放参数操作名称：resize指定宽高缩放 名...

转载 HTTP协议和WebSocket协议（二）(转载)

HTTP协议和WebSocket协议（二）WebSocketWebSocket协议还很年轻，RFC文档相比HTTP的发布时间也很短，它的诞生是为了创建一种「双向通信」的协议，来作为HTTP协议的一个替代者。那么首先看一下它和HTTP（或者HTTP的长连接）的区别。为什么要用 WebSocket 来替代 HTTP上一篇中提到WebSocket的目的就是解决网络传输中的双向通信的问题，HTTP1.1默认使用持久连接（persistent connection），在一个TCP连接上也可以传输多个R

转载 使用Minikube部署本地Kubernetes集群 

前言 使用Minikube部署本地k8s集群相对比较简单，非常推荐将其用于本地k8s开发环境，唯一麻烦点的仅仅是网络问题。在本篇教程中，我们使用了国内的镜像来完成本地k8s集群的搭建。如果搭建过程中出现错误，建议使用minikube delete之后再重新搭建。目录使用Minikube部署本地Kubernetes集群1. 什么是Kuberne...

原创 Linux日志log查看便捷命令

1、zcat用法：zcat [fileName]|grep --binary-files=text ['target string']示例：zcat app-12-01-*.zip|grep --binary-files=text 'xxx' -C 2|grep 'xxx'zcat命令查看一个gzip格式的压缩文件。--binary-files=text让二进制文件等...

转载 人脸识别网络facenet原理

人脸相关任务介绍人脸相关任务其实分为两部分:人脸检测和人脸识别。人脸检测:人脸检测就是获取图像中所有人脸的位置，并对人脸进行对齐。由于原始图像中的人脸可能存在姿态、位置上的差异，我们需要在获取人脸位置后，检测人脸中的关键点，根据这些关键点将人脸统一校准，以消除姿势不同带来的误差。这方面代表性的算法是MTCNN算法。人脸识别:输入一张人脸，判断其属于人脸数据集中的哪一个人。这方面的代表算法...

转载 什么是CNN、RNN、LSTM

1.全连层每个神经元输入：每个神经元输出：（通过一个激活函数）2. RNN（Recurrent Neural Network）与传统的神经网络不通，RNN与时间有关。3. LSTM（Long Short-Term Memory 长短期记忆）...

转载 大型分布式SOA架构设计

1、概述本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。2、基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍。1）什么是分布式？系统中的多个模块在不同服务器上部署，即可称为分布式系统，如T...

转载 SpringBoot2+Mybatis多数据源切换和动态增减

MyBatis多数据源切换项目结构为：图片.png项目相关依赖pom.xml：<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId></d...

原创 MYSQLMYSQL存储过程与游标学习(二)

-- 处理试剂关联方法-- DROP PROCEDURE UpdateKitRelateMethod;DELIMITER //CREATE PROCEDURE UpdateKitRelateMethod()BEGIN DECLARE GKI INT(11) UNSIGNED; DECLARE RMI INT(11) UNSIGNED; DECLARE RMTI INT(11)...

转载 MYSQL中游标的定义与使用

仅借鉴学习创建游标首先在MySql中创建一张数据表：CREATE TABLE IF NOT EXISTS `store` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) NOT NULL, `count` int(11) NOT NULL DEFAULT '1', PRIMARY KEY (`id...

原创 pip 指定镜像不超时安装

命令pip --default-timeout=100 install --upgrade --force-reinstall -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow结果Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simpleCollecting...

转载 Spring quartz 集群模式下trigger_state error问题原因

问题描述在项目中采用了Spring quartz调度任务来执行定时任务，quartz本身是支持集群化方式的，可以配置一个数据源，quartz会在数据库中创建一系列的表，使用这些表来存储调度的信息，集群中所有的节点都访问这一个数据库，这样可以实现集群环境下的定时任务调度。但是在最近生产环境出现了这样的问题，新增的一个定时调度任务，当服务启动后，执行两次以后，该任务就不再执行了，但是其他原有...

转载 windows10下安装TensorFlow Object Detection API的步骤

目录1、下载源码后解压，修改文件夹名为models2、安装protoc：3、编译proto文件4、添加环境变量5、运行models/research下的setup.py6、安装完成测试7、执行已经训练好的模型这篇文章主要介绍了windows10下安装TensorFlow Object Detection API的步骤，小编觉得挺不错的，现在分享给大家，也给大家做个参...

转载 Running tf.slim evaluation loop on CPU

I'm trying to fine-tune a network using thetrain_image_classifier.pyTensorflow slim image classification libraryand I'd like to run in parallel an evaluation script I made changing theeval_image_c...

原创 Tensorflow VGG16 Inception_v3 图像识别学习网络模型训练记录

由于机器性能问题，训练数据波动比较大T_T才训练6k多step机器就快卡死了

原创 关于.gitignore文件使用的注意事项说明

目录1、gitignore说明2、格式规范3、glob模式4、匹配示例5、定义全局的.gitignore文件6、.gitignore规则不生效7、java开发通用模版1、gitignore说明在使用git的过程中，一般我们总会有些文件无需纳入git的管理，也不希望它们总出现在未跟踪文件列表，这些文件通常是日志文件、临时文件、编译产生的中间文件、工具自动生成的文件...

原创 使用git reset命令重置错误本地提交

目录问题1. 使用git log回退到最近提交的版本2. 回退到版本3. 修改gitignore文件提交问题应该是困扰了很久，gitignore没提前配置好，或者是有些文件没有忽略就git add。使用git rm –cached . 能删除暂缓区文件，但是重新push一次还是会有先前的文件。git rm –cached .这里我的解决·办法是版本回退：...

原创 Tensorflow CIFAR10 图像识别学习网络模型训练记录

转载 一个名为systemd-init的CPU挖矿病毒及后续

一个名为systemd-init的CPU挖矿病毒及后续作者root在安全今天接到了报警，一台内部的服务器CPU负载嗷嗷的高，感到非常的疑惑，就点进去看看负载情况CPU爆满监控诚不欺我，果然是CPU跑爆了，然后看看Command，发现都是M开头的，这肯定就是病毒了，就开始处理发现运行最长的进程PID是32336，就拿它下刀开始查发现，毛都查不到，就开始按照...

原创 InnoDB: Running in read-only mode 问题排查

排查方法1：/var/lib/mysql 文件权限设置I just encountered a similar problem on one of my production serversthis morning. (I'm still investigating the cause.) After doing aquick bit of Google-searching, thi...

转载 世界上没有技术驱动型公司

一、世界上没有技术驱动型公司世界上没有技术驱动型公司，不论google、facebook，还是腾讯、阿里，都不是技术驱动型公司。因为技术不是源头，需求才是。因此一切技术问题，都要服从产品交付和市场反馈。所以，任何公司，都不可能以技术去驱动自身。人可以以技术驱动自己进步，但公司不行。一家公司可以以技术切入某个市场，但如果它想生存下去，就一定不能以技术为导向，坚持以技术为导向的公司的生命力...

转载 DDD-领域驱动设计示例

一、DDD概述 DDD，即领域驱动设计，核心是不断提炼通用语言并用于与领域专家等团队所有成员交流，并用代码来表达出一个与通用语言一致的领域模型。 通用语言：通过团队交流达成共识的能够简单清晰准确传递业务规则的语言（可以是文字、图片等） 领域：软件系统要解决的问题域，是有边界的。领域一般包含多个子域，子域根据其功能划分为核心域、通用域、支撑域。 限界上下文：描述领...

转载 SQL 查询的执行顺序

很多 SQL 查询都是以 SELECT 开始的。不过，最近我跟别人解释什么是窗口函数，我在网上搜索”是否可以对窗口函数返回的结果进行过滤“这个问题，得出的结论是”窗口函数必须在 WHERE 和 GROUP BY 之后，所以不能”。于是我又想到了另一个问题：SQL 查询的执行顺序是怎样的？好像这个问题应该很好回答，毕竟自己已经写了上万个 SQL 查询了，有一些还很复杂。但事实是，我仍然很难确...

转载 Git标签功能实现版本发布

目录概述过程切换到需要打标签的分支上，创建一个附注标签对历史提交打标签，并查看标签详细信息发布标签误打或需要修改标签时，要先删除，再打新标签获取指定标签的代码概述内容主要​ 讲解如何使用Shell命令创建和操作Git标签，实现版本发布。通读这篇文章大概需要2分钟。Git标签简介​ Git标签（tag）可以针对某一时间点的版本做标记，常用...

转载 Jenkins插件之——git Parameter插件

一、作用 jenkins默认一个项目只能对应一个git分支来构建，通过git Parameter插件可以实现选择分支或tag来构建项目。二、安装插件 搜索git Parameter并安装。三、配置项目 General 源码管理 在Branch Specifier (blank for 'any')中输入刚...

转载 MYSQL数据库引擎介绍

数据库引擎介绍MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还可以使用MySQL+API自己做一个引擎。下面介绍几种数据库引擎： ISAM：ISAM是一个定义明确且历经...