自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(334)
  • 资源 (1)
  • 论坛 (1)
  • 收藏
  • 关注

原创 gitlab集成k8s的问题

下方是k8s中的日志status: conditions: - lastTransitionTime: '2020-07-16T04:10:58Z' message: >- failing or missing response from https://10.101.30.104:4443/apis/metrics.k8s.io/v1beta1: Get https://10.101.30.104:4443/apis/metr

2020-10-12 11:49:47 106

原创 mqtt

1 Mosquittotar zxvf mosquitto-1.6.9.tar.gzcd mosquitto-1.6.9make && make installadduser mosquittocp pwfile.example pwfilecp /etc/mosquitto/mosquitto.conf.example /etc/mosquitto/mosquitto.conf# mosquitto.conf添加内容如下allow_anonymous truepasswo

2020-09-24 14:33:15 30

原创 idea关于git、mybatis的一些说明

1 插件码云,因为gitee可以免费构建自己的私有仓库通过 SVN Disconnect插件,再参考IDEA取消SVN关联,在重新分享项目,以后就不用在自己mac上面启动svn了,直接上传代码到gitee上2 idea的配置登陆码云,然后将私人令牌配置到idea中3 项目git initcd .gitvi config# 下面是config的内容[core] repositoryformatversion = 0 filemode = true bare = false

2020-09-20 10:00:21 49

原创 旺衰与分类算法

触类旁通不是一件容易的事情,很多例子都是两个指标来确定分类,因为这样可以通过二维图有个清晰的认知。这里拿八字命理中最有争议的强弱论,试试用机器学习算法看看效果如何,因为我也可以才接触算法不久,故也对算法进行说明。这里不搞什么加权,因为你怎么加权,总有争议。只按照八字中天干以及支藏天干,对日主的生助克泄耗做分析。而利用机器学习中的算法,就相对客观了多。这里1:生、2:助、3:克、4:泄、5:耗数据生成参考八字生助克泄耗数据生成1 决策树计算得到交叉熵均值和模型准确率评分,通过调参得到效果如下表所示,

2020-07-13 13:55:48 100

原创 八字生助克泄耗数据生成

八字命理旺衰是个基本问题,但也是最有争议的问题,这里的旺衰值是从各命书中搜索出来的,整理比较费劲,就不公开了,但是其他的数据生成,可参考下面的代码#!/usr/bin/python3# -*- coding:UTF-8 -*'''@auther:dzm@date:2020-07-10 11:34@description:'''import csvimport pandas as pdfrom utils.db_config import engine_dbdef get_data(e

2020-07-13 12:16:23 98

原创 spring工程dubbo docker迁移

使用当当的dubbox,也就是dubbo2.8.4版本时,我们的配置可以这样加载,一方面可以批量加载spring的配置,另一方面可以动态加载dubbo的消费端配置<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLo

2020-07-07 13:45:15 77

原创 k8s容器内部应用向eruaka注册ip问题

springboot项目部署到k8s中,发现eruaka注册是容器id,这个其他应用是无法访问的参考Spring Cloud配置ip注册找不到${spring.cloud.client.ipAddress},现在pom.xml中添加:<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-commo

2020-07-03 09:39:41 229

原创 springboot工程dubbo使用nacos作为配置中心

1 兼容dubbo配置xml的方式进展并不顺利,因为当dubbo的配置放在bootstrap.yml中是没有问题的,但是放在nacos中读取,则会提示消费的异常,这里调试ReferenceConfig发现总有一个<dubbo:registry />的配置,因为他没有指定zookeeper的注册地址,所以dubbo默认采用9090,于是就找不着了。但为何在bootstrap.yml中却没有这个异常呢?跟踪到AbstractInterfaceConfig中loadRegistries方法,执行

2020-07-02 16:49:37 887

原创 k8s中dubbo注册IP和消费的问题

在系统迁移过程要考虑到平稳过度,先将部分应用迁移到k8s上,但是发现并没有那么简单从dubbo-admin中可以看到注册服务的ip是容器组ip,如果所有应用都在k8s中自然是没有问题,但如果k8s与虚拟机中的服务相互调用,就存在问题了,因为找不到ip。参考Docker 容器内运行 Dubbo 服务,启动容器,但是dubbo中还是容器的IP,并不是主机ipdocker run --name ab99755feae7 -d -p 9010:9010 -p 21716:21716 -e Dubbo_IP

2020-06-28 10:49:27 663 1

原创 带二级页面星尘算命网的爬虫

爬虫的代码比较简单,因为没有什么反爬,我比较喜欢用PyQuery,使用起来像jquery一样方便#!/usr/bin/python3# -*- coding: utf-8 -*-import scrapyfrom pyquery import PyQuery as pqimport refrom life_example.items import LifeExampleItemclass S128Spider(scrapy.Spider): name = "s128" sta

2020-06-23 10:02:19 76

原创 安装kubeoperator

KubeOperator 2.6 官方文档,1 centos设置swap这个跟kubeoperator安装没关系,仅作记录cd /usrmkdir swapcd swap# 创建3G的文件dd if=/dev/zero of=swapfile bs=1G count=3mkswap /usr/swap/swapfilevi /etc/fstab/usr/swap/swapfile swap swap defaults 0

2020-06-12 15:32:12 212

原创 nacos替代config-server和Euraka

按照Nacos Spring Cloud 快速开始、Nacos Spring Boot 快速开始,将我之前项目依赖的config-server和Euraka替换过来,过程并不是那么顺利提示找不到配置org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'scopedTarget.druidConfig': Injection of autowired dependencies fail

2020-06-03 10:38:43 256

原创 docker与k8s部署nacos

1 mariadb安装参考ocker安装MariaDBdocker pull mariadbsudo mkdir -p /data/mariadb/data# 设置容器的3307端口映射到主机3306端口docker run --name mariadb -p 3307:3306 -e MYSQL_ROOT_PASSWORD=000000 -v /data/mariadb/data:/var/lib/mysql -d mariadb# 7481d6bdd2de为mariadb的容器id,如下图所

2020-06-02 10:34:56 547

原创 opencv预处理图像

1 改变图像大小标题看起来了简单,但是改变图像大小却对小目标的检测有利。cv2中CV_INTER_NN、CV_INTER_LINEAR 、CV_INTER_AREA、CV_INTER_CUBIC到底什么条件用什么呢?查看opencv文档INTER_AREA - resampling using pixel area relation. It may be a preferred method ...

2020-01-17 16:44:41 134

原创 fabric工程化

一个小时带你用 Hyperledger Fabric开发一个Demo,看这篇文章写一个fabric的demo应该很快,但是将fabric工程化考虑的因素就比较多了。看一下他的demo源码进入到startFabric.sh,不禁要问,如果有6个组织,那么这个脚本岂不是要写6个,再增加组织怎么办呢?实际工程化,就不是demo那么简单了。#install chaincode on peer0doc...

2020-01-10 15:52:25 133

原创 HyperLedger Fabric成员管理

1 成员管理Hyperledger Fabric架构详解,这篇文章有很多图,直觉告诉我,应为fabric区别与公有链在于交易的隐私性,那么成员安全管理,也就成了核心问题了,只要搞清楚了fabric各个参与方在每个环节中的角色,就知道怎么玩转fabric了。1.1 证书生成蜗牛讲-fabric原理之证书生成,虽然告诉我们怎么生成证书,但是思考org到底在业务上是什么才是重点。执行crypto...

2020-01-08 14:26:18 404

原创 HyperLedger Fabric基础笔记

没办法,公司要搞区块链,又把他捡起了,忘了好久了。1 基本算法1.1 PBFT拜占庭容错算法(Practical Byzantine Fault Tolerance),拜占庭共识算法这篇的推理最为简单,假设R为安全节点,E为不安全节点,投票数为PE=0,P<R,都可以得到结果E=0,P<R,都可以得到结果E=0,P<R,都可以得到结果R/2同意,R/2反对,P>...

2019-12-27 15:49:55 282

原创 TensorFlow学习笔记

5 问题集5.1 RuntimeError: Error copying tensor to deviceRuntimeError: Error copying tensor to device: /job:localhost/replica:0/task:0/device:GPU:0. /job:localhost/replica:0/task:0/device:GPU:0 unknown...

2019-11-21 13:19:16 1230

原创 opencv处理图像笔记

示例参考[OpenCV-Python] OpenCV 核心操作 部分 III1 roi提取感兴趣区域,``import cv2import numpy as npfrom matplotlib import pyplot as plt# cv2读入的是BGR格式img = cv2.imread('test.jpg')# 注意H*W,第一个参数为高度,y方向的阈值,第二个参数为宽度,...

2019-11-12 15:22:19 89

原创 python 数据预处理1

通过Tushare或者Tushare pro获取股票清单,但是有3707家企业,怎么挑选股票,我自己瞎琢磨。1 根据各板块选择龙头股票mysql分组排序取最大、最小、最新、前N条记录select st1.code,st1.name,sb1.industry,st1.mktcap,sb1.market,st1.trade,st1.per,st1.pbfrom stock_today st1...

2019-11-08 14:43:30 69

原创 ORC CRNN

【OCR技术系列之一】字符识别技术总览,从前辈的文章我看到,印刷过程中字体很可能变得断裂或者墨水粘连,那么通过什么样的技术解决此问题呢?OCR技术系列之二】文字定位与切割,现在的技术还需要将每一个字符从图片中切割下来吗?采用end-to-end的方式,就不用那么麻烦了。AI学习笔记——End-to-End(端到端)的深度学习,正因为end-to-end不需要,所以他需要大量的训练样本。2 图...

2019-11-04 13:52:12 74

原创 pytorch RCNN笔记

深度学习的演进并不是跳跃性的,都是不断优化,所以学习新的模式中总需要回头看看到底为什么会产生。1 SPP 空间金字塔池化SPP(Spatial Pyramid Pooling)详解,不同尺寸的图像尺寸如何输出相同大小的图像呢,裁剪或拉伸,原始图像就会扭曲,因为图像的纵横比改变了。SPP正式为解决此问题。SPP空间金字塔池化(Spatial Pyramid Pooling)...

2019-11-01 16:58:38 118

原创 pytorch Vgg16笔记

原本想直接跳过VGG,直接到PSEnet,但面试遇到很多使用VGG16的,于是静下心看看VGG网络到底是什么样的。1 卷积核又叫滤波器filter,在pytorch 卷积神经网络笔记,我已经写出了卷积计算的公式,但是卷积核的大小是多少呢?先看看卷积神经网络VGG16这么简单,为什么没人能说清? ,这里说卷积核一般用3*3.可是为什么呢?为什么倾向于使用3*3 小卷积核堆叠代替大卷积核像素八...

2019-10-31 11:04:51 215

原创 pytorch FPN框架

FPN全解-最全最详细,我接触目标检测,直接就到FPN了,所以不了解历史。就人的第一反映,可以想象,的确早期的目标检测算法是基于顶层的特征信息,因为顶层的特征语义丰富,但是位置发而粗糙,因为它不一定是最佳边界。而底层的特征语义少,但位置信息反而精确了。我们一开始接触就知道应该用全量特征分析,故此FPN更符合机器学习的逻辑。1.1 上采样图像的上采样(upsampling)与下采样(subsam...

2019-10-30 16:49:53 773 1

原创 Rsenet残差网络笔记

1 NVIDIA驱动我的操作系统是18.04,NVIDIA官网按照Ubuntu安装Nvidia驱动,我从官方网站中下载安装包,但执行./NVIDIA-Linux-x86_64-430.50.run --no-opengl-file,提示异常信息./nvidia-installer: unrecognized option: "--no-opengl-file"ERROR: Invalid c...

2019-10-29 13:54:52 280

原创 pytorch 卷积神经网络笔记

pytorch 神经网络基本笔记中描述了神经网络中计算逻辑是什么,下面的例子来自官方,可以运行在cpu上。今天开始了解卷积神经网络是什么。# 1. 将数据加载到numpy数组里,然后将数组专程torch.*Tensor# 1.1 对于图片,有Pillow,OpenCV等包可以使用# 1.2 对于音频,有scipy和librosa等包可以使用# 1.3 对于文本,不管是原生的python还是...

2019-10-25 14:28:03 132

原创 pytorch 神经网络基本笔记

我从今天开始学pytorch,照着训练分类器官方用例来写。1 数学知识1.1 交叉熵损失1.1.1 log2(x)从下图可以看到x在0~1之间,x越小,那么y值越大import numpy as npimport mathimport matplotlib.pyplot as plt# axisartist包就用来设置坐标轴的类型import mpl_toolkits.axis...

2019-10-24 16:40:00 235

原创 python结合线性代数解决小学奥数问题

因为我的记忆力不好,还得辅导儿子的小学奥数,面对好多“脚”的问题,学了线性代数后根本就不用动脑筋,“两个动物”的通过克拉默法则一下就出来,“三个动物”以上的通过高斯变换就计算出来,都不用思考,于是对线性代数使用python的技术进行总结归纳,为了好玩,也会熟练掌握numpy,以便在神经网络中找到线性代数的身影1 nump中矩阵运算1.1 array和matrixarray的乘法,与矩阵的乘法...

2019-10-22 13:31:36 118

原创 hbase跨机房同步

两边hbase版本均是1.1.4,通过vpn实现两个hbase集群之间的数据同步hbase通过命令看数据,太繁琐,可以hbaseclient参考 HBase备份还原OpenTSDB数据之Snapshot1 创建快照hbase shellsnapshot 'your_table_snapshot',’your_table'2 在另一个集群中快照中恢复数据执行命令可以查看快照清单[r...

2019-09-26 11:48:38 348

原创 orace数据库生产环境操作实录

最近在做一次大批量数据库同步的工作,因为很久没有弄oracle了,遇到了较大困难,客户又催的比较紧,这里再捡一下。1 基础Oracle 数据库、实例、用户、表空间、表之间的关系讲解,实例名也叫sid,一个数据库可以有多个实例jdbc:oracle:thin:@localhost:1521:orcl(orcl就为数据库实例名)ORACLE中SID和SERVICE_NAME的区别,SERVI...

2019-08-09 08:04:19 292

原创 第6.1.4章 spark环境配置

spark与hive部署在一台服务器上。1 hive-site.xml这里可以看到spark和hive使用的是thrift协议通讯<configuration> <property> <name>hive.metastore.uris</name> <value>thrift://bwsc79:9083,thri...

2019-07-12 14:58:45 80

原创 第2.2.3章 hadoop的管理

这个章节的名字套用的是《Hadoop权威指南》第10章的名称,按图索骥,实地看看hadoop里面有什么。1 名称节点新格式化的namenode目录结构如下:# dfs.namenode.name.dir在hdfs-site.xml中配置了路径# 这里跟书上不一样,没有 fstime目录${dfs.namenode.name.dir}/current/VERSION edits fsima...

2019-07-11 15:33:41 122

原创 第1.10章 elasticsearch优化

1 跨es集群复制在elasticsearch.yml中增加配置,在两个集群都配置上白名单reindex.remote.whitelist: ["10.101.10.58:9200","10.101.10.59:9200","10.101.10.60:9200"]其余配置参考第1.8章 elasticsearch水平扩展Elasticsearch跨集群搜索(Cross Cluster S...

2019-07-09 16:27:23 155

原创 第4.1.3章 flume写入数据到hbase中

1、环境准备1.1 flume组件开发环境flume组件依赖的jar如下:<!-- provided --> <dependency> <groupId>commons-lang</groupId> <artifactId>commons-lang</artifactId> <version&...

2019-07-08 14:24:04 436

原创 第1.3章 docker部署Eureka集群

关于Eureka的描述,可以参考Eureka简介,对Eureka和zookeeper对比,我个人觉得还是很容易看的明白的 Eureka作为服务的注册中心,即生产环境必须使用集群才能保证系统之间稳定运行...

2019-07-05 16:09:54 1112

原创 chineseocr环境准备

1、Anaconda3使用chineseocr源码,这里面用的版本是Anaconda3-2019.03-Linux-x86_64.sh执行下面的命令,参考Ubuntu18.04 安装 Anaconda3进行安装,指定安装目录cd bash Anaconda3-2019.03-Linux-x86_64.sh如果安装错了,卸载rm -rf anaconda文件夹名更改Anacond...

2019-07-01 11:47:13 1406

原创 利用requests做八字排盘的爬虫

requests爬虫需要注意请求网站的字符编码,如果是https,直接忽略就可以了。import requestsimport urllibfrom pyquery import PyQuery as pqrequests.packages.urllib3.disable_warnings()def submit_2(): params = {'name': '', 'area...

2019-06-20 13:52:51 399

原创 系统安全性和保密性设计

这个话题很大,我只是把我经历的或者说知道的,写一写,总总结,我并不是这方面的高手。1 安全基础1.1 国密算法国家商用密码定义了一系列算法,我了解到的是SM2、SM3、SM4,因为国家对一些系统有安全要求,必须通过支持这三种算法,颁布相应授权证书。国密算法(国家商用密码算法简介)。SM2是替代RSA的算法,算法流程参考图解SM2算法流程(合几个算法对比可以参见 国密算法SM1/SM2/S...

2019-06-19 14:24:59 2518

原创 第7.1.5 mongodb4.x 分片宕了

先看看mongodbmongos.log中提示的异常信息:2019-05-21T18:49:34.355+0800 I COMMAND [conn174701] command detail_links.lvdun_links command: insert { insert: "lvdun_links", ordered: true, lsid: { id: UUID("db1b9d8a-6...

2019-05-22 14:20:51 5109 5

原创 第1.9章 elasticsearch Nodes hot_threads

Nodes hot_threads,根据官方描述_nodes/hot_threads获取集群中每个节点当前热线程,我执行后的返回的结果信息很长,那么该怎么解读呢?很容易推理出,hot_threads在哪里,那么哪里就是性能优化的地方。185上面并没有热的线程与下图top监控的指标是吻合的。::: {bwhs185}{0l0BABnLTfKt4NBEI8uuUA}{V0Ycx2FaS_OUM9...

2019-04-19 15:46:25 1555 1

mybatis代码生成插件|MyBatis Generator.zip

mybatis代码生成插件

2016-09-03

warrah的留言板

发表于 2020-01-02 最后回复 2020-04-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除