- 博客(493)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 mqtt
1 Mosquittotar zxvf mosquitto-1.6.9.tar.gzcd mosquitto-1.6.9make && make installadduser mosquittocp pwfile.example pwfilecp /etc/mosquitto/mosquitto.conf.example /etc/mosquitto/mosquitto.conf# mosquitto.conf添加内容如下allow_anonymous truepasswo
2020-09-24 14:33:15
189
原创 旺衰与分类算法
触类旁通不是一件容易的事情，很多例子都是两个指标来确定分类，因为这样可以通过二维图有个清晰的认知。这里拿八字命理中最有争议的强弱论，试试用机器学习算法看看效果如何，因为我也可以才接触算法不久，故也对算法进行说明。这里不搞什么加权，因为你怎么加权，总有争议。只按照八字中天干以及支藏天干，对日主的生助克泄耗做分析。而利用机器学习中的算法，就相对客观了多。这里1：生、2：助、3：克、4：泄、5：耗数据生成参考八字生助克泄耗数据生成1 决策树计算得到交叉熵均值和模型准确率评分，通过调参得到效果如下表所示，
2020-07-13 13:55:48
291
原创 八字生助克泄耗数据生成
八字命理旺衰是个基本问题，但也是最有争议的问题，这里的旺衰值是从各命书中搜索出来的，整理比较费劲，就不公开了，但是其他的数据生成，可参考下面的代码#!/usr/bin/python3# -*- coding:UTF-8 -*'''@auther:dzm@date:2020-07-10 11:34@description:'''import csvimport pandas as pdfrom utils.db_config import engine_dbdef get_data(e
2020-07-13 12:16:23
490
1
原创 spring工程dubbo docker迁移
使用当当的dubbox，也就是dubbo2.8.4版本时，我们的配置可以这样加载，一方面可以批量加载spring的配置，另一方面可以动态加载dubbo的消费端配置<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLo
2020-07-07 13:45:15
327
1
原创 k8s容器内部应用向eruaka注册ip问题
springboot项目部署到k8s中，发现eruaka注册是容器id，这个其他应用是无法访问的参考Spring Cloud配置ip注册找不到${spring.cloud.client.ipAddress},现在pom.xml中添加：<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-commo
2020-07-03 09:39:41
2640
原创 springboot工程dubbo使用nacos作为配置中心
1 兼容dubbo配置xml的方式进展并不顺利，因为当dubbo的配置放在bootstrap.yml中是没有问题的，但是放在nacos中读取，则会提示消费的异常，这里调试ReferenceConfig发现总有一个<dubbo:registry />的配置，因为他没有指定zookeeper的注册地址，所以dubbo默认采用9090，于是就找不着了。但为何在bootstrap.yml中却没有这个异常呢?跟踪到AbstractInterfaceConfig中loadRegistries方法，执行
2020-07-02 16:49:37
5014
4
原创 k8s中dubbo注册IP和消费的问题
在系统迁移过程要考虑到平稳过度，先将部分应用迁移到k8s上，但是发现并没有那么简单从dubbo-admin中可以看到注册服务的ip是容器组ip，如果所有应用都在k8s中自然是没有问题，但如果k8s与虚拟机中的服务相互调用，就存在问题了，因为找不到ip。参考Docker 容器内运行 Dubbo 服务，启动容器,但是dubbo中还是容器的IP，并不是主机ipdocker run --name ab99755feae7 -d -p 9010:9010 -p 21716:21716 -e Dubbo_IP
2020-06-28 10:49:27
5484
3
原创 带二级页面星尘算命网的爬虫
爬虫的代码比较简单，因为没有什么反爬,我比较喜欢用PyQuery，使用起来像jquery一样方便#!/usr/bin/python3# -*- coding: utf-8 -*-import scrapyfrom pyquery import PyQuery as pqimport refrom life_example.items import LifeExampleItemclass S128Spider(scrapy.Spider): name = "s128" sta
2020-06-23 10:02:19
345
原创 安装kubeoperator
KubeOperator 2.6 官方文档,1 centos设置swap这个跟kubeoperator安装没关系，仅作记录cd /usrmkdir swapcd swap# 创建3G的文件dd if=/dev/zero of=swapfile bs=1G count=3mkswap /usr/swap/swapfilevi /etc/fstab/usr/swap/swapfile swap swap defaults 0
2020-06-12 15:32:12
803
原创 nacos替代config-server和Euraka
按照Nacos Spring Cloud 快速开始、Nacos Spring Boot 快速开始，将我之前项目依赖的config-server和Euraka替换过来，过程并不是那么顺利提示找不到配置org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'scopedTarget.druidConfig': Injection of autowired dependencies fail
2020-06-03 10:38:43
1360
原创 docker与k8s部署nacos
1 mariadb安装参考ocker安装MariaDBdocker pull mariadbsudo mkdir -p /data/mariadb/data# 设置容器的3307端口映射到主机3306端口docker run --name mariadb -p 3307:3306 -e MYSQL_ROOT_PASSWORD=000000 -v /data/mariadb/data:/var/lib/mysql -d mariadb# 7481d6bdd2de为mariadb的容器id,如下图所
2020-06-02 10:34:56
4908
原创 opencv预处理图像
1 改变图像大小标题看起来了简单，但是改变图像大小却对小目标的检测有利。cv2中CV_INTER_NN、CV_INTER_LINEAR 、CV_INTER_AREA、CV_INTER_CUBIC到底什么条件用什么呢？查看opencv文档INTER_AREA - resampling using pixel area relation. It may be a preferred method ...
2020-01-17 16:44:41
794
原创 fabric工程化
一个小时带你用 Hyperledger Fabric开发一个Demo，看这篇文章写一个fabric的demo应该很快，但是将fabric工程化考虑的因素就比较多了。看一下他的demo源码进入到startFabric.sh，不禁要问，如果有6个组织，那么这个脚本岂不是要写6个，再增加组织怎么办呢？实际工程化，就不是demo那么简单了。#install chaincode on peer0doc...
2020-01-10 15:52:25
254
原创 HyperLedger Fabric成员管理
1 成员管理Hyperledger Fabric架构详解，这篇文章有很多图，直觉告诉我，应为fabric区别与公有链在于交易的隐私性，那么成员安全管理，也就成了核心问题了，只要搞清楚了fabric各个参与方在每个环节中的角色，就知道怎么玩转fabric了。1.1 证书生成蜗牛讲-fabric原理之证书生成，虽然告诉我们怎么生成证书，但是思考org到底在业务上是什么才是重点。执行crypto...
2020-01-08 14:26:18
695
原创 HyperLedger Fabric基础笔记
没办法，公司要搞区块链，又把他捡起了，忘了好久了。1 基本算法1.1 PBFT拜占庭容错算法（Practical Byzantine Fault Tolerance），拜占庭共识算法这篇的推理最为简单，假设R为安全节点，E为不安全节点，投票数为PE=0,P<R,都可以得到结果E=0,P<R,都可以得到结果E=0,P<R,都可以得到结果R/2同意，R/2反对,P>...
2019-12-27 15:49:55
607
原创 TensorFlow学习笔记
5 问题集5.1 RuntimeError: Error copying tensor to deviceRuntimeError: Error copying tensor to device: /job:localhost/replica:0/task:0/device:GPU:0. /job:localhost/replica:0/task:0/device:GPU:0 unknown...
2019-11-21 13:19:16
7526
1
原创 opencv处理图像笔记
示例参考[OpenCV-Python] OpenCV 核心操作 部分 III1 roi提取感兴趣区域，``import cv2import numpy as npfrom matplotlib import pyplot as plt# cv2读入的是BGR格式img = cv2.imread('test.jpg')# 注意H*W，第一个参数为高度,y方向的阈值，第二个参数为宽度，...
2019-11-12 15:22:19
273
原创 python 数据预处理1
通过Tushare或者Tushare pro获取股票清单，但是有3707家企业，怎么挑选股票，我自己瞎琢磨。1 根据各板块选择龙头股票mysql分组排序取最大、最小、最新、前N条记录select st1.code,st1.name,sb1.industry,st1.mktcap,sb1.market,st1.trade,st1.per,st1.pbfrom stock_today st1...
2019-11-08 14:43:30
258
原创 ORC CRNN
【OCR技术系列之一】字符识别技术总览,从前辈的文章我看到，印刷过程中字体很可能变得断裂或者墨水粘连，那么通过什么样的技术解决此问题呢？OCR技术系列之二】文字定位与切割，现在的技术还需要将每一个字符从图片中切割下来吗？采用end-to-end的方式，就不用那么麻烦了。AI学习笔记——End-to-End(端到端)的深度学习，正因为end-to-end不需要，所以他需要大量的训练样本。2 图...
2019-11-04 13:52:12
331
原创 pytorch RCNN笔记
深度学习的演进并不是跳跃性的，都是不断优化，所以学习新的模式中总需要回头看看到底为什么会产生。1 SPP 空间金字塔池化SPP(Spatial Pyramid Pooling)详解,不同尺寸的图像尺寸如何输出相同大小的图像呢，裁剪或拉伸，原始图像就会扭曲，因为图像的纵横比改变了。SPP正式为解决此问题。SPP空间金字塔池化（Spatial Pyramid Pooling）...
2019-11-01 16:58:38
533
原创 pytorch Vgg16笔记
原本想直接跳过VGG，直接到PSEnet，但面试遇到很多使用VGG16的，于是静下心看看VGG网络到底是什么样的。1 卷积核又叫滤波器filter，在pytorch 卷积神经网络笔记，我已经写出了卷积计算的公式，但是卷积核的大小是多少呢？先看看卷积神经网络VGG16这么简单，为什么没人能说清？ ，这里说卷积核一般用3*3.可是为什么呢？为什么倾向于使用3*3 小卷积核堆叠代替大卷积核像素八...
2019-10-31 11:04:51
2432
原创 pytorch FPN框架
FPN全解-最全最详细，我接触目标检测，直接就到FPN了，所以不了解历史。就人的第一反映，可以想象，的确早期的目标检测算法是基于顶层的特征信息，因为顶层的特征语义丰富，但是位置发而粗糙，因为它不一定是最佳边界。而底层的特征语义少，但位置信息反而精确了。我们一开始接触就知道应该用全量特征分析，故此FPN更符合机器学习的逻辑。1.1 上采样图像的上采样（upsampling）与下采样（subsam...
2019-10-30 16:49:53
1889
1
原创 Rsenet残差网络笔记
1 NVIDIA驱动我的操作系统是18.04，NVIDIA官网按照Ubuntu安装Nvidia驱动，我从官方网站中下载安装包，但执行./NVIDIA-Linux-x86_64-430.50.run --no-opengl-file,提示异常信息./nvidia-installer: unrecognized option: "--no-opengl-file"ERROR: Invalid c...
2019-10-29 13:54:52
1196
原创 pytorch 卷积神经网络笔记
pytorch 神经网络基本笔记中描述了神经网络中计算逻辑是什么，下面的例子来自官方，可以运行在cpu上。今天开始了解卷积神经网络是什么。# 1. 将数据加载到numpy数组里，然后将数组专程torch.*Tensor# 1.1 对于图片，有Pillow，OpenCV等包可以使用# 1.2 对于音频,有scipy和librosa等包可以使用# 1.3 对于文本，不管是原生的python还是...
2019-10-25 14:28:03
802
原创 pytorch 神经网络基本笔记
我从今天开始学pytorch，照着训练分类器官方用例来写。1 数学知识1.1 交叉熵损失1.1.1 log2(x)从下图可以看到x在0～1之间，x越小，那么y值越大import numpy as npimport mathimport matplotlib.pyplot as plt# axisartist包就用来设置坐标轴的类型import mpl_toolkits.axis...
2019-10-24 16:40:00
455
原创 python结合线性代数解决小学奥数问题
因为我的记忆力不好，还得辅导儿子的小学奥数，面对好多“脚”的问题，学了线性代数后根本就不用动脑筋，“两个动物”的通过克拉默法则一下就出来，“三个动物”以上的通过高斯变换就计算出来，都不用思考，于是对线性代数使用python的技术进行总结归纳，为了好玩，也会熟练掌握numpy，以便在神经网络中找到线性代数的身影1 nump中矩阵运算1.1 array和matrixarray的乘法，与矩阵的乘法...
2019-10-22 13:31:36
316
原创 hbase跨机房同步
两边hbase版本均是1.1.4，通过vpn实现两个hbase集群之间的数据同步hbase通过命令看数据，太繁琐，可以hbaseclient参考 HBase备份还原OpenTSDB数据之Snapshot1 创建快照hbase shellsnapshot 'your_table_snapshot',’your_table'2 在另一个集群中快照中恢复数据执行命令可以查看快照清单[r...
2019-09-26 11:48:38
947
原创 orace数据库生产环境操作实录
最近在做一次大批量数据库同步的工作，因为很久没有弄oracle了，遇到了较大困难，客户又催的比较紧，这里再捡一下。1 基础Oracle 数据库、实例、用户、表空间、表之间的关系讲解，实例名也叫sid，一个数据库可以有多个实例jdbc:oracle:thin:@localhost:1521:orcl(orcl就为数据库实例名)ORACLE中SID和SERVICE_NAME的区别,SERVI...
2019-08-09 08:04:19
661
原创 第6.1.4章 spark环境配置
spark与hive部署在一台服务器上。1 hive-site.xml这里可以看到spark和hive使用的是thrift协议通讯<configuration> <property> <name>hive.metastore.uris</name> <value>thrift://bwsc79:9083,thri...
2019-07-12 14:58:45
183
原创 第2.2.3章 hadoop的管理
这个章节的名字套用的是《Hadoop权威指南》第10章的名称，按图索骥，实地看看hadoop里面有什么。1 名称节点新格式化的namenode目录结构如下：# dfs.namenode.name.dir在hdfs-site.xml中配置了路径# 这里跟书上不一样，没有 fstime目录${dfs.namenode.name.dir}/current/VERSION edits fsima...
2019-07-11 15:33:41
446
原创 第1.10章 elasticsearch优化
1 跨es集群复制在elasticsearch.yml中增加配置,在两个集群都配置上白名单reindex.remote.whitelist: ["10.101.10.58:9200","10.101.10.59:9200","10.101.10.60:9200"]其余配置参考第1.8章 elasticsearch水平扩展Elasticsearch跨集群搜索(Cross Cluster S...
2019-07-09 16:27:23
391
原创 第4.1.3章 flume写入数据到hbase中
1、环境准备1.1 flume组件开发环境flume组件依赖的jar如下：<!-- provided --> <dependency> <groupId>commons-lang</groupId> <artifactId>commons-lang</artifactId> <version&...
2019-07-08 14:24:04
1264
原创 第1.3章 docker部署Eureka集群
关于Eureka的描述，可以参考Eureka简介,对Eureka和zookeeper对比，我个人觉得还是很容易看的明白的 Eureka作为服务的注册中心，即生产环境必须使用集群才能保证系统之间稳定运行...
2019-07-05 16:09:54
2331
原创 chineseocr环境准备
1、Anaconda3使用chineseocr源码，这里面用的版本是Anaconda3-2019.03-Linux-x86_64.sh执行下面的命令，参考Ubuntu18.04 安装 Anaconda3进行安装,指定安装目录cd bash Anaconda3-2019.03-Linux-x86_64.sh如果安装错了，卸载rm -rf anaconda文件夹名更改Anacond...
2019-07-01 11:47:13
1937
原创 利用requests做八字排盘的爬虫
requests爬虫需要注意请求网站的字符编码，如果是https，直接忽略就可以了。import requestsimport urllibfrom pyquery import PyQuery as pqrequests.packages.urllib3.disable_warnings()def submit_2(): params = {'name': '', 'area...
2019-06-20 13:52:51
654
原创 系统安全性和保密性设计
这个话题很大，我只是把我经历的或者说知道的，写一写，总总结，我并不是这方面的高手。1 安全基础1.1 国密算法国家商用密码定义了一系列算法，我了解到的是SM2、SM3、SM4，因为国家对一些系统有安全要求，必须通过支持这三种算法，颁布相应授权证书。国密算法(国家商用密码算法简介)。SM2是替代RSA的算法，算法流程参考图解SM2算法流程（合几个算法对比可以参见 国密算法SM1/SM2/S...
2019-06-19 14:24:59
7173
原创 第7.1.5 mongodb4.x 分片宕了
先看看mongodbmongos.log中提示的异常信息：2019-05-21T18:49:34.355+0800 I COMMAND [conn174701] command detail_links.lvdun_links command: insert { insert: "lvdun_links", ordered: true, lsid: { id: UUID("db1b9d8a-6...
2019-05-22 14:20:51
13521
6
原创 第1.9章 elasticsearch Nodes hot_threads
Nodes hot_threads，根据官方描述_nodes/hot_threads获取集群中每个节点当前热线程，我执行后的返回的结果信息很长，那么该怎么解读呢？很容易推理出，hot_threads在哪里，那么哪里就是性能优化的地方。185上面并没有热的线程与下图top监控的指标是吻合的。::: {bwhs185}{0l0BABnLTfKt4NBEI8uuUA}{V0Ycx2FaS_OUM9...
2019-04-19 15:46:25
2745
原创 第1.8章 elasticsearch水平扩展
在Elasticsearch 5.6.6中下载程序包。tar -zxvf elasticsearch-5.6.6.tar.gz ln -s elasticsearch-5.6.6 elasticsearchgroupadd elkuseradd elk -g elkchown -R elk:elk /application/elasticsearch-5.6.6chown -R elk...
2019-04-18 11:10:20
471
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人