- 博客(337)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Python小工具，长图另存为pdf
在网上了一个长的图片，结果发现没有一个合适的工具，将长图先批量截取为4:3格式，存储到指定地点，然后存储为pdf代码：from reportlab.lib.pagesizes import portraitfrom reportlab.pdfgen import canvasimport osfrom PIL import Image# 按照3:4 分割图片，返回图片存储结果集...
2018-09-21 16:52:35
1383
2
原创 数学思维系列（一）函数
1，进展在初中，我们开始学习函数的概念，基本都是一个自变量，一个因变量，组成一个函数方程，描述的是一个具体现象，举个栗子：一个人匀速跑步，自变量是时间，因变量是路程，速度为一秒跑2米，那么函数描述为 y=2x,图像为：到了高中，我们开始数据集函数被描述为一个数据集合到另一个数据集合的映射，开始研究映射关系，单射，满射，单调性等，往往的情况我们研究的是一个给定的函数，给定的映射关...
2018-09-18 10:06:27
490
原创 elasticsearch EsRejectedExecutionException[rejected execution (queue capacity 50)
线上服务经过一段时间跑之后，发现es有丢消息的情况，经过排查发现，出现了一些bug，以下是bug全貌：[8663]: index [logstash_apifile-trans-usercenter-22], type [perform_log_trans-userCenter], id [AWVfVq-CIB0x6NjELW1y], message [RemoteTransportExce...
2018-08-23 17:00:42
2465
1
原创 keras 发布flask 问题汇总
1，keras重复加载model会报错解决办法：import keras# load之前保证session干净keras.backend.clear_session()model = load_model(args["model"])2，linux后台启动python，丢失窗口后，无效解决办法：启动api: nohup python3 ImageNetApi.py ...
2018-08-16 15:18:37
1544
原创 ImageNet-ResNet_50 图片分类平台
最近公司要在AI领域发力，基于此，研究了Resnet50的图片分类，网络上有很多的例子，但是都没有做成平台化，提供一个组件一样供各个业务平台使用，基于此，在Resnet50的基础上，扩展了登陆，图片类别添加，上传图片，自动离散图片到训练集与测试集，页面api提供重新训练按钮，测试图片分类结果页面。1，github本文代码：https://github.com/xvshu/ImageNe...
2018-08-15 14:00:53
5985
3
原创 LookupError: unknown encoding: GB18030
linux 安装python3.5.2 遇到如下错误Could not find platform dependent libraries <exec_prefix>Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]Fatal Python error: Py_Initialize: Un...
2018-08-13 17:37:25
8217
2
转载 矩阵卷积运算的具体过程，很简单
最近在看图像处理，卷积运算这一块也查了很多，但是感觉都写的太复杂，我这里简单的写一下卷积到底是一个什么计算过程。假设有一个卷积核h，就一般为3*3的矩阵：有一个待处理矩阵x：h*x的计算过程分为三步第一步，将卷积核翻转180°，也就是成为了第二步，将卷积核h的中心对准x的第一个元素，然后对应元素相乘后相加，没有元素的地方补0。这样结果Y中的第一个元素值Y11...
2018-07-31 14:12:30
68574
23
原创 Object Detection （5）Faster RCNN Keras 发布为api
目录 Object Detection （1）VOC2007数据集制作 Object Detection （2）Faster RCNN详解 Object Detection （3）Faster RCNN Keras 原理+代码 第一部分 Object Detection （4）Faster RCNN Keras 原理+代码 第二部分...
2018-07-31 12:55:24
1850
1
转载 Object Detection （4）Faster RCNN Keras 原理+代码 第二部分
目录 Object Detection （1）VOC2007数据集制作 Object Detection （2）Faster RCNN详解 Object Detection （3）Faster RCNN Keras 原理+代码 第一部分 Object Detection （4）Faster RCNN Keras 原理+代码 第二部分...
2018-07-31 12:46:56
1948
1
转载 Object Detection （3）Faster RCNN Keras 原理+代码 第一部分
目录 Object Detection （1）VOC2007数据集制作 Object Detection （2）Faster RCNN详解 Object Detection （3）Faster RCNN Keras 原理+代码 第一部分 Object Detection （4）Faster RCNN Keras 原理+代码 第二部分...
2018-07-31 12:43:12
3101
6
转载 Object Detection （2）Faster RCNN详解
目录 Object Detection （1）VOC2007数据集制作 Object Detection （2）Faster RCNN详解 Object Detection （3）Faster RCNN Keras 原理+代码 第一部分 Object Detection （4）Faster RCNN Keras 原理+代码 第二部分...
2018-07-31 12:35:24
2872
1
原创 Object Detection （1）VOC2007数据集制作
目录 Object Detection （1）VOC2007数据集制作 Object Detection （2）Faster RCNN详解 Object Detection （3）Faster RCNN Keras 原理+代码 第一部分 Object Detection （4）Faster RCNN Keras 原理+代码 第二部分...
2018-07-31 11:12:45
2271
原创 flume高并发优化——（17）解决cpu占用高的问题
在博客中，我们通过《jstack分析cpu占用高应用》，发现flume占用过高，通过分析代码，发现了一个死循环，这里给大家看看两个代码的差别：old：//读到空行 if(line==null||line.trim().length()<1){ while (true){ ...
2018-07-24 17:59:32
2835
原创 jstack分析cpu占用高应用
第一步：查看进程号top命令发现某个进程（pid）占用cpu达到很高 第二步：查看哪个线程占用最多资源ps p pid -L -o pcpu,pid,tid,time,tname,stat,psr |sort -n -k1 -r; (命令查看这个进程下面的所有线程占用情况,pid 替换为查找到的pid数字)第三步：jstack输出堆栈信息：jstack pid 进行查看...
2018-07-24 17:24:52
4826
2
原创 TensorFlow - FaceNet人脸登陆 （Python-Web ）小例子
最近一直想做一个人脸识别登陆的demo，正在在网上看到了一个facenet的例子，使用python实现，但是来非常简单，仅仅是封装了tensorflow的过程，在这个基础之上，我进行了html的前台封装，方便大家引入到自己的项目中。 FaceNet： FaceNet的思路是将人脸图像编码成128维的向量，然后用这128维向量来代表一个人。这就类似于我们的身份证号码，每一个人都...
2018-07-18 17:36:41
5050
6
原创 ElasticJobListener 2.1.5 分布式唯一性保证bug修复
最近执行esjob的时候，发现有一定的情况下，出现分布式监听执行了多次的情况，通过对比源码，我们发现一个问题old version： @Override public final void beforeJobExecuted(final ShardingContexts shardingContexts) { guaranteeService.registerStart(s...
2018-07-10 16:08:29
2248
2
原创 AIML应答机器人(二)java实现
想做一款和上图一样的自动应答机器人吗，跟着博客，咱们一步步实现，现在开始第二个内容，开始做一个java版的聊天程序本文源码地址：https://github.com/xvshu/alice_bot源码入口：AIML工厂：AliceBotMother/*Copyleft (C) 2005 Hélio Perroni [email protected]: 2490863Th...
2018-07-09 17:15:03
6081
3
原创 AIML应答机器人(一)aiml简介
想做一款和上图一样的自动应答机器人吗，跟着博客，咱们一步步实现，现在开始第一个内容，简单了解下什么是AIML语言AIMLAIML：人工智能标记语言(Artificial Intelligence Markup Language)AIML（人工智能标记语言）是一种XML兼容的语言，很容易学习，并且可以开始定制艾尔博特（Alicebot）或分分钟创建一个scratch机器人。AIML最重要的单元有：开...
2018-07-09 16:52:33
17118
原创 elastic-job2 项目接入（spring，maven）
最近系统在使用esjob进行定时任务管理，现将接入过程分享给大家：引入依赖<dependency> <groupId>com.dangdang</groupId> <artifactId>elastic-job-lite-core</artifactId> <version>2.1.2<...
2018-06-21 10:04:53
7342
转载 为什么不应该使用ZooKeeper做服务发现
本文作者通过ZooKeeper与Eureka作为 Service发现服务（注：WebServices 体系中的UDDI就是个发现服务）的优劣对比，分享了Knewton在云计算平台部署服务的经验。本文虽然略显偏激，但是看得出Knewton在云平台方 面是非常有经验的，这篇文章从实践角度出发分别从云平台特点、CAP原理以及运维三个方面对比了ZooKeeper与Eureka两个系统作为发布服务的 优劣，...
2018-06-19 14:58:46
1025
原创 二维码登录（三）扫码登录
承接上篇博客，在进行二维码生成之后，app进行扫码，扫码成功之后，手机点击登录，进行绑定登录关系，后台做自动关联与自动登录。本文git地址：https://github.com/xvshu/qrlogin1，扫码登录页面此页面是模拟app登录页面，功能是扫到二维码后，自动跳转授权页面，授权成功，调用后台服务进行登录关系绑定 代码：<%@ page ...
2018-06-04 20:24:00
15492
3
原创 二维码登录（二）生成二维码
承接上篇博客，本文旨在实现二维码生成的功能，并在redis中存储一个key方便后期APP端扫码时做映射本文代码git https://github.com/xvshu/qrlogin1，生成二维码请求action主要是生成一个唯一标识的key，本次以时间戳为测试key，存入redis，并传回前台，生成相关页面以供APP扫描 package com.el.qr.login.web;impor...
2018-06-04 20:13:10
5086
1
原创 二维码登录（一）概要设计
# 引言## 编写目的和范围随着智能机的普及，在手持设备端做用户验证是一种较为高效，安全的手段，而在pc端利用已经鉴权过的手持设备扫码登录不仅方便，而且安全。本文档旨在指导二维码登录功能的开发。#全局数据结构说明redis节点存储数据格式为hash结构： key：qrlogin_年月日 field：qrlogin_唯一标识 value：用户id 失效时间：2天#模块设计整...
2018-06-04 19:47:53
7100
1
原创 个人微信小程序--大叔工具箱
前言最近比较好奇微信推出的小程序，火爆的程序已经不需要过多介绍了，这篇文章待着大家一步一步搭建自己的微信小程序，大叔工具箱是我自己开发的小程序，目前进度是审核中，大家喜欢的可以玩一玩，源码全部分享在git上，喜欢的可以clone下（https://github.com/xvshu/WX_Uncle-s-Toolbox）
2018-05-09 16:54:46
4296
3
转载 opencv实时识别指定物体
一. 引入 opencv人脸识别大家应该都听说过，本篇目的是利用opencv从视频帧中识别指定的物体，并框出来，且可以保存截取到的物体图片，会将整个流程都讲一下,包括训练自己的分类器，使用训练好的分类器进行识别。这里以识别舌头为例。二. 环境： 1. python 3.6.3 2. opencv 3.4.0三. 训练自己的分类器1. 注意点：训练集分为正样本，负样本，样本全部
2018-04-19 15:18:56
40324
7
转载 APM监控--（六）Dapper，大规模分布式系统的跟踪系统
目前apm监控一般都遵循Google公司发布的Dapper规范，特转载一篇，供广大网友交流概述当代的互联网的服务，通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具。 Da...
2018-04-09 15:00:07
4599
原创 APM监控--（五）pinpoint使用手册
最近在使用pinpoint进行应用监控，发现网上对安装介绍的很详细，但是如何使用介绍的不是非常好，特别整理一篇使用手册，供广大网友学习，如有不通看法，请评论区交流。0. 前提条件• 请参考接入《APM监控--（二）Pinpoint部署手册》pinpoint1. 查看调用关系1.1 访问地址http://yoururl1.2 选择应用默认两层展示调整层级深度：示例为前端调用4层追溯...
2018-04-09 14:51:42
19590
17
原创 APM监控--（四）Pinpoint扩展报警--超详细，各种问题解决之后的顺畅版本
部署完成pinpoint之后，并没有开放报警功能，而报警是每个公司都必要的功能，以下就跟着我一起开始开发报警功能并部署到服务器。1，下载源码包地址：https://github.com/naver/pinpoint/releases选择对应版本源码包，本次为1.7.1，单击下载2，编译源码在maven端增加了很多检查和限制，保证jdk版本1.8，maven为3.1.1就可以去除这些限制，修改后po...
2018-04-04 11:35:27
18355
2
原创 APM监控--（三）zipkin部署手册
一，基础知识储备分布式跟踪的目标一个分布式系统由若干分布式服务构成，每一个请求会经过多个业务系统并留下足迹，但是这些分散的数据对于问题排查，或是流程优化都很有限，要能做到追踪每个请求的完整链路调用，收集链路调用上每个服务的性能数据，计算性能数据和比对性能指标（SLA），甚至能够再反馈到服务治理中，那么这就是分布式跟踪的目标。分布式跟踪的目的zipkin分布式跟踪系统的目的：zipkin为分布式链路...
2018-03-27 15:58:58
2992
3
原创 APM监控--（二）Pinpoint部署手册
一，pinpoint是什么简单的说，Pinpoint是一款对Java编写的大规模分布式系统的APM工具，有些人也喜欢称呼这类工具为调用链系统、分布式跟踪系统。我们知道，前端向后台发起一个查询请求，后台服务可能要调用多个服务，每个服务可能又会调用其它服务，最终将结果返回，汇总到页面上。如果某个环节发生异常，工程师很难准确定位这个问题到底是由哪个服务调用造成的，Pinpoint等相关工具的作用就是追踪...
2018-03-27 15:52:09
7639
11
原创 APM监控--（一） 分布式系统服务跟踪技术选型参考
选型目的 随着公司业务的与日俱增，各个系统也越来越复杂，服务间的调用，服务的依赖，以及分析服务的性能问题也越棘手，因此引入服务追踪系统尤为重要。现有的服务追踪体系，基本都是参考Google的Dapper的体系来做的。通过跟踪请求的处理过程，来对应用系统在前后端处理、服务端调用的性能消耗进行跟踪（每个请求的完整调用链路，收集调用链路上每个服务的性能数据），方便工程师能够快速定位问题。主...
2018-03-27 15:45:02
4941
4
原创 人工智能小例子（一）keras模拟一元方程
最近有网友反应，直接上人脸识别的例子有些跨度大，现在将我实验中的一个小例子公布给大家，纯做入门使用题目：有函数y = 0.5*x + 2在此函数基础上，增加绝对值不超过0.05的扰动，利用keras进行函数拟合预期结果：y=a1*x+a2a1接近0.5， a2接近2，则拟合成功思路：1，生成训练数据2，搭建keras3，训练4，输出结果根据题目函数，一个全连接层即可预测，dense层的激活函数正好
2018-01-10 17:34:41
6059
1
原创 人工智能小例子（二）-基于keras+openCV的人脸识别
目前keras是对人工智能来说，入门比较好的一款中间件，屏蔽了很多参数配置和实现细节，直接一层层进行网络搭建就可以。最近一直在学习相关知识，但是一直也没有啥实用的功能出现，在网上有个例子，一下子就吸引住了我，使用keras迅速搭建一套人工智能系统，输入自己的照片和他人照片，训练其识别出自己，然后使用摄像头验证。废话不多说，先上结果图：是不是很6，其实实现起来还是依赖了很多网上的大牛，现在跟着我，咱
2017-12-21 14:26:09
15093
28
转载 人工神经网络基础数学研究-卷积
引子因研究兴趣不在图像处理，所以对图像中的『卷积』操作未做深入思考，直到某天，灵光一闪，我突然意识到图像『卷积』应该可以和『信号处理』联系起来更进一步图像卷积的本质，是提取图像不同『频段』的特征然而放眼望去，市面上大谈特谈『卷积』的文章，各种雷同，互相『借鉴』，都是在讲解卷积的不同方式、卷积的参数共享、卷积的具体操作、卷积在图像上的效果，竟鲜有一篇像样的文章，真正触及『卷积』的本质、探索『卷积』和
2017-12-06 16:47:48
1016
转载 人工智能浅谈
先从回归(Regression)问题说起。我在本吧已经看到不少人提到如果想实现强AI，就必须让机器学会观察并总结规律的言论。具体地说，要让机器观察什么是圆的，什么是方的，区分各种颜色和形状，然后根据这些特征对某种事物进行分类或预测。其实这就是回归问题。 如何解决回归问题？我们用眼睛看到某样东西，可以一下子看出它的一些基本特征。可是计算机呢？它看到的只是一堆数字而已，因此要让机器从事物的特征中找到规
2017-11-23 17:48:14
1679
3
转载 人工神经网络（六）线性回归与分类, 解决与区别
机器学习可以解决很多问题，其中最为重要的两个是 回归与分类。 这两个问题怎么解决， 它们之间又有什么区别呢？ 以下举几个简单的例子，以给大家一个概念1. 线性回归回归分析常用于分析两个变量X和Y 之间的关系。 比如 X＝房子大小 和 Y＝房价 之间的关系， X=(公园人流量，公园门票票价） 与 Y=(公园收入) 之间的关系等等。那么你的数据点在图上可以这么看现在你想找到 房子大小和房价的关系， 也
2017-11-23 16:16:23
11048
原创 人工神经网络（五）梯度下降法
在解决了线性求解问题之后，我们开始挑战更复杂的问题，开始研究非线性划分的问题，类似求解异或问题这样，而解决这类问题，我们先要学习一个概念，就是梯度下降（Gradient Descent），这个方法是解决机器学习领域最常采用的方法之一。梯度在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂
2017-10-23 19:58:58
1414
原创 人工神经网络（四）感知器学习规则推导
目前我们接触到的感知器学习规则，数学建模之后，我们知道如何调整权值，使得感知器的切分符合我们的预期输入，下面我们就用一个小推导，看看感知器是如何进行权值调整的：理论判定边界 判定边界由那些使得净输入n为零的输入向量确定： n=1WTP+b=w1,1p1+w1,2p2+b 为了使该实例更加具体，现将权值和偏置值设置为： w1,1=1,w1,2=1,b=-1 那么
2017-10-20 13:15:51
5514
1
原创 人工神经网络（三）单层感知器代码实现
上篇文章，我们介绍了什么是单层感知器，这节课，我们来看看如果用代码实现一个单层感知器实验问题：假设平面坐标系上有三个点（3,3），（4,3）这两个坐标点的标签为 1 ，（1,1） 这个坐标的标签为-1 ，构建神经网络来分类思路：二维数据，需要两个数据点，将神经元偏置设置成另一个输入点，一共需要三个输入点 输入数据：（1,3,3），（1,4,3），（1,1,1） 数据对应标签为（1,1,-1）
2017-10-19 21:19:12
2978
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人