自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 巨杉数据库:金融级数据库未来方向

巨杉数据库:金融级数据库未来方向 引言近年来,全球金融科技每年的投入已经超过500亿美元,中国的金融科技发展更是引领世界潮流。在金融科技不断发展的今天,中国金融互联网化和零售化的发展愈加激烈,使得我国金融业务与科技的有机结合应用模式备受世界瞩目。 对应着高速发展的业务模式与创新,现代金融系统亟需技术架构的革新来满足日益增长的业务需求。这其中包括了业务系统敏捷性、风险控制、成本控制、性能和业务发展对...

2018-05-03 09:01:57 1249

原创 巨杉数据库入选Gartner报告,中国数据库原创力量崛起

SequoiaDB巨杉数据库入选Gartner数据库推荐2017报告SequoiaDB巨杉数据库入选Gartner数据库报告,成为国内首批入选Gartner报告的数据库厂商。  “巨杉数据库SequoiaDB,总部位于中国广州,是一款分布式、多模型(Multimodel)、高可用的SQL数据库。巨杉数据库具有跨地域分布式部署和灵活扩展的能力,同时还支持针对内容和文件的块存储引擎。此外,Sequoi...

2015-09-21 21:24:20 7590

原创 阿里巴巴大数据之路——数据模型篇

阿里巴巴大数据之路——数据模型篇一、概述  1.什么是数据模型?    数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。  2.典型数据仓库建模方法论    ER模型    纬度模型(建模四步曲:确定业务流程->确定粒度->确定纬度->确定事实表)二、阿里巴巴数据整合管理体系oneData   1.体系架构        核心内容包括规范定义、模型设计等!    2.模型分层      主要分为三大层(.

2020-07-28 12:46:43 64

原创 ethereum Web 3 and private network

1. compile ethereum2. create network ./build/bin/geth --datadir data --networkid 20200107 --rpc --rpccorsdomain "*" init ./gochain/genesis.json2.1gensis.json{ "config": { "chainId": 15, "homesteadBlock": 0, "eip150Block": 0, ...

2020-07-07 09:26:58 62

原创 以太坊搭建,不能使用puppeth 创建初始块,报错Fatal: Failed to write genesis block: unsupported fork ordering: eip15

以太坊搭建,不能使用puppeth 创建初始块,报错Fatal: Failed to write genesis block: unsupported fork ordering: eip15新建 genesis.json在文件夹genesis中,写入:{ "config": { "chainId": 666, "homesteadBlock": 0, "eip150Block": 0, "eip150Hash": "0x000000000000000000...

2020-07-06 08:54:25 207

原创 腾讯内部人士爆与老干妈合作多个环节有漏洞 却没人察觉

虽然“合作”过程中已经出现了种种异常,但在老干妈和贵阳警方发出通告之前,腾讯可能都以为自己稳操胜券文 | 刘以秦 吴琼腾讯《QQ飞车》项目组已经被“保护”起来。项目组的每个人都被告知,不能对外透露任何相关信息,哪怕是面对腾讯的同事,有人问起,统一的答复是:“我只是执行项目,不清楚具体的情况”。至于那位洽谈老干妈合作项目的商务对接人,在腾讯内部的企业微信里已经搜不出他的名字。“我确定他还没有离职。”一位腾讯游戏业务人士告诉《财经》记者。老干妈和贵阳警方的“反转”公告,让腾讯陷入了尴尬的境地

2020-07-05 17:15:26 548

原创 商汤科技估值 100 亿美元融资进行中,寻找新的增长点

《晚点 LatePost》从多位参与商汤融资过程的人士处获悉,商汤科技正在进行 10 到 15 亿美元的新一轮融资。据悉,此轮融资将在 2020 年内完成,此轮融资后商汤的估值将达到 100 亿美元。此次融资的背景是,商汤今年希望投入大量资金进行人工智能平台的基础设施建设,加速芯片研发,升级扩容超算中心,以降低产品研发成本,提升规模化能力。商汤科技成立于 2014 年,创始人为香港中文大学信息工程系教授汤晓鸥,是目前全球估值最高的人工智能平台公司。多数人工智能公司专注一到两个细分场景,建立主营业

2020-07-02 20:29:44 320

原创 60分钟带你了解ALBERT

ALBERT原文:《ALITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》中文预训练ALBERT模型来了:小模型登顶GLUE,Base版模型小10倍速度快1倍。Google一出手就是不一样,不再是BERT+的模式,而是做了个大改动。ALBERT模型是BERT的改进版,与最近其他State of the art的模型不同的是,这次是预训练小模型,效果更好、参数更少。模型下载1、albert_large_zh,参数量

2020-07-01 09:24:04 122

原创 一文读懂BERT(原理篇)

一文读懂BERT(原理篇)2018年的10月11日,Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》,成功在 11 项 NLP 任务中取得 state of the art 的结果,赢得自然语言处理学界的一片赞誉之声。本文是对近期关于BERT论文、相关文章、代码进行学习后的知识梳理,仅为自己学习交流之用。因笔者精力有限,如果文中因引用了某些文章观点未标出处还望作者海涵,也希望

2020-07-01 09:19:23 3555

原创 工具用的好下班走的早

工具用的好下班走的早表设计的好代码写的少别逼逼,放码过来 || Talk is cheap. Show me the code.重启能解决电脑90%的问题,重装系统能解决99%的问题......这里对 工具用的好下班走的早,介绍2款代码生成工具MyBatisCodeHelper-ProMyBatis-Plugin插件的功能简介如下:提供Mapper接口与配置文件中对应SQL的导航.编辑XML文件时自动补全.根据Mapper接口, 使用快捷键生成xml文件及SQL标签.

2020-06-28 21:31:41 86

原创 纳指万点!苹果微软市值1.5万亿美元,腾讯阿里能否破万亿?

今年三四月,全球资本市场受到巨大冲击。因疫情冲击,以及折叠原油等其他因素,引发全球金融市场剧烈波动。随着疫情逐渐减缓的态势,工作、生活得到有序恢复,但全球经济依旧困难重重。来自近日,IMF(国际货币基金组织)更新《世界经济展望报告》预计,2020年全球增长率预计为–4.9%。当然,这一预测有极大的不确定性。相比世界经济不确定局面下,全球主要资本市场则大幅反弹。最新世界经济展望报告中指出:金融市场情绪的近期反弹幅度似乎与基本经济前景的变化脱节。需要指出的是,疫情逐渐受控、各国纷纷出台各种稳经济等举措.

2020-06-28 10:08:41 358

原创 sherlock机器视觉软件

weixin_44091798 2019-05-24 16:19:07 1694 收藏 2分类专栏: 技术分享版权摘要: TELEDYNE DALSA的Sherlock 是高级机器视觉软件,可以用于广泛的自动化检测应用。它提供了最大的设计灵活性,丰富的已验证的工具和功能,在全球数以千计地安装使用。TELEDYNE DALSA的Sherlock 是高级机器视觉软件,可以用于广泛的自动化检测应用。它提供了最大的设计灵活性,丰富的已验证的工具和功能,在全球数以千计地安装使用。像侦探一样可以洞察...

2020-06-23 09:42:45 181

原创 DALSA线阵CCD相机开发 之 opencv读取图片

SDK的下载Sapera_LT_8.31_SDK 百度网盘下载地址:链接:密码:ckm7。SDK的安装解压运行.exe文件,按照提示确定,下一步即可。帮助文档和demo如果要获得完整的帮助文档和demo,在SDK安装时选择full安装,路径可以自己选择,默认路径为 C:\Program Files\Teledyne DALSA\。主要demo简介在C:\Program Files\Teledyne DALSA\Sapera\Demos\Classes\VC中提供了多个开发Demo供用户参

2020-06-23 09:41:05 182

原创 opencv python 图像形态学操作/图像腐蚀/图像膨胀/开运算/闭运算/顶帽/黑帽

Morphological Transformations1图像腐蚀腐蚀的基本思想:侵蚀前景物体的边界(总是试图保持前景为白色);内核在图像中滑动(如在2D卷积中).只有当内核下的所有像素都是1时,原始图像中的像素(1或0)才会被认为是1,否则它会被侵蚀(变为零).边界附近的所有像素都将被丢弃,具体取决于内核的大小.因此,前景对象的厚度或大小减小,或者图像中的白色区域减小.它有助于消除小的白噪声,分离两个连接的对象原图:代码:import cv2import numpy as

2020-06-13 11:00:13 101

原创 Python中最常用十大图像处理库详细介绍

本文主要介绍了一些简单易懂最常用的Python图像处理库当今世界充满了各种数据,而图像是其中高的重要组成部分。然而,若想其有所应用,我们需要对这些图像进行处理。图像处理是分析和操纵数字图像的过程,旨在提高其质量或从中提取一些信息,然后将其用于某些方面。图像处理中的常见任务包括显示图像,基本操作(如裁剪、翻转、旋转等),图像分割,分类和特征提取,图像恢复和图像识别等。Python之成为图像处理任务的最佳选择,是因为这一科学编程语言日益普及,并且其自身免费提供许多最先进的图像处理工具。让...

2020-06-12 10:39:10 161

原创 图像开运算和闭运算

1、原理图像开运算与闭运算与膨胀和腐蚀运算有关,由膨胀和腐蚀两个运算的复合与集合操作(并、交、补等)组合成的运算构成。开运算与闭运算依据腐蚀和膨胀演变而来。1)开运算:先对图像腐蚀后膨胀。A○S= (AΘS)⊕ S作用:用来消除小的物体,平滑形状边界,并且不改变其面积。可以去除小颗粒噪声,断开物体之间的粘连。2)闭运算:先对图像膨胀后腐蚀A●S= (A⊕S)Θ S作用:用来填充物体内的小空洞,连接邻近的物体,连接断开的轮廓线,平滑其边界的同时不改变面积。2、开运算的实现.

2020-06-12 09:35:53 264

原创 图像孔洞填充与小连通域的删除

图像孔洞填充与小连通域的删除cvFindContours从二值图像中检索轮廓,并返回检测到的轮廓的个数。first_contour的值由函数填充返回,它的值将为第一个外轮廓的指针,当没有轮廓被检测到时为NULL。其它轮廓可以使用h_next和v_next连接,从first_contour到达。intcvFindContours(CvArr*image,CvMemStorage*storage,CvSeq**first_contour,...

2020-06-11 11:41:43 108

原创 transfer learning

import cv2 # working with, mainly resizing, imagesimport numpy as np # dealing with arraysimport os # dealing with directoriesfrom random import shuffle # mixing up or currently ordered data that might lead our network astray in training.from tqdm.

2020-06-08 21:44:54 90

原创 Tensorflow 2.1.0 中 keras.utils.plot_model()出错的解决方法

小小和蓝胖 2020-02-15 21:31:36 370 收藏 2展开最近在学习Tensorflow 2,使用keras模型可视化的plot_model()绘制模型图的时候报错。上网查找解决方案,发现网上的解决方法没有切中核心,因此在此记录备查。问题希望绘制模型图:from tensorflow import keraskeras.utils.plot_model(model, 'my_first_model.png')12报错:Failed to import pyd...

2020-06-08 19:07:28 152

原创 keras image predict

from __future__ import print_functionimport kerasfrom keras.models import Modelfrom keras.datasets import cifar10import numpy as npimport osfrom PIL import Imagefrom keras.preprocessing.image import img_to_arrayimport matplotlib.pyplot as plt#im.

2020-06-07 22:20:22 75

原创 基于Keras搭建cifar10数据集训练预测Pipeline

基于Keras搭建cifar10数据集训练预测Pipeline钢笔先生关注0.5412019.01.17 22:52:05字数 227阅读 500Pipeline本次训练模型的数据直接使用Keras.datasets.cifar10.load_data()得到,模型建立是通过Sequential搭建。重点思考的内容是如何应用训练过的模型进行实际预测,里面牵涉到一些细节,需要注意。同时,Keras提供的ImageDataGenerator为模型训练时提供数据输入,之前有总结过这个类,并

2020-06-07 21:36:04 146

原创 CV】keras_resnet 在cifar10数据集上分类

码农有道 2020-06-01 14:29:17 510 收藏展开文章目录1.导入库2.数据准备2.1 加载训练集2.2 加载测试集2.3 对类别做One-Hot编码2.4 对图片像素的0-255值做归一化,并减去均值3.搭建神经网络3.1 定义函数resnet_layer,返回值是经过resnet_layer计算的结果3.2 定义函数resnet_v1,返回值是模型对象3.3 定义函数resnet_v2,返回值是模型对象3.4 实例化模型对象3.5 多GPU并行训练...

2020-06-07 20:31:49 131

原创 Keras中Callback函数的使用

回调函数是一组在训练的特定阶段被调用的函数集,你可以使用回调函数来观察训练过程中网络内部的状态和统计信息。通过传递回调函数列表到模型的.fit()中,即可在给定的训练阶段调用该函数集中的函数。【Tips】虽然我们称之为回调“函数”,但事实上Keras的回调函数是一个类,回调函数只是习惯性称呼Callback例子No.1:官网示例保存训练过程中最好的模型from __future__ import print_functionimport numpy as npfrom keras..

2020-06-07 16:21:27 85

原创 使用keras的cifar10.load_data()总是会自动下载问题的解决

qq_29566629 2019-08-18 15:34:14 899 收藏 2展开介绍使用load_data()在下载cifar10数据集时,每次运行都会重新下载,很是烦人,解决方法如下,以linux为例:在 Linux中,keras下载的模型和数据集都是存在一个文件夹中,~/.keras,也就是根目录下的.keras中,如下图:Linux中以.开始的文件都是隐藏文件,查看方法见我另一篇另一篇博客,这个目录下结构如下:下载的cifar-10数据集如下:原来下载的文件名 为:c...

2020-06-07 14:26:02 146

原创 TensorFlow2.0 学习 线性回归

import numpy as npimport tensorflow as tfX = np.array([1, 2, 3, 4, 5], dtype=np.float32)y = np.array([10, 19, 31, 42, 53], dtype=np.float32)# X = (X_raw - X_raw.min()) / (X_raw.max() - X_raw.min())# y = (y_raw - y_raw.min()) / (y_raw.max() - y_raw..

2020-06-02 17:37:07 93

原创 余弦相似度

余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1,而其他任何角度的余弦值都不大于1;并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时,余弦相似度的值为1;两个向量夹角为90°时,余弦相似度的值为0;两个向量指向完全相反的方向时,余弦相似度的值为-1。这结果是与向量的长度无关的,仅仅与向量的指向方向相关。余弦相似度通常用于正空间,因此给出的值为-1到1之间。注意这上下界对任何维度的向量空间中都适用,而且余弦相似性

2020-05-29 14:48:03 179

原创 机器学习——L0、L1、L2范数

今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。监督机器学习问题无非就是“minimize your error while regularizing your parameters”,也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据,而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊!因为参数太多,会导致我们的模型复杂度上升,容易过拟合,也就是我们的

2020-05-29 14:42:16 88

原创 Arcface v1 论文翻译与解读

神罗Noctis 2019-10-13 16:14:39 543 收藏 4展开论文地址:http://arxiv.org/pdf/1801.07698v1.pdf最新版本v3的论文翻译:Arcface v3 论文翻译与解读Arcface v1 论文的篇幅比较长,花费了本人3天的时间进行翻译解读,希望能够帮助读者更好地理解论文。ArcFace: Additive Angular Margin Loss for Deep Face Recognition目录Abstract1. Int..

2020-05-29 11:33:43 105

原创 Insightface项目爬坑指南+使用本地数据集训练流程(MXNET版)

其实半年多前就已经把insightface训练等一系列环节弄熟了,不得不说IBUG组的这个模型确实是开源界的翘楚,但是还是存在一些问题在某些程度上和商汤云从等大厂存在一点差距,这不妨碍大部分人日常人脸识别的使用。给大佬点烟xxx.bin的制作这次也不更新截图了,等下次要用的时候一起截图更新吧~前言公司希望使用新的人脸识别算法去升级老的算法,于是有了此次爬坑之旅使用的是Mxnet的版本,直接从git上lclone一份代码,目前我拉下来的代码里是有问题的,我会在后续里写出。ps,第一次使用MXNET

2020-05-29 11:06:00 226

原创 这些deep learning(rnn、cnn)调参的经验值得分享

由于机器学习(包括神经网络)调参的经验内容比较多,我的回答篇幅会较长些,我尽量浓缩每个知识点,欢迎各位讨论指点。 深度神经网络,尤其是卷积神经网络(CNN)允许由多个隐藏层组成的计算模型来学习具有多个抽象层次的数据表示。这些方法大大改善了视觉对象识别,对象检测,文本识别以及药物发现和基因组学等许多领域的现状。 另外,实际上在这个主题上全球已经发表了很多实用的论文,并且已经提供了一些高质量的开源机器学习工具包。然而,它可能缺乏...

2020-05-29 10:34:10 94

原创 你有哪些deep learning(rnn、cnn)调参的经验

总结一下在旷视实习两年来的炼丹经验,我主要做了一些 RL,图像质量,图像分类,GAN 相关的任务『可复现性和一致性』有的同学在打比赛的时候,从头到尾只维护若干份代码,每次载入前一次的训练参数,改一下代码再炼,俗称老丹。这样会有几个问题:某次引入一个 bug,过了很久才发现,然后不知道影响范围;得到一个好模型,但是不知道它是怎么来的;忘了自己的 baseline,不知道改动是正面还是负面。要尽可能确保每一个模型有可复现性,实践上建议代码不应该在训练后再改动,训练新的模型时,把旧的代码复制一遍。得到的

2020-05-29 10:27:56 97

原创 insightface和facenet效果+性能比较

最近研究了一下两大开源人脸识别算法:insightface和facenet,包括算法效果与性能,facenet使用的是较早的softmax,Python3环境,基于tensorflow实现;insightface使用的是18年出的arcface,Python2环境,基于mxnet实现。关于不同loss函数的区别,可以参看人脸识别损失函数综述(附开源实现)算法效果比较算法层面上,使用最新的arcface比相对较早的facenet的效果是要好的,在megaface这个高难度赛事上也证明了这一点。在lfw

2020-05-29 10:22:43 438

原创 解析ArcFace源码

猫猫与橙子 2019-10-09 17:20:38 893 收藏 2展开论文分享,代码复现主要用于论文翻译分享,代码复现,结合场景数据,提升实际模型性能猫猫与橙子¥19.90分享赚¥1.99 订阅专栏最近在看arcFace当中pytorch代码的实现,先把InsightFace中ArcFace代码贴出来:class Arcface(Module): # implementation of additive margin softmax loss in https://arx...

2020-05-28 19:14:14 85

原创 人脸识别的损失函数解读

最近在研究自编码器提取特征做分类和生成、重建。所以细致了解人脸识别的各种损失函数!文章目录1、概要2、Softmax Loss3、Center Loss4、A-Softmax Loss5、L-Softmax Loss6、CosFace Loss7、AM-Softmax8、ArcFace/Insight Face9、小结一下10、参考链接1、概要人脸识别:输入一张图片,进行人脸检测,再提取关键点进行人脸对齐矫正,最后提取人脸特征,进行判别这个人是谁。判别这个人是谁,本质上是分类问题

2020-05-28 18:35:24 140

原创 一分钟理解softmax函数(超简单)

做过多分类任务的同学一定都知道softmax函数。softmax函数,又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法:下面为大家解释一下为什么softmax是这种形式。首先,我们知道概率有两个性质:1)预测的概率为非负数;2)各种预测结果概率之和等于1。softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。1)将预测结果转化为非负数下图为y=exp(x)的图像,我们可以知道指

2020-05-28 09:58:49 99

原创 github

长期工作在Ubuntu Linux环境下,对于下载Github上的代码是硬需求,这里分享一个小妙招,可以将下载速度从20k提高到9M。方法一:通过代理的方式,一步搞定,如果你有代理,那么一定是这么玩的。export ALL_PROXY=socks5://127.0.0.1:1080测试一下TCP成功到达谷歌服务器,就说明咱们终端的TCP已经走代理了。然后就可以从Github轻松的下载代码了,速度极快的。Live 讲座WEB安全攻防入门作者 ailx...

2020-05-26 13:51:22 128

原创 Deep Learning的基础概念

目录DNN CNN DNN VS CNN Example 卷积的好处why convolution? 权值共享 parameter sharing 稀疏连接 sparse connection 平移不变性 DCNN 卷积核移动的步长 stride 激活函数 active function 通道 channel 补零 padding 参数计算 池化层 Pooling layer 池化层的超参数: 池化层的类型: 全连接

2020-05-25 19:29:41 92

原创 1X1 convolution layers

一文读懂卷积神经网络中的1x1卷积核Amusi微信公众号:CVer552 人赞同了该文章前言在介绍卷积神经网络中的1x1卷积之前,首先回顾卷积网络的基本概念[1]。1. 卷积核(convolutional kernel):可以看作对某个局部的加权求和;它是对应局部感知,它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体,而是先从局部开始认识,这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸(一般是奇数x奇数)。卷积核的个数就对应输...

2020-05-25 16:56:24 124

原创 云服务迎来最好时代2020 yuannian:阿里云400亿,腾讯云170亿

近几年来,全球各界积极推进数字化、智能化转型,越来越多企业开始部署物联网,并将应用部署在云端,推动云服务呈现高速增长态势。2018年全球云基础设施服务规模778亿美元,2019年同比增长37.6%至1071亿美元,预计到2024年将增长至2840亿美元,年复合增长率为24%,这一数据来自权威调研机构Canalys。全球云市场亚马逊独领风骚透过机构数据可以看出,全球云服务市场形成亚马逊与微软双雄格局,而中国云服务市场则形成阿里云与腾讯云两强争霸态势。需要指出的是,自亚马逊在2006年开创性推出A.

2020-05-24 16:25:40 658

原创 信用评分如何应用在风控策略中(二)

上一期主要说了ABC三卡的功能和作用,并没有具体阐述信用评分的实际应用过程,这次就这个问题,进行了搜索并思考,归结如下:风险策略是什么,风险策略是由很对信审风控规则所组成的一个用以实现金融机构风险控制目标的一个规则集合这个图,大概就一般审批风险政策的整个决策流(这个描述其实不是很精准,在审批授信时,除了准入审批外,还需要进行核定额度和定价,后面会有所讨论)。当然在实际运用中各有各的风格,会有些许的差别,不过大概模块都是差不多的。进件规则进件规则的主要作用是用来定义信贷产品特定的目标客群。比如

2020-05-24 16:16:49 391

提示
确定要删除当前文章?
取消 删除