自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1747)
  • 论坛 (7)
  • 收藏
  • 关注

原创 巨杉数据库:金融级数据库未来方向

巨杉数据库:金融级数据库未来方向 引言近年来,全球金融科技每年的投入已经超过500亿美元,中国的金融科技发展更是引领世界潮流。在金融科技不断发展的今天,中国金融互联网化和零售化的发展愈加激烈,使得我国金融业务与科技的有机结合应用模式备受世界瞩目。 对应着高速发展的业务模式与创新,现代金融系统亟需技术架构的革新来满足日益增长的业务需求。这其中包括了业务系统敏捷性、风险控制、成本控制、性能和业务发展对...

2018-05-03 09:01:57 1421

原创 巨杉数据库入选Gartner报告,中国数据库原创力量崛起

SequoiaDB巨杉数据库入选Gartner数据库推荐2017报告SequoiaDB巨杉数据库入选Gartner数据库报告,成为国内首批入选Gartner报告的数据库厂商。  “巨杉数据库SequoiaDB,总部位于中国广州,是一款分布式、多模型(Multimodel)、高可用的SQL数据库。巨杉数据库具有跨地域分布式部署和灵活扩展的能力,同时还支持针对内容和文件的块存储引擎。此外,Sequoi...

2015-09-21 21:24:20 7665

原创 tensorflow之过拟合问题实战

tensorflow之过拟合问题实战1.构建数据集我们使用的数据集样本特性向量长度为 2,标签为 0 或 1,分别代表了 2 种类别。借助于 scikit-learn 库中提供的 make_moons 工具我们可以生成任意多数据的训练集。import matplotlib.pyplot as plt# 导入数据集生成工具import numpy as npimport seaborn as snsfrom sklearn.datasets import make_moonsfrom

2020-11-01 18:56:29 57

原创 Hive和HBase

一、两者的定义hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,它的本质就是将SQL语句转换为MapReduce任务进行运行。HBase是一个高可靠性、高性能、面向列、可伸缩的一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为Java。489034603二、两者的特点Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的,同时,它也能够和现存的.

2020-10-11 21:27:00 40

原创 入门HBase

团队内部要分享HBase的知识,之前研究了一段时间,知识比较零散,这一次就系统化的整理一番,之后在想到Hbase的时候,看着一篇就够了。概览特性Hbase是一种NoSQL数据库,这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。Hbase是一种分布式存储的数据库,技术上来讲,它更像是分布式存储而不是分布式数据库,它缺少很多RDBMS系统的特性,比如列类型,辅助索引,触发器,和高级查询语言等待。那Hbase有什么特性呢?如下:强读写一致,但是不是“最终一致性”的数据存储,这使

2020-10-11 21:16:31 41

原创 简单的MapReduce项目,计算文件中单词出现的次数

简单的MapReduce项目,计算文件中单词出现的次数计算文件中单词出现的次数,试题如下图1、创建读取单词的文件tast,内容如下:hadoop core map reduce hiv hbase Hbasepig hadoop mapreduce MapReduce Hadoop Hbasespark2、流程图如下:根据上图得知,计算流程中Mapping和Reducing是需要自己编写功能,其他交给Map/Reduce完成的那么,我们首先编写Mapping步骤的代.

2020-10-11 21:05:48 30

原创 MapReduce示例——WordCount(统计单词)

MapReduce示例——WordCount(统计单词)过程分析统计单词,把数据中的单词分别统计出出现的次数过程图(图片源自网络):实现Mapper、Reducer、DriverWordCountMapper :public class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable> { private Text k = new Text(); private IntW

2020-10-11 21:02:28 42

原创 MapReduce简述、工作流程

MapReduce简述、工作流程MR编程模型之执行步骤:  1、准备map处理的输入数据  2、mapper处理  3、Shuffle  4、Reduce处理  5、结果输出(input)<k1,v1> -> map -><k2,v2> -> combine -> <k2,v2> ->reduce -> <k3,v3>(output)处理流程:  流程:  ...

2020-10-11 20:51:38 151

原创 总结:详细讲解MapReduce过程(整理补充)

从启动和资源调度来看MapReduce过程Hadoop 1.x版本首先-先了解一下必知概念From:MapReduce工作原理图文详解,JobTracker和TaskTracker概述客户端(Client):编写mapreduce程序,配置作业,提交作业,这就是程序员完成的工作; JobTracker:JobTracker是一个后台服务进程,启动之后,会一直监听并接收来自各个TaskTracker发送的心跳信息,包括资源使用情况和任务运行情况等信息。 作业控制:在ha...

2020-10-11 20:46:33 169

原创 在Docker启动Cloudera并开始体验

开始之前最新版Docker 给Docker分配4GB内存 Docker可用的磁盘空间10GB使用Docker可以快速体验CDH,并且依据localhost提供的案例,可以体验CDH在Sqoop,HDFS,Hive,Impala,Spark,Search方面的应用。安装预计耗时15分钟左右,体验上诉各种场景在2小时左右。第一部分:安装CDH1. 从Cloudera下载docker镜像2. 解压缩之后导入docker import cloudera-quickstart-vm-5.1

2020-10-10 21:35:02 40

原创 使用 TOGAF 9.1 框架與 ArchiMate 3.0 建模語言

使用 TOGAF 9.1 框架與 ArchiMate 3.0 建模語言Warren2Lynch2018-05-21 09:18:081029收藏分类专栏:TOGAFArchiMate目錄執行摘要 簡介 企業體系結構框架的組件 TOGAF框架和ArchiMate語言 共同基金會 在TOGAF ADM 8中使用ArchiMate語言 ArchiMate 3.0標準的改進 初步階段 階段A:架構願景 B階段:業務架構 C...

2020-08-16 17:41:42 99

原创 阿里巴巴大数据之路——数据模型篇

阿里巴巴大数据之路——数据模型篇一、概述  1.什么是数据模型?    数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。  2.典型数据仓库建模方法论    ER模型    纬度模型(建模四步曲:确定业务流程->确定粒度->确定纬度->确定事实表)二、阿里巴巴数据整合管理体系oneData   1.体系架构        核心内容包括规范定义、模型设计等!    2.模型分层      主要分为三大层(.

2020-07-28 12:46:43 244

原创 ethereum Web 3 and private network

1. compile ethereum2. create network ./build/bin/geth --datadir data --networkid 20200107 --rpc --rpccorsdomain "*" init ./gochain/genesis.json2.1gensis.json{ "config": { "chainId": 15, "homesteadBlock": 0, "eip150Block": 0, ...

2020-07-07 09:26:58 203

原创 以太坊搭建,不能使用puppeth 创建初始块,报错Fatal: Failed to write genesis block: unsupported fork ordering: eip15

以太坊搭建,不能使用puppeth 创建初始块,报错Fatal: Failed to write genesis block: unsupported fork ordering: eip15新建 genesis.json在文件夹genesis中,写入:{ "config": { "chainId": 666, "homesteadBlock": 0, "eip150Block": 0, "eip150Hash": "0x000000000000000000...

2020-07-06 08:54:25 472

原创 腾讯内部人士爆与老干妈合作多个环节有漏洞 却没人察觉

虽然“合作”过程中已经出现了种种异常,但在老干妈和贵阳警方发出通告之前,腾讯可能都以为自己稳操胜券文 | 刘以秦 吴琼腾讯《QQ飞车》项目组已经被“保护”起来。项目组的每个人都被告知,不能对外透露任何相关信息,哪怕是面对腾讯的同事,有人问起,统一的答复是:“我只是执行项目,不清楚具体的情况”。至于那位洽谈老干妈合作项目的商务对接人,在腾讯内部的企业微信里已经搜不出他的名字。“我确定他还没有离职。”一位腾讯游戏业务人士告诉《财经》记者。老干妈和贵阳警方的“反转”公告,让腾讯陷入了尴尬的境地

2020-07-05 17:15:26 847

原创 商汤科技估值 100 亿美元融资进行中,寻找新的增长点

《晚点 LatePost》从多位参与商汤融资过程的人士处获悉,商汤科技正在进行 10 到 15 亿美元的新一轮融资。据悉,此轮融资将在 2020 年内完成,此轮融资后商汤的估值将达到 100 亿美元。此次融资的背景是,商汤今年希望投入大量资金进行人工智能平台的基础设施建设,加速芯片研发,升级扩容超算中心,以降低产品研发成本,提升规模化能力。商汤科技成立于 2014 年,创始人为香港中文大学信息工程系教授汤晓鸥,是目前全球估值最高的人工智能平台公司。多数人工智能公司专注一到两个细分场景,建立主营业

2020-07-02 20:29:44 482

原创 60分钟带你了解ALBERT

ALBERT原文:《ALITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》中文预训练ALBERT模型来了:小模型登顶GLUE,Base版模型小10倍速度快1倍。Google一出手就是不一样,不再是BERT+的模式,而是做了个大改动。ALBERT模型是BERT的改进版,与最近其他State of the art的模型不同的是,这次是预训练小模型,效果更好、参数更少。模型下载1、albert_large_zh,参数量

2020-07-01 09:24:04 143

原创 一文读懂BERT(原理篇)

一文读懂BERT(原理篇)2018年的10月11日,Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》,成功在 11 项 NLP 任务中取得 state of the art 的结果,赢得自然语言处理学界的一片赞誉之声。本文是对近期关于BERT论文、相关文章、代码进行学习后的知识梳理,仅为自己学习交流之用。因笔者精力有限,如果文中因引用了某些文章观点未标出处还望作者海涵,也希望

2020-07-01 09:19:23 3661

原创 工具用的好下班走的早

工具用的好下班走的早表设计的好代码写的少别逼逼,放码过来 || Talk is cheap. Show me the code.重启能解决电脑90%的问题,重装系统能解决99%的问题......这里对 工具用的好下班走的早,介绍2款代码生成工具MyBatisCodeHelper-ProMyBatis-Plugin插件的功能简介如下:提供Mapper接口与配置文件中对应SQL的导航.编辑XML文件时自动补全.根据Mapper接口, 使用快捷键生成xml文件及SQL标签.

2020-06-28 21:31:41 125

原创 纳指万点!苹果微软市值1.5万亿美元,腾讯阿里能否破万亿?

今年三四月,全球资本市场受到巨大冲击。因疫情冲击,以及折叠原油等其他因素,引发全球金融市场剧烈波动。随着疫情逐渐减缓的态势,工作、生活得到有序恢复,但全球经济依旧困难重重。来自近日,IMF(国际货币基金组织)更新《世界经济展望报告》预计,2020年全球增长率预计为–4.9%。当然,这一预测有极大的不确定性。相比世界经济不确定局面下,全球主要资本市场则大幅反弹。最新世界经济展望报告中指出:金融市场情绪的近期反弹幅度似乎与基本经济前景的变化脱节。需要指出的是,疫情逐渐受控、各国纷纷出台各种稳经济等举措.

2020-06-28 10:08:41 702

原创 sherlock机器视觉软件

weixin_44091798 2019-05-24 16:19:07 1694 收藏 2分类专栏: 技术分享版权摘要: TELEDYNE DALSA的Sherlock 是高级机器视觉软件,可以用于广泛的自动化检测应用。它提供了最大的设计灵活性,丰富的已验证的工具和功能,在全球数以千计地安装使用。TELEDYNE DALSA的Sherlock 是高级机器视觉软件,可以用于广泛的自动化检测应用。它提供了最大的设计灵活性,丰富的已验证的工具和功能,在全球数以千计地安装使用。像侦探一样可以洞察...

2020-06-23 09:42:45 338

原创 DALSA线阵CCD相机开发 之 opencv读取图片

SDK的下载Sapera_LT_8.31_SDK 百度网盘下载地址:链接:密码:ckm7。SDK的安装解压运行.exe文件,按照提示确定,下一步即可。帮助文档和demo如果要获得完整的帮助文档和demo,在SDK安装时选择full安装,路径可以自己选择,默认路径为 C:\Program Files\Teledyne DALSA\。主要demo简介在C:\Program Files\Teledyne DALSA\Sapera\Demos\Classes\VC中提供了多个开发Demo供用户参

2020-06-23 09:41:05 356

原创 opencv python 图像形态学操作/图像腐蚀/图像膨胀/开运算/闭运算/顶帽/黑帽

Morphological Transformations1图像腐蚀腐蚀的基本思想:侵蚀前景物体的边界(总是试图保持前景为白色);内核在图像中滑动(如在2D卷积中).只有当内核下的所有像素都是1时,原始图像中的像素(1或0)才会被认为是1,否则它会被侵蚀(变为零).边界附近的所有像素都将被丢弃,具体取决于内核的大小.因此,前景对象的厚度或大小减小,或者图像中的白色区域减小.它有助于消除小的白噪声,分离两个连接的对象原图:代码:import cv2import numpy as

2020-06-13 11:00:13 175

原创 Python中最常用十大图像处理库详细介绍

本文主要介绍了一些简单易懂最常用的Python图像处理库当今世界充满了各种数据,而图像是其中高的重要组成部分。然而,若想其有所应用,我们需要对这些图像进行处理。图像处理是分析和操纵数字图像的过程,旨在提高其质量或从中提取一些信息,然后将其用于某些方面。图像处理中的常见任务包括显示图像,基本操作(如裁剪、翻转、旋转等),图像分割,分类和特征提取,图像恢复和图像识别等。Python之成为图像处理任务的最佳选择,是因为这一科学编程语言日益普及,并且其自身免费提供许多最先进的图像处理工具。让...

2020-06-12 10:39:10 525

原创 图像开运算和闭运算

1、原理图像开运算与闭运算与膨胀和腐蚀运算有关,由膨胀和腐蚀两个运算的复合与集合操作(并、交、补等)组合成的运算构成。开运算与闭运算依据腐蚀和膨胀演变而来。1)开运算:先对图像腐蚀后膨胀。A○S= (AΘS)⊕ S作用:用来消除小的物体,平滑形状边界,并且不改变其面积。可以去除小颗粒噪声,断开物体之间的粘连。2)闭运算:先对图像膨胀后腐蚀A●S= (A⊕S)Θ S作用:用来填充物体内的小空洞,连接邻近的物体,连接断开的轮廓线,平滑其边界的同时不改变面积。2、开运算的实现.

2020-06-12 09:35:53 500

原创 图像孔洞填充与小连通域的删除

图像孔洞填充与小连通域的删除cvFindContours从二值图像中检索轮廓,并返回检测到的轮廓的个数。first_contour的值由函数填充返回,它的值将为第一个外轮廓的指针,当没有轮廓被检测到时为NULL。其它轮廓可以使用h_next和v_next连接,从first_contour到达。intcvFindContours(CvArr*image,CvMemStorage*storage,CvSeq**first_contour,...

2020-06-11 11:41:43 142

原创 transfer learning

import cv2 # working with, mainly resizing, imagesimport numpy as np # dealing with arraysimport os # dealing with directoriesfrom random import shuffle # mixing up or currently ordered data that might lead our network astray in training.from tqdm.

2020-06-08 21:44:54 111

原创 Tensorflow 2.1.0 中 keras.utils.plot_model()出错的解决方法

小小和蓝胖 2020-02-15 21:31:36 370 收藏 2展开最近在学习Tensorflow 2,使用keras模型可视化的plot_model()绘制模型图的时候报错。上网查找解决方案,发现网上的解决方法没有切中核心,因此在此记录备查。问题希望绘制模型图:from tensorflow import keraskeras.utils.plot_model(model, 'my_first_model.png')12报错:Failed to import pyd...

2020-06-08 19:07:28 270

原创 keras image predict

from __future__ import print_functionimport kerasfrom keras.models import Modelfrom keras.datasets import cifar10import numpy as npimport osfrom PIL import Imagefrom keras.preprocessing.image import img_to_arrayimport matplotlib.pyplot as plt#im.

2020-06-07 22:20:22 99

原创 基于Keras搭建cifar10数据集训练预测Pipeline

基于Keras搭建cifar10数据集训练预测Pipeline钢笔先生关注0.5412019.01.17 22:52:05字数 227阅读 500Pipeline本次训练模型的数据直接使用Keras.datasets.cifar10.load_data()得到,模型建立是通过Sequential搭建。重点思考的内容是如何应用训练过的模型进行实际预测,里面牵涉到一些细节,需要注意。同时,Keras提供的ImageDataGenerator为模型训练时提供数据输入,之前有总结过这个类,并

2020-06-07 21:36:04 186

原创 CV】keras_resnet 在cifar10数据集上分类

码农有道 2020-06-01 14:29:17 510 收藏展开文章目录1.导入库2.数据准备2.1 加载训练集2.2 加载测试集2.3 对类别做One-Hot编码2.4 对图片像素的0-255值做归一化,并减去均值3.搭建神经网络3.1 定义函数resnet_layer,返回值是经过resnet_layer计算的结果3.2 定义函数resnet_v1,返回值是模型对象3.3 定义函数resnet_v2,返回值是模型对象3.4 实例化模型对象3.5 多GPU并行训练...

2020-06-07 20:31:49 164

原创 Keras中Callback函数的使用

回调函数是一组在训练的特定阶段被调用的函数集,你可以使用回调函数来观察训练过程中网络内部的状态和统计信息。通过传递回调函数列表到模型的.fit()中,即可在给定的训练阶段调用该函数集中的函数。【Tips】虽然我们称之为回调“函数”,但事实上Keras的回调函数是一个类,回调函数只是习惯性称呼Callback例子No.1:官网示例保存训练过程中最好的模型from __future__ import print_functionimport numpy as npfrom keras..

2020-06-07 16:21:27 127

原创 使用keras的cifar10.load_data()总是会自动下载问题的解决

qq_29566629 2019-08-18 15:34:14 899 收藏 2展开介绍使用load_data()在下载cifar10数据集时,每次运行都会重新下载,很是烦人,解决方法如下,以linux为例:在 Linux中,keras下载的模型和数据集都是存在一个文件夹中,~/.keras,也就是根目录下的.keras中,如下图:Linux中以.开始的文件都是隐藏文件,查看方法见我另一篇另一篇博客,这个目录下结构如下:下载的cifar-10数据集如下:原来下载的文件名 为:c...

2020-06-07 14:26:02 233

原创 TensorFlow2.0 学习 线性回归

import numpy as npimport tensorflow as tfX = np.array([1, 2, 3, 4, 5], dtype=np.float32)y = np.array([10, 19, 31, 42, 53], dtype=np.float32)# X = (X_raw - X_raw.min()) / (X_raw.max() - X_raw.min())# y = (y_raw - y_raw.min()) / (y_raw.max() - y_raw..

2020-06-02 17:37:07 129

原创 余弦相似度

余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1,而其他任何角度的余弦值都不大于1;并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时,余弦相似度的值为1;两个向量夹角为90°时,余弦相似度的值为0;两个向量指向完全相反的方向时,余弦相似度的值为-1。这结果是与向量的长度无关的,仅仅与向量的指向方向相关。余弦相似度通常用于正空间,因此给出的值为-1到1之间。注意这上下界对任何维度的向量空间中都适用,而且余弦相似性

2020-05-29 14:48:03 243

原创 机器学习——L0、L1、L2范数

今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。监督机器学习问题无非就是“minimize your error while regularizing your parameters”,也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据,而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊!因为参数太多,会导致我们的模型复杂度上升,容易过拟合,也就是我们的

2020-05-29 14:42:16 124

原创 Arcface v1 论文翻译与解读

神罗Noctis 2019-10-13 16:14:39 543 收藏 4展开论文地址:http://arxiv.org/pdf/1801.07698v1.pdf最新版本v3的论文翻译:Arcface v3 论文翻译与解读Arcface v1 论文的篇幅比较长,花费了本人3天的时间进行翻译解读,希望能够帮助读者更好地理解论文。ArcFace: Additive Angular Margin Loss for Deep Face Recognition目录Abstract1. Int..

2020-05-29 11:33:43 169

原创 Insightface项目爬坑指南+使用本地数据集训练流程(MXNET版)

其实半年多前就已经把insightface训练等一系列环节弄熟了,不得不说IBUG组的这个模型确实是开源界的翘楚,但是还是存在一些问题在某些程度上和商汤云从等大厂存在一点差距,这不妨碍大部分人日常人脸识别的使用。给大佬点烟xxx.bin的制作这次也不更新截图了,等下次要用的时候一起截图更新吧~前言公司希望使用新的人脸识别算法去升级老的算法,于是有了此次爬坑之旅使用的是Mxnet的版本,直接从git上lclone一份代码,目前我拉下来的代码里是有问题的,我会在后续里写出。ps,第一次使用MXNET

2020-05-29 11:06:00 376

原创 这些deep learning(rnn、cnn)调参的经验值得分享

由于机器学习(包括神经网络)调参的经验内容比较多,我的回答篇幅会较长些,我尽量浓缩每个知识点,欢迎各位讨论指点。 深度神经网络,尤其是卷积神经网络(CNN)允许由多个隐藏层组成的计算模型来学习具有多个抽象层次的数据表示。这些方法大大改善了视觉对象识别,对象检测,文本识别以及药物发现和基因组学等许多领域的现状。 另外,实际上在这个主题上全球已经发表了很多实用的论文,并且已经提供了一些高质量的开源机器学习工具包。然而,它可能缺乏...

2020-05-29 10:34:10 115

原创 你有哪些deep learning(rnn、cnn)调参的经验

总结一下在旷视实习两年来的炼丹经验,我主要做了一些 RL,图像质量,图像分类,GAN 相关的任务『可复现性和一致性』有的同学在打比赛的时候,从头到尾只维护若干份代码,每次载入前一次的训练参数,改一下代码再炼,俗称老丹。这样会有几个问题:某次引入一个 bug,过了很久才发现,然后不知道影响范围;得到一个好模型,但是不知道它是怎么来的;忘了自己的 baseline,不知道改动是正面还是负面。要尽可能确保每一个模型有可复现性,实践上建议代码不应该在训练后再改动,训练新的模型时,把旧的代码复制一遍。得到的

2020-05-29 10:27:56 117

空空如也

starzhou的留言板

发表于 2020-01-02 最后回复 2020-07-18

开发搜索引擎需要什么技术呀?

发表于 2014-10-10 最后回复 2015-11-04

信息技术发展了快半个世纪了,感觉还是原始社会呀?

发表于 2014-11-09 最后回复 2015-01-09

请问:为什么要设置户籍?

发表于 2014-11-20 最后回复 2014-11-22

什么技术能改变世界?

发表于 2014-10-06 最后回复 2014-10-10

从互联网的旁观者,转为互联网的建设者,推动者!!! .

发表于 2014-10-08 最后回复 2014-10-10

还能开发搜索引擎吗?

发表于 2014-10-08 最后回复 2014-10-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除