自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(243)
  • 资源 (23)
  • 论坛 (1)

原创 产品工作中/阅读中的涓滴意念

工作中/阅读中的涓滴意念,也许在未来某个一筹莫展的时刻能让我茅塞顿开。

2020-03-10 20:36:47 59

原创 并行计算与机器学习

重要概念通信:sharing memory & message passing架构:client-server & peer-to-peerSynchronization: bulk synchronous & asynchronousParallelism: data parallelism ( more popular) VS model parallelism并行编程模型MapReduce: message passing, client-server,an

2020-08-16 17:02:15 62

原创 各机器学习平台视频建模功能汇总

产品类型 视频数据管理 模型场景 建模方式 交互方式 AI建模平台 EasyDL 专业版 不支持 不支持 不支持 不支持 EasyDL经典版 支持,但不支持标注 视频分类...

2020-08-07 19:23:11 70

原创 SageMaker 超参数优化作业

体验了华为ModelArts、百度BML&EasyDL、阿里云PAI以及亚马逊SageMaker的超参数优化功能,可以说,SageMaker在产品成熟度、AI建模流程的定义以及特性功能上都大幅的领先。由于国内区部分只能企业用户注册,所以使用的是国外区,记录了截图,以便后面网络不畅时可以了解:...

2020-08-03 20:08:33 83

原创 深度学习模型提升模型效果的常见方法

在训练集上表现不好,需要降低bias:调整超参数,如设置更深更宽的网络训练更长的时间选择其它特征学习函数(CNN、RNN、LSTM、GRU等)在验证集上表现不好,需要降低方差:引入正则化(如L2)引入dropout提供更多的训练数据基于数据增强,如图片翻转、裁剪、旋转等采集更多的数据调整数据的平衡性在测试集上表现不好,需要降低方差:需要使用更多的验证集超参数调优:α:Learning Rateβ:momentum中的参数β1,β2,ε:adm中的参数激活

2020-06-28 19:29:14 316

原创 机器学习的行业与场景总结

行业与场景金融服务风险管理信用评分预测分析客户流失欺诈检测违约风险贷前客户评分贷后违约预测网点备付金智能预测保险索赔管理客户流失欺诈识别反洗钱异常检测行销信用评分客户流失欺诈识别潜在客户评分个性化广告优化零售客户流失广告优化个性化教育精准营销政务舆情监测汽车客群分析客流分析精准营销二手车交易欺诈检测

2020-06-11 21:15:40 117

原创 预训练的ONNX模型

获取地址:https://github.com/onnx/modelsNLP类:text/machine_comprehension视觉类:vision

2020-05-13 00:16:20 169 1

原创 在Window10下基于Anaconda安装Tensorflow以及Keras并基于Spyder进行验证

这里写自定义目录标题环境信息安装目的安装过程安装验证环境信息Window 10Anaconda3(64-bit)安装目的安装Keras,并使用Tensorflow作为其后端。也就是说执行完安装后,Keras和Tensorflow都是可以使用的安装过程以管理员身份运行Anaconda Prompt。在默认的base环境中执行安装命令: conda install the...

2020-04-12 13:05:22 211

原创 百度EasyDL试用示例

场景说明基于EasyDL完成猫狗图像分类模型,在完成部署后,通过H5完成手机端验证,通过Postman对API进行了测试。通过上述流程完成对EasyDL功能的体验。体验总结EasyDL是以模型为中心的设计,但模型仅是个中间产物,不是很合理功能入口的逻辑不够清晰,模型的训练与部署在独立的EasyDL中实现,而服务的管理则要在百度智能云中的EasyDL中实现,这个逻辑有点感人。服务的运维监...

2020-03-26 23:48:14 10232

原创 深度学习各场景评估指标总结

下表总结了机器学习在常见场景下使用的评估指标:(PS:原文档包含截图,已上传到个人资源)类别 场景 场景描述 应用场景             图像 图像分类 识别一张图中是否是某类物体/状态/场景,适用于图片内容单一、需要给整张图片分类的场景 1、图片内容检索:定制训练需要识别的各种物体,并结合业务信息展现...

2020-03-17 18:16:34 365

原创 《TensorFlow 2.0深度学习算法实战教材》学习笔记(九、卷积神经网络)

全连接网络的问题局部相关性网络层的每个输出节点都与所有的输入节点相连接,用于提取所有输入节点的特征信息,这种稠密(Dense)的连接方式是全连接层参数量大、计算代价高的根本原因。全连接层也称为稠密连接层(Dense Layer),当全连接层的激活函数????为空时,全连接层也称为线性层(Linear Layer):其中????????????????????(????)表示I 层的节点集合。基于距离的重要性分布假设称为局部相关性...

2020-02-12 18:48:05 511

原创 《TensorFlow 2.0深度学习算法实战教材》学习笔记(八、过拟合)

机器学习的主要目的是从训练集上学习到数据的真实模型,从而能够在未见过的测试集上面也能够表现良好,我们把这种能力叫做泛化能力。提到了模型的表达能力,也称之为模型的容量(Capacity)。当模型的表达能力偏弱时,比如单层线性层,它只能学习到线性模型,无法良好地逼近非线性模型;但模型的表达能力过强时,他就有可能把训练集的噪声模态也学到,导致在测试机上面表现不佳的现象(泛化能力偏弱)。因此针对不同的...

2020-02-11 19:21:25 150

原创 《TensorFlow 2.0深度学习算法实战教材》学习笔记(七、Kears高层接口)

Keras 是一个主要由Python 语言开发的开源神经网络计算库。Keras 库分为前端和后端,其中后端可以基于现有的深度学习框架实现,如Theano,CNTK,TensorFlow,前端接口即Keras抽象过的统一接口API。那么 Keras 与tf.keras 有什么区别与联系呢?其实Keras 可以理解为一套搭建与训练神经网络的高层API 协议,Keras 本身已经实现了此协议,可以方便...

2020-02-11 18:29:25 284

原创 《TensorFlow 2.0深度学习算法实战教材》学习笔记(六、反向传播算法)

反向传播算法和梯度下降算法是神经网络的核心算法。导数与梯度导数本身是标量,没有方向,但是导数表征了函数值在某个方向Δ????的变化率。在这些任意Δ????方向中,沿着坐标轴的几个方向比较特殊,此时的导数也叫做偏导数(Partial Derivative)。对于一元函数,导数记为????????/????????;对于多元函数的偏导数,记为????????/????????1,????????/????????2, …等。偏导数是导数的特例,也没有方向。梯度下降算法:????′ =...

2020-02-11 12:34:54 116

原创 《TensorFlow 2.0深度学习算法实战教材》学习笔记(五、神经网络)

DL is essentially a new style of programming–“differentiable programming”–and the field istrying to work out the reusable constructs in this style. We have some: convolution, pooling,LSTM, GAN, VAE, m...

2020-02-10 23:15:47 249

原创 《TensorFlow 2.0深度学习算法实战教材》学习笔记(四、TensorFlow 进阶)

合并与分割合并张量的合并可以使用拼接(Concatenate)和堆叠(Stack)操作实现,拼接并不会产生新的维度,而堆叠会创建新维度。选择使用拼接还是堆叠操作来合并张量,取决于具体的场景是否需要创建新维度。拼接 在TensorFlow 中,可以通过tf.concat(tensors, axis),其中tensors 保存了所有需要合并的张量List,axis 指定需要合并的维度。a = ...

2020-02-10 21:36:51 125

原创 《TensorFlow 2.0深度学习算法实战教材》学习笔记(三、TensorFlow 基础)

数据类型TensorFlow 中的基本数据类型,它包含了数值型、字符串型和布尔型。数值类型数值类型的张量是TensorFlow 的主要数据载体,分为:标量(Scalar) 单个的实数,如1.2, 3.4 等,维度数(Dimension,也叫秩)为0,shape 为[]向量(Vector) n 个实数的有序集合,通过中括号包裹,如[1.2],[1.2, 3.4]等,维度数为1,长度不定,...

2020-02-10 19:43:33 193

原创 《TensorFlow 2.0深度学习算法实战教材》学习笔记(二、回归问题和分类问题)

回归问题解析解与数值解解析解:通过严格的公式推导出的精确解称为解析解(Closed-form Solution)。但是对于多个数据点(???? ≫ 2)的情况,这时很有可能不存在解析解,我们只能借助数值方法去优化(Optimize)出一个近似的数值解(Numerical Solution)数值解:是采用某种计算方法,如有限元的方法, 数值逼近,插值的方法, 得到的解.别人只能利用数值计算的结果,...

2020-02-10 12:50:33 167

原创 《TensorFlow 2.0深度学习算法实战教材》学习笔记(一、人工智能绪论)

人工智能绪论人工智能,机器学习,神经网络,深度学习之间关系机器学习分类机器学习可以分为有监督学习(Supervised Learning)、无监督学习(UnsupervisedLearning)和强化学习(Reinforcement Learning)有监督学习 有监督学习的数据集包含了样本????与样本的标签????,算法模型需要学习到映射????????: ???? → ????,其中????????代表模型函...

2020-02-10 12:33:29 327

原创 在Asciidoc中的多级列表以及缩进的使用

保持合理的缩进可以保障文档的可读性,Asciidoc在语法上对缩进提供了支持,示例代码:- Praesent eget purus quis magna eleifend eleifend. 1. Fusce euismod commodo velit.+--image::help/images/ditaa-diagram.png[title="示例1",alt="zetyun.c...

2020-01-07 17:23:00 234

原创 产品设计思维工具(2019年做产品的一点总结)

序号 方法 应用场景/说明 1 先使用文字陈述出所有已知信息,再进行精简 界面Label定义 文字描述 2 将信息结构化 界面信息排列,结构化可以提供良好的阅读理解以及扩展能力 3 ...

2019-12-31 19:16:55 79

原创 在Dockerfile中安装本地whl包

将whl包上传到Dockerfile所在的目录,通过COPY命令将安装包拷贝到镜像中,再通过RUN执行安装命令即可FROM registry.domain.com:5000/aps/module/base/baseimage-cpu:3.1.3COPY pip-9.0.1-py2.py3-none-any.whl /tmpRUN pip install --use-wheel --no...

2019-11-07 17:51:07 1088

原创 将机器学习模型部署为服务

简单了解了mlflow和seldon两种方式,相关学习内容记录如下:mlflowhttps://github.com/mlflow/mlflow1、训练模型:$ python examples/sklearn_logistic_regression/train.py(会在后台训练,需要等待)2、将模型部署为服务:$ mlflow models serve --model-uri ru...

2019-10-12 18:32:31 209

原创 单机(CentOS虚拟机)中部署Kubernetes

1、安装K8Shttps://github.com/gjmzj/kubeasz/blob/master/docs/setup/quickStart.md2、安装Dashboardhttps://github.com/gjmzj/kubeasz/blob/master/docs/guide/dashboard.md3、登录Dashboard访问https://192.168.64.2...

2019-10-10 19:40:02 140

原创 一些知名科技公司的开源机器学习框架/平台

公司 框架 Github 百度 PaddlePaddle https://github.com/PaddlePaddle Linkdin Photon ML https://github.com/linkedin/photon-ml 360 Xlearning https://github.com/Qihoo360/Xlearning ...

2019-08-27 09:42:52 1013

原创 在Windows 10中使用TortoiseGit进程gitlab仓库的管理

前提条件已在windows上安装TortoiseGit。说明:TortoiseGit是一个windows 外壳程序,也就是会集成在文件夹的右键菜单中,类似svn;而不是一个独立的客户端程序。参考链接:https://www.cnblogs.com/hito/articles/5873236.htmlTortoiseGit的使用类似svn一样,可以将远程仓库克隆到本地(P...

2019-08-13 21:33:47 201

原创 机器学习模型的可解释性

公司产品要求支持模型可解释性,因此对Dataiku和Rapidminer中提供的模型可视化功能进行了初步了解,记录在此。树/森林模型的可解释性树/森林模型可以用于分类和回归问题,且模型解释方式是一致的。树模型树形结构Dataiku中的树模型:Rapidminer中的树模型:变量重要性Dataiku中的变量重要性:Rapidminer中的变量重要性:...

2019-08-06 09:57:24 665

原创 各数据库连接串

数据库类型 url连接参数 document teradata jdbc:teradata://<host>/DATABASE=<database>,DBS_PORT=<port>,TRUSTED_SQL=ON https://teradata-docs.s3.amazonaws.com/doc/connectivity/jdbc/r...

2019-08-02 19:51:24 536

原创 在Xshell中直接上传或下载文件

rz上传sz文件名下载tarzcpfxxxx.tgzxxxx打包tarzxpfxxxx.tgz解压

2019-08-01 19:23:27 844

转载 在CNN网络中1*1卷积的作用

文章列表:https://www.cnblogs.com/CZiFan/p/9490565.htmlhttps://blog.csdn.net/weixin_31866177/article/details/86684203

2019-07-30 19:40:54 301

原创 自动驾驶感知系统(图)侵删

2019-07-25 20:44:52 404

原创 YellowBrick-聚类评估示例

Yellowbrick库是一个机器学习的诊断可视化平台,可用于引导数据科学家进行模型选择。它用一个新的核心对象扩展了SciKit学习API:可视化工具。可视化工具允许模型作为SciKit学习管道过程的一部分进行拟合和转换,在高维数据转换过程中提供可视化诊断。在机器学习中,聚类属于无监督机器学习算法,聚类是指将数据分组为类似的对象组成的多个模式的分析过程。聚类算法主要有两类:将相似数据点连接在一...

2019-07-18 21:10:11 522

原创 Hive鉴权方式说明

当通过JDBC方式访问Hive数据库时,可以通过在连接参数中将“AuthMech”设置为不同的值来使用不同的鉴权方式,如下给出各种鉴权方式的连接串示例 不使用鉴权:在连接参数中将“AuthMech”属性设置为“0” 连接串示例: jdbc:hive2://IPAddress:Port;AuthMech=0 使用Kerbors鉴权:在连接参数中将“AuthMech”属...

2019-07-17 15:08:44 635

原创 sklearn训练模型、保存模型文件(文本、pkl)、模型文件转换(pkl2onnx)以及模型可视化

1.使用环境IDE:Jupyter Lab,使用Python2 kernel实现模型可视化:GraphViz,可以直接在jupyter中使用;Netron window版本模型转化:在onnx/onnx-ecosystem容器中进行2.代码创建并训练模型import matplotlib.pyplot as plt%matplotlib inlineimport...

2019-07-13 19:07:34 2735 2

原创 各类机器学习框架保存的模型的格式

ONNX (.onnx, .pb, .pbtxt) Keras (.h5, .keras) Core ML (.mlmodel) Caffe2 (predict_net.pb, predict_net.pbtxt) MXNet (.model, -symbol.json) TensorFlow Lite (.tflite). Caffe (.caffemodel, .prot...

2019-07-13 09:30:57 1095

原创 在Jupyter Notebook中调用ML模型服务图像标题生成器

说明:写本文的目的主要是验证如何在Jupyter Notebook中通过API调用机器学习模型服务。1、环境说明CentOS7(部署在VMware Workstation Pro中的虚拟机)需要安装有docker2、前提条件:镜像准备部署了图形检测服务的镜像:codait/max-image-caption-generatorGithub地址:https://github.c...

2019-07-12 20:25:28 116

原创 在Jupyter Notebook中实现图像检测服务的调用

1、环境说明CentOS7(部署在VMware Workstation Pro中的虚拟机)需要安装有docker2、前提条件:镜像准备部署了图形检测服务的镜像:codait/max-object-detectorGithub地址:https://github.com/IBM/MAX-Object-Detector该模型识别出COCO数据集中80个不同的高级对象类的图像中存在的...

2019-07-12 19:22:51 295

原创 openshift启动失败

问题描述:kube-apiserver自检没有通过,检查发现端口8443没有监听[root@openshift openshift]# oc cluster upGetting a Docker client ...Checking if image openshift/origin-control-plane:v3.11 is available ...Checking type...

2019-06-29 19:11:56 3091

原创 did not detect an --insecure-registry argument on the Docker daemon解决方法

问题描述:启动Openshift(openshift-origin-server-v3.11.0-0cbc58b-linux-64bit)时,报错信息如下所示:[root@zeppelin openshift]# oc cluster upGetting a Docker client ...Checking if image openshift/origin-control-pla...

2019-06-29 18:14:07 1212

原创 nginx 405 not allowed问题解决方法

在location中增加如下一行内容error_page405=200$request_uri; 如下所示 server { listen 80; server_name localhost; #charset koi8-r; #access_log logs/host.access.log ...

2019-06-25 21:30:45 5740 3

02-谷歌AutoML.rar

AutoML Video Intelligence Classification和AutoML Video Intelligence Object Tracking产品使用

2020-08-07

深度学习在各场景下的评估指标

梳理了在百度EasyDL上如下几种深度学习场景下的评估指标以及展示方式:  图像:图像分类、物体检测、图像分割  文本:文本分类、短文本匹配、序列标注  视频:视频分类  声音:声音分类

2020-03-17

视频分类数据集dance和driving

包括dance和driving两类视频数据集,各约50个视频文件,可以用于学习训练视频分类模型(包括dance和driving两类视频数据集,各约50个视频文件,可以用于学习训练视频分类模型、包括dance和driving两类视频数据集,各约50个视频文件,可以用于学习训练视频分类模型)

2020-03-17

序列标注sample-text-seq-annotated-iob.zip

示例内容如下所示: 冯 海 韬 1 5 0 1 0 6 7 7 7 0 5 贵 州 省 黔 东 南 苗 族 侗 族 自 治 州 天 柱 县 凤 城 街 道 蚂 蟥 龙 建 龙 路 9 - 1 1 号 P-B P-I P-I T-B T-I T-I T-I T-I T-I T-I T-I T-I T-I T-I A1-B A1-I A1-I A2-B A2-I A2-I A2-I A2-I A2-I A2-I A2-I A2-I A2-I A3-B A3-I A3-I A4-B A4-I A4-I A4-I A4-I A4-I A4-I A4-I A4-I A4-I A4-I A4-I A4-I A4-I A4-I

2020-03-17

AntDesign.rp

AntDesign3.9版本 为方便查看AntDesign 元件库中的内容,将所有内容都拷贝到页面中,组织结构与rplib中的保持相同。

2020-01-16

Jupyter Notebook Cheatsheet.pdf

本指南向您介绍了在本地使用Jupyter笔记本(运行Python 3、Pandas、matplotlib和Pandas珍宝数据连接器)作为数据分析和可视化控制面板(以珍宝数据作为数据后端)的基础知识。(要远程运行Jupyter笔记本,只需省略安装步骤,然后直接在浏览器中浏览在线服务。)

2019-12-11

Axure团队项目页面原型规范.zip

Axure原型规范,包括如何组织目录结构、页面大小、弹出框大小、页面各元素规则等。主要用于团队项目中规范设计。

2019-08-22

Acsiidoc 示例文件--用于快速学习asciidoc语法

附件包括两个asciidoc的示例文件: cheatsheet.adoc------AsciidocFX软件自带的示例 userguide.adoc-------asciidoc官网提供的示例,对应生成的html为http://asciidoc.org/asciidoc.html

2019-04-03

基于asciidoc的产品文档大纲规划-中文版本

基于asciidoc的产品文档大纲规划,文档为中文版本,直接修改asciidocFX自带的英文示例发布为中文文档时会出现乱码,可以在该示例的基础上修改。

2019-03-18

1500行×3000列 数据集

一个大宽表数据文件,可以用于测试数据处理类平台的可用性边界,内容是数值

2019-03-13

Pandas知识速览

包括三个图片,涵盖了pandas的基本使用方法,方便初学者快速记忆

2018-10-27

ggplot2知识速览

只包括两页,但是涵盖了ggplot2的主要知识,方便初学者快速记忆

2018-10-27

垃圾邮件分类文本文件

包括normal.txt 和spam.txt两个文件,分别表示有效邮件文本和垃圾邮件文本,两个文件各含有25封邮件内容

2018-10-23

PySpark 知识速览

附件为pdf文件,是pyspark相关知识的汇总,包括pySpark、RDD以及SQL三个pdf文件

2018-10-19

Talend 数据准备等资料

主要是talend对外的市场资料,包括数据质量、实时大数据、数据整合、元数据管理、主数据管理几个pdf

2018-10-19

Kylo调研总结

Kylo定位于企业级的数据湖管理平台(Data Lake Platform),它是基于Spark和NiFi的开源数据湖编排框架,Kylo提供的主要特性包括数据获取、数据准备和数据发现,并支持元数据管理、数据治理和高级安全特性。

2018-10-16

Centos7 yum安装mysql的repo

将该repo放在/etc/yum.reop目录下,可以通过yum安装mysql

2018-06-24

sqoop连接Oracle11.2.0.2.0的驱动包

利用sqoop导出oracle的数据时所需的驱动包,只需要将该包放到hive或sqoop的lib目录下即可。

2018-06-16

sqoop连接db2的驱动包

利用sqoop导出DB2的数据时所需的驱动包,只需要将该包放到hive或sqoop的lib目录下即可。

2018-06-16

sqoop连接Postgres SQL 的驱动包

利用sqoop导出PostgresSQL的数据时所需的驱动包,只需要将该包放到hive或sqoop的lib目录下即可。

2018-06-16

sqoop连接SQL server的驱动包

利用sqoop导出sql server的数据时所需的驱动包,只需要将该包放到hive或sqoop的lib目录下即可。

2018-06-13

Hive数据文件以及CLI操作命令

附件包括一个数据文件(csv文件,包括92168条记录)和一个包含操作命令的txt文件,用于Hive的学习。 其中csv文件可以上传到HDFS构建测试数据,txt文件给出了相关的操作命令。

2017-09-18

mysql-connector-java-5.1.31-bin.ja

该包用于Hive的远程模式,即Hive使用MySQL作为其元数据库时,需要使用该包,已验证在Hive1.2.1版本该包可用。http://blog.csdn.net/wiborgite/article/details/78022620

2017-09-18

汀桦坞的留言板

发表于 2020-01-02 最后回复 2020-04-23

空空如也
提示
确定要删除当前文章?
取消 删除