自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 jvm---G1、GC 日志及分析

  由 匿名 (未验证) 提交于 2018-06-08 15:07:57 登录或注册以发表评论 6 次浏览 GC 日志及分析 实例:Roctetmq jvm 配置 JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m&qu...

2019-01-31 10:52:35 518 0

原创 中国车牌数据集

虽然国内csdn有好多,都是收费的,也不清楚质量怎样,另外数据也不会很多。找了好长时间,最后一个群里好友推荐,在github 搜索 CCPD,确实不错。谢谢好友推荐  第二车牌训练集:太大还没有下载看怎样,网址: http://vision.princeton.edu/projects/2010...

2019-01-30 19:43:26 13430 16

转载 模型调参:分步骤的提升模型的精度(cnn)

  机器学习AI算法工程 前天 机器学习AI算法工程  公众号: datayx https://mp.weixin.qq.com/s/Eu31_8E29msmwSmjiI57QQ   一、问题描述 当我们在处理图像识别或者图像分类或者其他机器学习任务的时候,我们总是迷茫于做出哪些改进能...

2019-01-30 08:41:21 5010 1

转载 TensorFlow 性能优化之 Performance Guide

  目录   Performance Guide 1. 通用的一些优化技术 1.1 输入管道优化 1.1.1 在 CPU 上进行数据预处理 1.2 使用 tf.data API 1.3 解码裁剪运算 1.4 使用大文件 1.2 数据格式...

2019-01-26 21:01:01 325 1

转载 Hadoop解决小文件存储思路

  2018年09月27日 09:20:38 拾荒路上的开拓者 阅读数:611 1.什么是小文件 小文件一般是指明显小于Hadoop的block size的文件。Hadoop的block size一般是64MB,128MB或者256MB,现在一般趋向于设置的越来越大。后文要讨论的内容会基于1...

2019-01-25 15:47:24 139 0

转载 TensorFlow - tf.train.batch 函数

  tf.train.batch 将数据 batch 化. 定义: 函数 tf.train.batch: tf.train.batch(tensors, batch_size, num_threads=1, ...

2019-01-25 12:41:42 929 0

转载 jvm---5、G1 GC 日志及分析

jvm---5、GC 日志及分析 由 匿名 (未验证) 提交于 2018-06-08 15:07:57 GC 日志及分析 实例:Roctetmq jvm 配置 JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m&quo...

2019-01-23 13:44:03 965 0

转载 【Tensorflow】tf.data API使用方法

  2018年10月10日 01:19:55 咖啡味儿的咖啡 阅读数:652  版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wangdongwei0/article/details/82991048 本文主要参考:Input Pipeli...

2019-01-22 20:05:30 313 0

转载 Tuning G1GC For SOA

Tuning G1GC For SOA   时间比较老,并且是jdk1.7,但是测试比较详细 August 31, 2016 by Abhay Kumar Leave a Comment Garbage-First Garbage Collector (G1GC) is a new GC ...

2019-01-22 17:19:57 237 0

转载 Tuning the JVM – G1GC Garbage Collector Flags for Minecraft

https://aikar.co/2018/07/02/tuning-the-jvm-g1gc-garbage-collector-flags-for-minecraft/ July 2, 2018 in Java, Minecraft, System Administration Intro...

2019-01-22 16:17:28 651 0

转载 TensorFlow - 构建数据管道(Pipeline)及 tf.data 与 feed_dict 对比[译]

  原文: Why tf.data is much better than feed_dict and how to build a simple data pipeline in 5 minutes. 1. feed_dict 和 tf.data 对比 Tensorflow 入门手册中...

2019-01-22 12:19:03 536 0

转载 Python中plt.imshow(image)无法显示图片解决办法

  2018年11月15日 19:40:45 sy20173081277 阅读数:193 1.如果无法显示出图片如下图: 但是明明plt.imshow()可以打印出来图像的数字形式,但是就是无法可视化的显示出来,这个时候有一种解决的办法如下所示: 可能是调用的库的中不同模块导致的问...

2019-01-17 12:13:00 2648 0

转载 实现 TensorFlow 多机并行线性加速

  2017-9-18 16:53| 发布者: 炼数成金_小数| 查看: 21988| 评论: 0|原作者: 王佐|来自: 天数科技 摘要: 深度学习训练需要海量的数据,这就需要超大规模参数的网络模型拟合。如果训练数据不足,会造成欠拟合;如果网络模型参数太少,只会得到低精度的模型。目前常见网络...

2019-01-17 11:20:23 982 0

转载 基于 Python 使用 CNN 实现身份证汉字和数字识别

  摘要: 背景与目标 光学字符识别 ( Optical Character Recognition, OCR ) 是将图像中的手写或打印文本转换为机器编码文本,以获取图像中文字及版面信息的过程。其目的是将图片中的文字识别出来,以便进一步对文字进行处理。 背景与目标 光学字符识别 ( Opt...

2019-01-14 19:42:03 3420 4

转载 tensorflow 实现端到端的OCR:二代身份证号识别

最近在研究OCR识别相关的东西,最终目标是能识别身份证上的所有中文汉字+数字,不过本文先设定一个小目标,先识别定长为18的身份证号,当然本文的思路也是可以复用来识别定长的验证码识别的。 本文实现思路主要来源于Xlvector的博客,采用基于CNN实现端到端的OCR,下面引用博文介绍目前基于深度学习...

2019-01-14 19:25:28 2272 1

转载 tensorflow 分布式 数据并行 同步训练 between-graph 实例 (1)

#coding=utf-8   #python example.py --ps_hosts=127.0.0.1:2222 --worker_hosts=127.0.0.1:2224,127.0.0.1:2225 --job_name=ps --task_index=0 --issync=1 #py...

2019-01-10 14:38:03 262 0

转载 数据存储text转parquet及引发的OOM问题

  1.数据转parquet的后效果   table1为textfile格式存储的表,分区20161122转换之前大小约400M,分别以parquet无压缩,parquet snappy压缩和parquet gzip压缩,转换到parquet格式的表table1_parquet的201611...

2019-01-03 17:07:50 559 0

转载 使用Hive SQL插入动态分区的Parquet表OOM异常分析

  1.异常描述 当运行“INSERT ... SELECT”语句向Parquet或者ORC格式的表中插入数据时,如果启用了动态分区,你可能会碰到以下错误,而导致作业无法正常执行。 Hive客户端: Task with the most failures(4): Diagnostic M...

2019-01-03 16:44:27 384 0

转载 tensorflow性能调优实践

  工具篇 tensorboard的使用 graph的可视化, 以及获取必要的运行时的统计数据, 请参考: 官方教程, 通过对graph以及运行时的统计数据的可视化,我们可以看看了解更多的更加直观的信息. 下图是一个例子: image.png 运行时的统计信息统计的是每一个step(...

2019-01-01 18:29:04 1071 0

转载 分布式TensorFlow入门教程

  前  言 深度学习在各个领域实现突破的一部分原因是我们使用了更多的数据(大数据)来训练更复杂的模型(深度神经网络),并且可以利用一些高性能并行计算设备如GPU和FPGA来加速模型训练。但是有时候,模型之大或者训练数据量之多可能超出我们的想象,这个时候就需要分布式训练系统,利用分布式系统我们...

2019-01-01 18:26:20 162 0

提示
确定要删除当前文章?
取消 删除