- 博客(20)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hive 批量添加，删除分区
一.批量添加分区：use bigdata;alter table siebel_memberadd if not existspartition(dt='20180401') location '20180401'partition(dt='20180402') location '20180402'partition(dt='20180403') location '20...
2020-03-26 08:50:13
7258
转载 keras-yolov3目标检测详解——适合新手
展开现在网上能找到的博客我现在看起来很明白，虽然讲的很详细，但是对于几天前的我真的看不明白，因为新手会遇到各种各样毫无征兆的问题，所以我决定写一篇面向新手的如何去使用 yolo 和如何去做自己的数据集来训练属于自己的模型。因为我也是新手，所以不说原理，只谈操作方法。因为东西很杂，我会把小东西分出去写，并且在本文中附上链接。一、准备工作1、事件前言：简单介绍下情况，本人本科二年级，机...
2020-03-24 12:50:27
2746
1
原创 Python+OpenCV图像处理之开闭操作
开操作：图像形态学的重要操纵之一，基于膨胀与腐蚀操作组合形成的；主要是应用在二值图像分析中，灰度图像亦可开操作 = 腐蚀+膨胀，输入图像 + 结构元素作用：用来消除小物体、平滑较大物体的边界的同时并不明显改变其面积，提取水平或竖直的线闭操作：图像形态学的重要操纵之一，基于膨胀与腐蚀操作组合形成的；主要是应用在二值图像分析中，灰度图像亦可闭操作 = 膨胀+腐蚀，输入图像 +...
2020-03-23 21:53:42
2746
转载 hbase优化之旅（一）探索regionserver参数优化
优化的目的我们线上hbase集群使用了group分组功能，但没有针对不同业务分组的特点做特殊优化，hbase服务能力没有彻底激发出来。本文记录了对某个业务分组参数优化的探索，借此机会深入了解不同配置对regionserver监控指标和机器负载的影响。 优化后，单台regionserver查询延迟更低，磁盘IO降低，系统更稳定。从而提高吞吐能力，进而减少机器，提升资源利用率的能力，节约...
2020-03-18 15:33:41
1808
2
原创 hbase集群region数量和大小的影响
1、Region数量的影响通常较少的region数量可使群集运行的更加平稳，官方指出每个RegionServer大约100个regions的时候效果最好，理由如下：1）Hbase的一个特性MSLAB，它有助于防止堆内存的碎片化，减轻垃圾回收Full GC的问题，默认是开启的。但是每个MemStore需要2MB（一个列簇对应一个写缓存memstore）。所以如果每个region有2个fami...
2020-03-17 11:14:05
1519
原创 HBase Flush 解析
在对hbase操作中，数据读取/写入都是发生在某个HRegion下某个Store里的files。那么究竟在写入hbase时，一个region下到底发生了什么呢?常见的有以下三种情况：1)、memstore flush to disk2)、columnfamily’s files compaction3)、region split首先介绍一些概念:hbase一个表(table)...
2020-03-17 09:28:43
870
原创 一行命令搞定图像质量评价 | 附代码和操作步骤
在交流群里，经常有人问到图像质量评价的问题。比如对监控摄像头拍摄的多幅图像，挑选一幅图像显示给用户，或者选择一幅图丢给识别模型，又或者在互联网应用里，对于用户上传的多幅图像，选择一幅作为封面。一般要求图像清晰、质量较好，有没有简单的方法实现图像质量评价呢？今天跟大家推荐一个工具，来自德国商品比价服务商idealo开源的图像质量评价工具，仅需要一行命令就可以实现。开源地址：http...
2020-03-14 09:47:18
671
1
原创 没钱买华为P30？这个图像超分辨率项目帮你「拍」出高清照片
华为刚刚发布的 P30「望远镜」手机能在几十米外拍到埃菲尔上的人名，确实令人佩服，但其售价也是令人望而生畏。那么，不买华为手机、高级单反就拍不到充满细节的高清照片了吗？相机不够算法凑，拥有超级拍照能力的手机也离不开算法的加持。本文介绍的图像超分辨率项目可以帮你补齐相机镜头的短板。华为P30 发布会上展示的埃菲尔铁塔高清远距离照片。今天，一位 Reddit 网友贴出...
2020-03-14 09:01:56
397
原创 使用Python「秒开」100GB+数据
本文转载自公众号量化投资与机器学习如果你50GB甚至500GB的数据集，打开他们都很困难了，更别说分析了。在处理这样的数据集时，我们通常采用3种方法。第一种对数据进抽样：这里的缺点是显而易见的，样本数据能否代表整个数据。第二种使用分布式计算：虽然在某些情况下这是一种有效的方法，但是它带来了管理和维护集群的巨大开销。想象一下，必须为一个刚好超出RAM范围的数据集设置一个集群，比...
2020-03-13 13:38:47
307
原创 hdfs 中 CentOS，清理缓存（drop_caches）规划
读写文件时，Linux内核为了提高读写效率与速度，会将文件在内存中进行缓存，这就是Cache Memory(缓存内存)。即使程序运行结束后，Cache Memory也不会自动释放。这就会导致程序频繁读写文件后，可用物理内存会很少。其实这缓存内存(Cache Memory)在你需要使用内存的时候会自动释放，所以不必担心没有内存可用。如果你希望手动去释放Cache Memor...
2020-03-12 11:18:03
1422
转载 java中堆外内存详解
堆外内存和堆内内存堆外内存又称为直接内存(Direct Memory)并不是虚拟机运行时数据区的一部分,也不是Java虚拟机规范中定义的内存区域.一直以来是Javaer们难以关注的一片领域,今天我们就一起探索一下这片区域究竟隐藏着什么东东????JVM可以使用的内存分外2种：堆内存和堆外内存.我们先看一下我们已经相对来说十分熟悉的堆内内存:Java堆(JAva He...
2020-03-11 16:03:13
1231
转载 HBase2.0新特性详解
升级背景个推作为专业的数据智能服务商，在业务开展过程中存在海量的数据存储与查询的需求，为此个推选用了高可靠、高性能、面向列、可伸缩的分布式数据存储系统——HBase。然而，运行HBase老集群（使用HBase1.0版本）多年后，遇到了两大问题：各节点基础环境不一致；该集群的服务器运行多年已过保。而且随着个推业务量增长，性能方面也开始遇到瓶颈。经过综合评估，个推决定将老集群升级并迁移到HBa...
2020-03-11 14:30:34
772
转载 [计算机视觉] A4纸边缘检测
https://blog.csdn.net/qq_33000225/article/details/65934830?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
2020-03-10 21:52:22
521
原创 Tensorflow 模型文件的使用以及格式转换-OpenCV DNN 可调用格式（一）
主要前几天看到集成ｏｐｅｎｃｖ,发现前面的方式比较麻烦，现在就找资料研究，发现这个方式非常不错。展开Tensorflow模型的graph结构可以保存为.pb文件或者.pbtxt文件，或者.meta文件，其中只有.pbtxt文件是可读的。网上大牛们训练好的网络，将模型保存为一个统一的.pb文件，这个文件中不止保存着模型网络的结构和变量名，还保存了所有变量的值，如果我们想利用别人训练好的模...
2020-03-08 22:06:03
1145
原创 Opencv距离变换distanceTransform应用
展开1，Opencv距离变换distanceTransform应用Opencv距离变换distanceTransform应用——细化字符轮廓&&查找物体质心 2，基于distanceTransform-距离变换的区域中心提取基于距离变换的手掌中心提取+opencv学习笔记（三十六）距离变换kinect学习笔记四(距离变换 distance ...
2020-03-08 14:30:26
398
转载 2020年最新款 GPU 选择建议-助你选择最合适你的 GPU
最优(SOTA)的深度学习模型往往需要占用巨大内存。许多GPU通常没有足够的VRAM来存储并训练这些模型。在这篇文章中，将对现有不同型号的GPU进行测试，给出在不超过它们显存的条件下，可以支持训练SOTA的语言/图像模型大小进行测试；还将对每个GPU的训练性能进行基准测试。给需要采购GPU进行可以和工程部署的朋友一些建议。最新常用GPU型号及价格截至2020年2月，以下GP...
2020-03-06 21:51:51
1523
1
原创 OpenCV DNN 调用用TensorFlow 目标检测模型
首页 正文在 OpenCV4.X 版本(OpenCV3.4.1之后版本) 可以采用cv2.dnn.readNetFromTensorflow(pbmodel, pbtxt)函数直接调用 TensorFlow 训练的目标检测模型.1. TensorFlow Detection Model ZooTensorFlow 目标检测预训练模型：Tensorflow Detectio...
2020-03-06 17:31:31
3285
转载 选择GPU服务器的五大基本原则
本文根据智东西公开课推出的超级公开课NVIDIA专场第13讲《案例解读：不同行业如何选择深度学习服务器》上的系统讲解整理而来，由NVIDIA NPN合作伙伴负责人吴强、NVIDIA 高级系统架构师易成共同主讲。本次讲解中NVIDIA NPN合作伙伴负责人吴强从性能、可编程性、灵活性等方面对CPU、GPU、FPGA、ASIC等不同类型的服务器进行了系统的比较分析，并给出了五条选择GPU服务...
2020-03-05 14:07:50
1854
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人