Stark_xhz-CSDN博客

原创基于Opencv和卷积网络的图形检测

任务描述：生成若干种形状的图形，这里数据有三种：矩形、圆形、三角形，然后进行检测。解决方案架构：具体细节：数据生成：我封装了scikit_image中开发版的新api—random_shape，随机生成图形。利利⽤它返回 bounding box信息，再通过opencv绘制图形。每张图片都加了了基础噪声，并添加了随机浅色直线使图形断开。⽣成图形函数的参数: ...

2018-08-01 10:11:03 1730

原创 python opencv CV_8UC1与CV_32SC1类型相关错误

问题描述：在使用Scipy.signal的手动Prewitt边缘检测算子后，因为自定义卷积的元素值没有进行归一化，图像像素超过255，而且变为浮点型。在做后续基础操作时出现如下错误: error: (-210) [start]FindContours supports only CV_8UC1 images when mode != CV_RETR_FLOODFILL otherwi...

2018-07-26 09:29:37 27802 8

原创基于数字图像处理的小目标计数（二）

存在接壤现象的细胞计数因为前面（一）的中的图片每个波点之间间隔较小，这边的细胞图中存在多个目标接壤问题，所以怎样在存在接壤现象的细胞中准确数出个数是这里较前面不同的地方。解决思路：进行锐化和平滑滤波操作根据灰度图进行阈值分割形态学处理分水岭算法修正如果使用Python，可以选择的图像处理库有 1、工业级的图像处理库：Opencv 2、PIL ...

2018-04-18 00:16:43 12355 20

原创基于数字图像处理的小目标计数（一）

波点壁纸中圆点的计数去年年末我学习了天津科技大学杨淑莹老师的《数字图像处理》课程，虽然课程有点老，但是内容还是比较经典的。课程最后有好几个数字图像处理的案例，都是基于Visual C++的，我使用Python实现其中的“细胞个数统计”，并进行了一定的探索。杨老师的视频在哔哩哔哩和MOOC都能获取。解决思路：转换色彩空间至HSV根据H通道进行阈值分割中值滤波去噪腐蚀操作去除孤...

2018-04-17 23:04:54 9641 8

原创 Pandas Panel 按不同维度添加数据的方法

最近参加数据挖掘比赛经常使用Pandas，由于涉及到三维的数据，使用了Panel作为存储结构。但是出现了伪增加的情况，花了很久解决了。Panel相当于一个存储Dataframe的字典Series一维、Dataframe二维、Panel三维问题描述data = { 'Item1' : pd.DataFrame(np.random.randn(4, ...

2018-04-12 17:08:24 6814

原创一篇关于如何用深度学习完成自动上色（Automatic Image Colorization）的论文浅析

Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification

2017-12-19 23:29:51 14933 3

原创用Scrapy对豆瓣top250进行电影详细信息爬取

为了练习简单的Pandas操作，我用Scrapy爬取了豆瓣Top250的电影信息。Top250页面展现的电影信息和具体电影页面所呈现的内容有些不同（比如演员信息），所以爬取总共用了两部分代码。此外为了防止被ban，还进行了一些简单的配置。

2017-09-16 14:01:45 1394

原创 XGBoost快速入门

XGboost作为Kaggle比赛的大杀器，是很牛逼的一个boost实现。能极大提高模型的预测的准确率，因此使用率极高。我也花了一天简单的接触了下：Ensemble原理简述XGboost安装XGboost案例测试Ensemble原理简述模型融合（Ensemble）有三种：Bagging，Stacking，BoostingBagging单个算法角度：不用全部的训练集，每次只取其

2017-08-18 17:07:11 674 1

翻译一个简单的HbaseHelper类

记得要创建一个dbinfo.properties文件，内容格式为key=value格式，具体放在哪里由你决定。里面放置了连接Hbase所需的参数。使用这个类目的就是让使用者更方便、更安全的对数据库的操作，既是除了在Helper类以外的所有类将不用引用对数据库操作的任何类与语句，无须担心数据库的连接与关闭的问题。package Hbase_tolist;import java.io.File

2016-05-19 18:29:03 1581 1

原创使用hbase的java api连接集群超时的问题

环境：hadoop2.6.0，hbase1.2.0在windows环境下在eclipse中使用hbase Java api连接其他机器上的hbase报超时错误。后来移至Ubuntu环境下使用intelij idea连接hbase，发现除了本来报的超时错误，还报了unknown host:centos，原来是没做没做内网域名映射（我代码中是直接填的ip）。于是在ubuntu系统配置中加入此映射：

2016-05-19 18:20:20 1571

hadoop安全模式无法强制关闭的问题当用户要在hdfs上进行读以外的操作时，提示namenode处在安全模式中。（在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以

2016-05-19 17:55:09 5944

原创使用Spark对日志进行简单的文本解析

使用Spark对日志进行简单的文本解析原日志格式：从hdfs上读取日志文件：val rdd = sc.textFile("hdfs://master:9000/spark/localhost_access_log.2015-04-24.txt") 过滤不正确的数据并且将日期合并：rdd.map(_.split(" ")).filter(_.length == 10).map(x =

2016-05-11 20:43:33 4393

u010030977的博客