数据分析
暮之雪
这个作者很懒,什么都没留下…
展开
-
数据分析的一种思路
数据分析是一个庞大的工程,有的时候过于抽象且依赖经验。本文是博主对学习和实践数据分析的一个总结,希望提供一种通用的数据分析思路,并在分析思路的每个步骤中介绍相关的分析算法及其应用场景,对于算法只做浅层次的介绍,待读者在实际使用中自行深入了解。本文主要针对刚刚接触数据分析或者面对一堆数据不知道如何下手的读者,经验丰富的数据分析师们可以跳过。同时,本文介绍的分析思路由于笔者的经验和...原创 2018-02-11 00:49:38 · 1287 阅读 · 0 评论 -
Spark特征工程
按照惯例,先附上业界那句名言“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已”。特征工程是指用一系列工程化的方式从原始数据中筛选出更好的数据特征,以提升模型的训练效果。简而言之,就是为算法提供更友好的输入,以最大化地发挥算法的作用。同时,特征工程虽然是一种技术,但其前提是对数据以及产生这些数据的具体业务场景有比较深入的理解。一般的,python的sklearn、spark的mll...原创 2018-11-17 18:45:06 · 2435 阅读 · 0 评论 -
基于OpenCV与 ImageAI 的动漫人物识别
在从二次元毕业之前,我们经常都会看到"这个人物是谁?哪个番的?"之类的问题,在学习图像识别的过程中,实现了一个动漫人物的识别的例子,直接使用现有的两个成熟的工具OpenCV与ImageAI通过人物头像来进行动漫人物的识别,作为一个入门的例子。而在实际情况下,动漫人物时有撞脸的情况发生,这个时候还需要通过服饰,甚至结合知识图谱关联图像中出现的其他角色来进行更加精确的识别。下面直接上demo:一...原创 2019-03-31 19:23:51 · 28602 阅读 · 19 评论 -
sklearn 错误: This StandardScaler instance is not fitted yet
在使用sklearn 进行数据标准化和标准化数据还原原始数据的过程中,出现如下报错:sklearn.exceptions.NotFittedError: This StandardScaler instance is not fitted yet. Call 'fit' with appropriate arguments before using this method.出错的代码是:...原创 2019-08-17 20:43:04 · 15255 阅读 · 0 评论