信息论:熵与互信息

http://blog.csdn.net/pipisorry/article/details/51695283这篇文章主要讲:熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。熵/信...
阅读(15019) 评论(0)

Scikit-learn:最近邻搜索sklearn.neighbors

http://blog.csdn.net/pipisorry/article/details/53156836ball treek-d tree也有问题[最近邻查找算法kd-tree ]。矩形并不是用到这里最好的方式。偏斜的数据集会造成我们想要保持树的平衡与保持区域的正方形特性的冲突。另外,矩形甚至是正方形并不是用在这里最完美的形状,由于它的角。如果图6中的圆...
阅读(2307) 评论(0)

Spark:聚类算法

Spark:聚类算法 Kmeans聚类KMeans算法的基本思想是初始随机给定K个簇中心,按照最邻近原则把待分类样本点分到各个簇。然后按平均法重新计算各个簇的质心,从而确定新的簇心。一直迭代,直到簇心的移动距离小于某个给定的值。K-Means聚类算法主要分为三个步骤:(1)第一步是为待聚类的点寻找聚类中心(2)第二步是计算每个点到聚类中心的距离,将每个点聚类到...
阅读(1034) 评论(0)

Spark:Spark 编程模型及快速入门

http://blog.csdn.net/pipisorry/article/details/52366356Spark编程模型SparkContext类和SparkConf类我们可通过如下方式调用 SparkContext 的简单构造函数,以默认的参数值来创建相应的对象。val sc = new SparkContext("local[4]", "Test Spark App")这段代码会创建一...
阅读(3869) 评论(0)

Scikit-learn:聚类clustering

http://blog.csdn.net/pipisorry/article/details/53185758不同聚类效果比较sklearn不同聚类示例比较A comparison of the clustering algorithms in scikit-learn不同聚类综述Method nameParametersScalabilityUsecaseGeometry (metric use...
阅读(1821) 评论(1)

Spark核心类:SQLContext和DataFrame

http://blog.csdn.net/pipisorry/article/details/53320669pyspark.sql.SQLContext[pyspark.sql.SQLContext]皮皮blogpyspark.sql.DataFramespark df和pandas dfspark df的操作基本和pandas df操作一样的[Pandas小记(6)...
阅读(2828) 评论(0)

Spark核心类:弹性分布式数据集RDD及其转换和操作pyspark.RDD

http://blog.csdn.net/pipisorry/article/details/53257188弹性分布式数据集RDD(Resilient Distributed Dataset)创建RDD并行集合 (Parallelized collections)RDD可从现有的集合创建。比如在Scala shell中:val collection = List("a", "b", "c", "...
阅读(2579) 评论(0)

未名

http://blog.csdn.net/pipisorry/article/details/53116829待定。。。from: http://blog.csdn.net/pipisorry/article/details/53116829ref:...
阅读(488) 评论(0)

python模块:时间处理模块

http://blog.csdn.net/pipisorry/article/details/53067168常用python自带时间处理模块python自带的时间处理模块参考[操作系统服务:time时间模块+datetime模块 ]有一些情况下,datetime却并没有那么好用。比如:1.创建日期时间范围2.创建未固定的日期时间3.检验两个日期时间的差值是否...
阅读(1069) 评论(0)

python命令行参数解析模块argparse和docopt

http://blog.csdn.net/pipisorry/article/details/53046471还有其他两个模块实现这一功能,getopt(等同于C语言中的getopt())和弃用的optparse。因为argparse是基于optparse,所以用法很类似。添加命令行解析参数add_argument()方法参数可以触发不同的动作,动作由 add_argument() 方法的 act...
阅读(3469) 评论(0)

Scikit-learn:分类classification

http://blog.csdn.net/pipisorry/article/details/53034340支持向量机SVM分类svm分类有多种不同的算法。svcImplementation of Support Vector Machine classifier using libsvm: the kernel can be non-linear but its SMO algorithm d...
阅读(906) 评论(0)

Scikit-learn:模型评估Model evaluation 之绘图

http://blog.csdn.net/pipisorry/article/details/53001866绘制ROC曲线def plotRUC(yt, ys, title=None): ''' 绘制ROC-AUC曲线 :param yt: y真值 :param ys: y预测值 ''' from sklearn import metrics...
阅读(720) 评论(0)

Spark:聚类算法之LDA主题模型算法

http://blog.csdn.net/pipisorry/article/details/52912179Spark上实现LDA原理LDA主题模型算法[主题模型TopicModel:隐含狄利克雷分布LDA ]Spark实现LDA的GraphX基础在Spark 1.3中,MLlib现在支持最成功的主题模型之一,隐含狄利克雷分布(LDA)。LDA也是基于Gra...
阅读(3993) 评论(2)

Spark:相关错误总结

http://blog.csdn.net/pipisorry/article/details/52916307spark FileNotFoundError: [Errno 2] No such file or directory: '~/ENV/spark/./bin/spark-submit'居然是因为这个引发的错误:SPARK_HOME = ~/ENV/spark应该改成SPARK_HOME...
阅读(6118) 评论(0)

Scala:函数式编程之下划线underscore

http://blog.csdn.net/pipisorry/article/details/52913548Scala 中下划线的用法 1、存在性类型:Existential typesdef foo(l: List[Option[_]]) = ...2、高阶类型参数:Higher kinded type parameterscase class A[K[_],T](a: K[T])3、临时变量...
阅读(581) 评论(0)

机器学习模型选择:调参参数选择

http://blog.csdn.net/pipisorry/article/details/52902797调参经验好的实验环境是成功的一半由于深度学习实验超参众多,代码风格良好的实验环境,可以让你的人工或者自动调参更加省力,有以下几点可能需要注意:将各个参数的设置部分集中在一起。如果参数的设置分布在代码的各个地方,那么修改的过程想必会非常痛苦。可以输出模型的损失函数值以及训练集和验证集上的准确...
阅读(434) 评论(0)

Scala:输入输出

http://blog.csdn.net/pipisorry/article/details/52902694Scala基本输入输出从屏幕上读取用户输入有时候我们需要接收用户在屏幕输入的指令来处理程序。实例如下:object Test { def main(args: Array[String]) { print("请输入 : " ) val line = Conso...
阅读(1177) 评论(0)

Scala:提取器(Extractor)

http://blog.csdn.net/pipisorry/article/details/52902671提取器是从传递给它的对象中提取出构造该对象的参数。Scala 标准库包含了一些预定义的提取器,我们会大致的了解一下它们。Scala 提取器是一个带有unapply方法的对象。unapply方法算是apply方法的反向操作:unapply接受一个对象,然后从对象中提取值,提取的值通常是用来构...
阅读(516) 评论(0)

Scala:类,对象和特征(接口)

http://blog.csdn.net/pipisorry/article/details/52902609Scala类和对象类是对象的抽象,而对象是类的具体实例。类是抽象的,不占用内存,而对象是具体的,占用存储空间。类是用于创建对象的蓝图,它是一个定义包括在特定类型的对象中的方法和变量的软件模板。类的创建和实例化class Point(xc: Int, yc: Int) { var x:...
阅读(948) 评论(0)

Scala:集合类型Collection和迭代器

http://blog.csdn.net/pipisorry/article/details/52902549Scala CollectionScala 集合分为可变的和不可变的集合。可变集合可以在适当的地方被更新或扩展。这意味着你可以修改,添加,移除一个集合的元素。而不可变集合类,相比之下,永远不会改变。不过,你仍然可以模拟添加,移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合,同...
阅读(601) 评论(0)
565条 共29页首页 上一页 1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:2208496次
    • 积分:23262
    • 等级:
    • 排名:第285名
    • 原创:530篇
    • 转载:30篇
    • 译文:5篇
    • 评论:233条
    Welcome to 皮皮blog~

    博客专栏
    最新评论