2017年09月_光与热

原创 python 统计图中文乱码

修改python安装目录下H:\anaconda\Lib\site-packages\matplotlib\mpl-data中的matplotlibrc修改以下两个属性修改 font.sans-serif为FangSong修改axes.unicode_minus 为False重启编辑器

2017-09-15 18:45:54 707

map()函数map()是 Python 内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上，得到一个新的 list 并返回。例如，对于list [1, 2, 3, 4, 5, 6, 7, 8, 9]如果希望把list的每个元素都作平方，就可以用map()函数：因此，我们只需要传入函数f(x)=x*x，就可以利用map()函数完成这个计算：d

2017-09-15 18:19:10 435

转载 spark sql内置函数

public class Person implements Serializable { private String name; private int age; public String getName() { return name; } public void setName(String name) { this.na

2017-09-09 22:01:40 2383

转载机器学习-逻辑回归

什么是逻辑回归？Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归；如果是Poisson分布，就

2017-09-07 21:42:37 331

转载 numpy-线性代数

阅读目录一、矩阵创建二、矩阵乘法和加法三、矩阵的转置四、方阵的迹五、计算行列式六、逆矩阵/伴随矩阵七、解一元线性方程八、计算矩阵距离九、矩阵的秩十、求方阵的特征值特征向量十一、判断正定矩阵讲解Python在线性代数中的应用，包括：回到顶部一、矩阵创建先导入Numpy模块，在下文中均采用np代替numpy1 import numpy as np矩阵创建有两种方法，一是使用np.mat函数或者np

2017-09-07 21:24:54 1551

转载标准方程和梯度下降

梯度下降算法学习笔记内容来自于斯坦福大学《机器学习与数据挖掘公开课》。介于算法中用到了许多线性代数的知识。所以我感觉有必要先对线性代数的基础知识做一个回顾和梳理。1基础概念和记号线性代数对于线性方程组可以提供一种简便的表达和操作方式，例如对于如下的方程组：4x1-5x2=13-2x1+3x2=-9可以简单的表示成下面的方式：X也是一个矩阵，为(x1,x2)T，当然你可以看成一个列向量。

2017-09-07 20:34:41 1707

原创 Spark算子补充<一>

collectAsMap函数原型def collectAsMap(): Map[K, V]功能和collect函数类似。该函数用于Pair RDD，最终返回Map类型的结果，如果RDD中同一个Key中存在多个Value，那么后面的Value将会把前面的Value覆盖，最终得到的结果就是Key唯一，而且对应一个Valuekeyby函数原型def keyBy[K](f: T => K): RDD[(

2017-09-07 19:15:04 308

转载 spark randomSplit glom函数操作详解

def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]]该函数根据weights权重，将一个RDD切分成多个RDD。该权重参数为一个Double数组第二个参数为random的种子，基本可忽略。scala> var rdd = sc.makeRDD(1 to 10,10)rdd

2017-09-07 09:57:11 1757

原创 spark机器学习电影推荐

package recommendimport org.apache.log4j.{Level, Logger}import org.apache.spark.mllib.recommendation.{ALS, MatrixFactorizationModel, Rating}import org.apache.spark.rdd.RDDimport org.apache.spark.sql

2017-09-07 09:05:35 1022

转载 spark mllib ALS算法简介

一、矩阵分解模型。用户对物品的打分行为可以表示成一个评分矩阵A(m*n)，表示m个用户对n各物品的打分情况。如下图所示：其中，A(i,j)表示用户user i对物品item j的打分。但是，用户不会对所以物品打分，图中？表示用户没有打分的情况，所以这个矩阵A很多元素都是空的，我们称其为“缺失值（missing value）”。在推荐系统中，我们希望得到用户对所有物品的打分情况，如果用户没有对一个

2017-09-06 18:51:22 1303

转载安装破解idea 2017

一、IntelliJ IDEA 2017 下载地址 http://www.jetbrains.com/idea/#chooseYourEdition要下载付费版的，免费版的很多功能不能用二、破解下载破解文件JetbrainsCrack-2.6.2.jar下载地址： http://download.csdn.net/detail/gnail_oug/9824630http://idea.lany

2017-09-06 15:04:50 285 1

转载 string.split方法

转自：http://hi.baidu.com/danghj/blog/item/7259c2b461bebc708bd4b21e.html在java.lang包中有String.split()方法，返回是一个数组我在应用中用到一些，给大家总结一下，仅供大家参考：1、如果用“.”作为分隔的话，必须是如下写法：String.split(“\\.”),这样才能正确的分隔开，不能用String.spl

2017-09-06 11:58:26 469

光与热的博客