机器学习
文章平均质量分 57
南海有鹏
这个作者很懒,什么都没留下…
展开
-
RDDs介绍
Driver program:包含程序的main()方法,RDDs的定义和操作。 管理很多节点,称作为executors。如下图展示,SparkContext:Driver program通过SparkContext对象访问Spark。 SparkContext对象表示和一个集群的链接。 在Shell中SparkContext自动创建,即sc。RDDs:Resilient distributed datasets (弹性分布式数据集,简写RDDs)。 RDDs并行的分布在整个集群原创 2020-11-08 20:39:31 · 1883 阅读 · 0 评论 -
Spark介绍
它是什么?Spark 是一个快速且通用的集群计算平台。它的特点Spark是快速的:因为它扩充了流行的Mapreduce计算模型,是基于内存的计算。当有大量数据计算时,存放数据要么在硬盘上要么内存中,在硬盘上需要大量输入输出消耗大,而后者更快些。 Spark是通用的:它的设计容纳了其他分式系统有的功能,批处理(hadoop),迭代式计算,交互查询和流处理(Storm)等。优点是大大较低了维护成本。 Spark是高度开放的:它提供了Python,Java,Scala,SQL的API和丰富的内置库。原创 2020-11-07 16:48:59 · 982 阅读 · 1 评论 -
对tensorflow模型 (非线性模型)保存、加载模型,重建网络结构、喂入保存模型的新数据实现步骤
# Copyright (c)2018, 东北大学软件学院学生# All rightsreserved# 文件名称:use_model.py# 作 者:孔云#问题描述:# coding:utf-8import tensorflow as tfimport numpy as npfrom scipy.sparse import dok_matriximport scipy....原创 2018-09-12 13:42:22 · 625 阅读 · 0 评论 -
MNIST 数据集输出手写数字识别准确率
实现手写体 mnist 数据集的识别任务,共分为三个模块文件,分别是描述网络结构的前向传播过程文件(mnist_forward.py)、 描述网络参数优化方法的反向传播 过 程 文 件 (mnist_backward.py )、 验 证 模 型 准 确 率 的 测 试 过 程 文 件(mnist_test.py)。 前向传播过程文件(mnist_forward.py) '''在前向传播过程中,需...原创 2018-04-25 16:53:07 · 6656 阅读 · 3 评论 -
Tensorflow 框架搭建神经网络(五)
# Copyright (c)2018, 东北大学软件学院学生# All rightsreserved# 文件名称:test.py# 作 者:孔云#问题描述:搭建网络实现。反向传播:训练模型参数,在所有参数上用梯度下降,使 NN 模型在训练数据上的损失函数最小。#损失函数(loss): 计算得到的预测值 y 与已知答案 y_的差距。#损失函数的计算有很多方法,均方误差 MSE 是比...原创 2018-04-18 16:57:32 · 324 阅读 · 0 评论 -
Tensorflow 框架搭建神经网络(四)
# Copyright (c)2018, 东北大学软件学院学生# All rightsreserved# 文件名称:test.py# 作 者:孔云#问题描述:利用placeholder实现输入定义#coding:utf-8#两层简单神经网络(全连接)import tensorflow as tf#定义输入和参数#用placeholder实现输入定义 (sess.run中喂一组...原创 2018-04-17 21:59:29 · 251 阅读 · 0 评论 -
拉普拉斯特征图降维及其python实现
这种方法假设样本点在光滑的流形上,这一方法的计算数据的低维表达,局部近邻信息被最优的保存。以这种方式,可以得到一个能反映流形的几何结构的解。步骤一:构建一个图G=(V,E),其中V={vi,i=1,2,3…n}是顶点的集合,E={eij}是连接顶点的vi和vj边,图的每一个节点vi与样本集X中的一个点xi相关。如果xi,xj相距较近,我们就连接vi,vj。也就是说在各自节点插入一个边eij,如果X...转载 2018-04-16 23:46:11 · 4197 阅读 · 2 评论 -
降维方法:Laplacian Eigenmaps (拉普拉斯特征映射)——拉普拉斯矩阵
拉普拉斯矩阵Laplacian matrix 的定义谈到机器学习中的降维技术,可能大多数了解一点机器学习的朋友都知道PCA,今天为大家介绍一种新的降维方法——拉普拉斯特征映射拉普拉斯矩阵(Laplacian matrix)),也称为基尔霍夫矩阵, 是表示图的一种矩阵。给定一个有n个顶点的图G=(V,E) ,其拉普拉斯矩阵被定义为:L=D-W其中D为图的度矩阵,W为图的邻接矩阵。(不知道度矩阵和邻接...转载 2018-04-16 23:15:43 · 9010 阅读 · 0 评论 -
Tensorflow 框架搭建神经网络(三)
神经网络的参数: 是指神经元线上的权重 w, 用变量表示, 一般会先随机生成这些参数。生成参数的方法是让 w 等于 tf.Variable,把生成的方式写在括号里。神经网络中常用的生成随机数/数组的函数有: tf.random_normal() 生成正态分布随机数tf.truncated_normal() ...原创 2018-04-15 12:36:50 · 388 阅读 · 0 评论 -
Tensorflow 框架搭建神经网络(二)
计算图(Graph): 搭建神经网络的计算过程,是承载一个或多个计算节点的一张图,只搭建网络,不运算。 神经网络的基本模型是神经元,神经元的基本模型其实就是数学中的乘、加运算。 我们搭建如下的计算图: 在上述图中,x1、 x2 表示输入, w1、 w2 分别是 x1 到 y 和 x2 到 y 的权重, y=x1*w1+x2*w2。由程序代码实现上述计算图: import tensorflow as...原创 2018-04-15 11:54:22 · 343 阅读 · 0 评论 -
Tensorflow 框架搭建神经网络(一)
# Copyright (c)2018, 东北大学软件学院学生# All rightsreserved# 文件名称:test.py# 作 者:孔云#问题描述:实现 Tensorflow 的加法import tensorflow as tf #引入模块a=tf.constant([1.0,2.0]) #定义一个张量等于[1.0,2.0]b=tf.constant([3.0...原创 2018-04-15 11:19:02 · 330 阅读 · 0 评论 -
推荐算法的Python实现(样例代码)
基于ItemCF算法#!/usr/sbin/env python# -*- coding:utf-8 -*-import math# ItemCF算法def ItemSimilarity(train): C = dict() N = dict() for u,items in train.items(): for i in items.keys(...转载 2018-03-30 17:28:51 · 1196 阅读 · 2 评论