- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark常见算子
这里，从源码的角度总结一下Spark RDD算子的用法。 单值型Transformation算子 map /** * Return a new RDD by applying a function to all elements of this RDD. */ def map[U: ClassTag](f: T => U): RDD[U] = withScope { ...
2019-06-10 00:13:05
169
原创 java实现spark（1）
用java实现简单的Spark例子。 数据很简单，是一个被预先处理的日志文件，包括时间、电话号，上行流量和下行流量。一行为一条记录，不同数据之间用制表符隔开。 样本类 样本类是为了将日志文件的一条记录封装起来 package com.icesun.java.accessLog; import java.io.Serializable; public class LogInfo impleme...
2019-06-09 22:00:16
312
原创 pytorch实现数据数据读取
本文原地址为 www.zicesun.com icesuns.github.io 在学习的过程中,遇到很多的问题.在训练模型的时候,需要对数据进行读取操作.本篇文章,介绍pytorch如何自定义数据dataset和dataloader.在pytorch中,提供了Dataset这个类,负责对数据进行抽象,一次调用只返回第一个同样本.而Dataloader提供了对一个对一个batch的数据操作,还有...
2019-03-29 19:36:52
1781
原创 学习之路——Spark(3)——Spark RDD内部结构
本文原地址在 www.zicesun.com icesuns.github.io Spark是一个基于分布式内存的大数据计算框架，RDD (Resilient Distributed Dataset)是Spark最重要的一个数据抽象。这篇文章记录了我对RDD的一些理解，有不足和错误的地方，请留言指正。 什么是RDD RDD (Resilient Distributed Dataset)，弹性分...
2019-03-29 19:35:01
271
原创 转载——学习之路——Spark(2)
本文转载于 www.zicesun.com icesuns.github.io 本文讲介绍如何搭建spark集群。 搭建spark集群需要进行一下几件事情： 集群配置ssh无秘登录 java jdk1.8 scala-2.11.12 spark-2.4.0-bin-hadoop2.7 hadoop-2.7.6 上述所有的文件都安装在/home/zhuyb/opt文件夹中。 服务器 服务器是...
2019-03-29 19:32:50
121
原创 Spark 简介
转载于 www.zicesun.com 之前看了一些Spark的相关内容，我觉得很有必要进行总结一下，不然都搭不起自己的知识框架。 Apache Spark Apache Spark™是用于大规模数据处理的统一分析引擎，是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计...
2019-03-29 19:27:28
156
原创 统计学习方法（1）——感知机实现（学习算法的原始形式）
最近在看李航老师的《统计学习方法》，打算实现每一个算法。置于算法的具体介绍和讲解，此处不做详细介绍，需要了解算法内容的同学，可以看一下书上的对应章节。 这次实现数据参照书中第二章例2.1 实现了感知机学习算法的原始形式 #!/usr/bin/env python # -*- coding:utf-8 -*- # author= icesun import numpy as np # 感知机学习...
2018-10-27 16:29:09
561
原创 20180610-reinforcement-learning-MDP
【转自本人个人博客 icesuns】 Reinforcement Learning(2)——MDPs 上一篇文章强化学习——简介简单介绍了一下强化学习的相关概念。这篇博客将引入 马尔科夫决策过程(Markov Decision Processes, MDPs)对强化学习进行建模。这篇文章，将对马尔科夫决策过程以及Q-leaning进行介绍。 马尔科夫过程 定义: 若随机过程 {Xn,...
2018-06-15 10:15:21
256
原创 reinforcement-learning-1
转载于icesuns的《Reinforcement Learning(1)》 强化学习简介 强化学习（英语：Reinforcement learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。 强化学习涉及很多学科，...
2018-06-04 14:41:16
280
1
原创 kubenetes集群配置之kubeadm自动创建集群
kubeadm自动创建集群 kubeadm自动创建集群 一 更新apt-get源 二 安装docker 和kubenetes 三 配置kubenetes 3.1 注意事项 3.2 配置master节点 3.3 配置子节点 最近在做一个比赛，需要部署在kubenetes集群上。手动创建集群需要配置很多环境文件，容易出现各种问题，因此。我们在利用kubenetes自动部署...
2018-04-08 16:10:15
1497
原创 tensorflow-GPU安装 | cudnn安装问题
1、关于tensorflow-gpu安装的问题，教程很多，可以参考tensorflow-gpu的安装 2、安装tensorflow的时候，pip安装下组速度很慢，可以更换pip源(pypi国内源)加快下载速度. 大致的方法如下:pip install tensorf...
2018-03-25 14:20:17
376
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人