![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 81
启功
这个作者很懒,什么都没留下…
展开
-
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(3)
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。基于IDEA使用Spark API开放转载 2015-01-16 14:05:12 · 1512 阅读 · 0 评论 -
ubuntu14.04安装CUDA7.0、CUDNN7.0详细步骤
一、安装CUDA7.0CUDA7.0在Linux下的安装步骤参见官网手册:CUDA_Getting_Started_Linux,其中提及了“.run”、“.deb”等安装1、检查你的电脑是否支持CUDA: 检查GPU是否支持:输入如下命令,如果输出的GPU型号是NVIDIA的,并且在此http://developer.nvidia.com/cudagpu原创 2015-12-11 13:18:13 · 14878 阅读 · 0 评论 -
利用Mxnet自带的工具,进行数据转化,读取图片文件
一、MXNet,不是直接处理原生数据比如图片之类的,而是处理的自定义的一种文件格式rec。而rec格式的文件由依赖于一个描述原生数据的列表文件格式lst。数据集:caltech256,其中包含两个文件,一个test,一个train,每个文件里面又有很多个代表类标的文件,各个文件里存放了每一类的图片。 二.从原生数据生成lst文件这个图像文件列表的格式如下:integer_ima原创 2015-12-11 14:54:35 · 14301 阅读 · 7 评论 -
Mxnet:以全连接层为例子自定义新的操作(层)
在使用深度学习平台时,光会使用其中已定义好的操作有时候是满足不了实际使用的,一般需要我们自己定义新的操作。但是,绝大多数深度平台都是编译好的,很难再次编写。本文以Mxnet为例,官方给出四种定义新操作的方法,分别调用:1、mx.operator.CustomOp\2、mx.operator.NDArrayOp3、mx.operator.NumpyOp4、使用 C++ 定义底层原创 2017-08-21 15:09:39 · 3906 阅读 · 1 评论 -
Ubuntu16.04系统安装tensorflow(GPU)
作者:冯拓电脑配置如下:配置 HP-Z820 CPU核心线程数和主频 intel xeon(至强) E-5 2620 2.0GHz*24 内存 64GB 硬盘 2TB 显卡 NIVDIA TITAN X 12GB 安装过程中使用的安装包: 安装包 驱动 NVIDIA-Linux-x86_6...原创 2018-09-02 09:56:56 · 661 阅读 · 0 评论 -
Ubuntu下Anaconda安装opencv
作者:黄钟健注意:文中$(xxx)表示自定义的名称,需要自己根据实际情况替换。一、安装opencv依赖库在终端上敲入以下命令sudo apt-get install build-essentialsudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev ...原创 2018-09-02 10:00:16 · 3321 阅读 · 3 评论 -
孙其功陪你学之——Spark 中 map 与 flatMap 的区别
通过一个实验来看Spark 中 map 与 flatMap 的区别。步骤一:将测试数据放到hdfs上面hadoopdfs -put data1/test1.txt /tmp/test1.txt该测试数据有两行文本:步骤二:在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt步骤三:查看map函数的转载 2015-01-16 13:50:01 · 2546 阅读 · 0 评论 -
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(2)
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。2.基于IDEA使用Spark API转载 2015-01-16 14:03:29 · 1710 阅读 · 0 评论 -
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(1)
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。基于IDEA使用Spark API开放转载 2015-01-16 14:01:03 · 1546 阅读 · 0 评论 -
孙其功陪你学之——Spark MLlib之协同过滤
转自 程序员的自我修养 – SelfUp.cn由于在学习 spark mllib 但是如此详细的资料真的很难找,在此分享。1,220次浏览什么是协同过滤协同过滤(Collaborative Filtering, 简称CF),wiki上的定义是:简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐使用者感兴趣的资讯,个人透过合作的机制给予资讯相当程度的转载 2015-03-18 10:50:47 · 1222 阅读 · 0 评论 -
孙其功陪你学之——spark----搜狗日志文件深入实战
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍Join操作深入实战。动手实战操作搜狗日志文件本节中所用到的内容是来自搜狗实验室,网址为转载 2015-01-16 14:08:23 · 2241 阅读 · 0 评论 -
孙其功陪你学之——Spark MLlib之K-Means聚类算法
转自 程序员的自我修养 – SelfUp.cn由于在学习 spark mllib 但是如此详细的资料真的很难找,在此分享。聚类算法聚类,Cluster analysis,有时也被翻译为簇类,其核心任务是:将一组目标object划分为若干个簇,每个簇之间的object尽可能的相似,簇与簇之间的object尽可能的相异。聚类算法是机器学习(或者说是数据挖掘更转载 2015-03-18 10:44:44 · 1278 阅读 · 0 评论 -
孙其功陪你学之——Spark MLlib之K-Means聚类算法
看到 程序员的自我修养 – SelfUp.cn 里面有Spark MLlib之K-Means聚类算法。但是是java 语言的,于是我按照例程用Scala写了一个,分享在此。由于在学习 spark mllib 但是如此详细的资料真的很难找,在此分享。测试数据1234567原创 2015-03-18 17:38:00 · 2119 阅读 · 0 评论 -
孙其功陪你学之——Spark 正则化和SparkSQL
本博文程序是读取hadoop的hdfs中的文件,使用正则化解析出规定格式的数据,然后加载到sparkSQL数据库中。正则化如果不太了解,请看正则表达式30分钟入门教程package com.spark.firstAppimport org.apache.spark.SparkContextimport org.apache.spark._import org.apache.lo原创 2015-04-16 14:42:18 · 4141 阅读 · 0 评论