weixin_45790068的博客

前言Spark成功的实现了当年的承诺，让数据处理变得更容易，现在，雄心勃勃的Databricks公司展开了一个新的愿景：让深度学习变得更容易。 当然牛好吹，也是要做些实际行动的，所有便有了spark-deep-learning项目。这件事情已经有很多人尝试做了，但显然太浅了，DB公司则做的更深入些。原理要做深度学习，肯定不能离开TensorFlow, MXNet之类的。 spark-deep-learning也是如此，尝试和Tensorflow进行整合。那么如何进行整合呢？ 我们知道Tensorflo

spark常用RDD操作，操作包括两种类型，即转换（Transformation）操作和行动（Action）操作一、转换操作1、filter（func），筛选出满足函数func的元素，并返回一个新的数据集例如：scala> val lines=sc.textFile(“file:///usr/local/spark/mycode/rdd/word.txt”)scala> val linesWithspark=lines.filter(line => line.contians(“

原文链接：http://www.dataguru.cn/article-11647-1.html摘要:现如今，深度学习是机器学习中最热门的一种方法，与此同时，它还在继续取得显著成果。深度神经网络在不断地被证实是一门既有用又具有创新性的学科技术。该技术已经证明了其在之前停滞不前的研究领域中取得重大进展的 …分析现如今，深度学习是机器学习中最热门的一种方法，与此同时，它还在继续取得显著成果。深度神经网络在不断地被证实是一门既有用又具有创新性的学科技术。该技术已经证明了其在之前停滞不前的研究领域中取.

spark是什么？spark与hadoop的区别sparkSpark 是加州大学伯克利分校 AMP（Algorithms，Machines，People）实验室开发的通用内存并行计算框架。Spark 在 2013 年 6 月进入 Apache 成为孵化项目，8 个月后成为 Apache 顶级项目。Spark 以其先进的设计理念，迅速成为社区的热门项目，围绕着 Spark 推出了 SparkSQL、SparkStreaming、MLlib 和 GraphX 等组件，逐渐形成大数据处理一站式解决平台。

spark中ToDS()爆红无法使用解决一：导入包import spark.implicits._解决二：若import spark.implicits._爆红则问题如下:创建sparkSession.builder()时对应的变量名要与import spark.implicits._中的spark相同，若不相同，则会报错，如下创建sparkSession.bulider时对应的变量名为sparks，而import spark.implicits._中为spark，因此导入爆红改为如下图

UDF：User-defined Function，用户自定义函数。这里用scala代码为例子：1、定义udf函数hours：这里以本人正在编写的UDF，完成时长计算，将毫秒转换为小时单位为例子val hours: (Long, Long) => Long = (pickUptime:Long, dropDffTime:Long)=>{ val duration=dropDffTime-pickUptime val hours=TimeUnit.HOURS.conv

spark启动命令：cd /usr/local/sparksbin-start-all.shspark进入shell命令行：cd /usr/local/sparkbin/spark-shellhadoop启动命令：cd /usr/local/hadoop./sbin/start-dfs.shspark启动后访问web页面端口：http：//localhost:8080hadoop启动后访问web页面端口：http://localhost:9087...