fansy1990的专栏

一日一积累

Spark SQL: Relational Data Processing in Spark

Spark SQL: Relational Data Processing in Spark Spark SQL : Spark中关系型处理模块 说明: 类似这样的说明并非是原作者的内容翻译,而是本篇翻译作者的理解(可以理解为批准),所以难免有误,特注! 当然翻译也可能有误! Da...

2019-04-07 09:44:56

阅读数 155

评论数 0

Coursera TensorFlow 基础课程-week4

Using Real-world Images 参考:Ubuntu 16 安装TensorFlow及Jupyter notebook 安装TensorFlow。 本篇博客翻译来自 Introduction to TensorFlow for Artificial Intelligence, ...

2019-03-23 18:05:37

阅读数 168

评论数 2

Coursera TensorFlow 基础课程-week3

Enhancing Vision with Convolutional Neural Networks 参考:Ubuntu 16 安装TensorFlow及Jupyter notebook 安装TensorFlow。 本篇博客翻译来自 Introduction to TensorFlow f...

2019-03-20 23:33:49

阅读数 73

评论数 0

Coursera TensorFlow 基础课程-week2

TensorFlow入门课程 本篇博客翻译来自 Introduction to TensorFlow for Artificial Intelligence, Machine Learning, and Deep Learning

2019-03-19 23:24:12

阅读数 114

评论数 0

Coursera TensorFlow 基础课程-week1

A New Programming Paradigm 参考:Ubuntu 16 安装TensorFlow及Jupyter notebook 安装TensorFlow。 本篇博客翻译来自 Introduction to TensorFlow for Artificial Intelligenc...

2019-03-18 22:37:53

阅读数 83

评论数 0

Spark读取Hive on Tez任务问题

Spark读取Hive on Tez任务问题 参考 Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found出现的问题后续,由于HDP集群调整Hive引擎为Tez后,出现的问题。具体问题如下: 19/03/18...

2019-03-18 11:19:56

阅读数 51

评论数 0

Ubuntu 16 安装TensorFlow及Jupyter notebook

Ubuntu 16 安装TensorFlow及Jupyter notebook 文章目录Ubuntu 16 安装TensorFlow及Jupyter notebook1. 软件版本2. 安装过程3. 测试 本文主要讲述Windows上VMware虚拟机中Ubuntu16.04(最小化安装版,没有...

2019-03-12 14:49:19

阅读数 50

评论数 0

Spark ALS recommendForAll源码解析实战之Spark1.x vs Spark2.x

文章目录Spark ALS recommendForAll源码解析实战1. 软件版本:2. 本文要解决的问题3. 源码分析实战3.1 Spark2.2.2 ALS recommendForAll 实战分析1. 首先给出其核心实现源码:2. blockify函数3. cartesian flatMa...

2019-03-04 21:17:00

阅读数 127

评论数 0

Spark ALS应用BLAS加速

文章目录Spark ALS应用BLAS加速1. 环境2. 问题引入3. 参考:4. 思路:4.1 简单测试:4.2 使用Native BLAS需要添加的Jar包方式1:在Intellij IDEA 中添加依赖找到方式2: 自行指定参数编译Spark源码4.3 使用新编译的Spark测试是否加载Na...

2019-02-27 23:16:49

阅读数 567

评论数 0

Spark Shell 启动报NullPointerException(包含getZipEntry)

文章目录Spark Shell 启动NullPointerException提示getZipEntry1. 软件版本:2. 问题描述:3. 问题解决思路4. 后续 Spark Shell 启动NullPointerException提示getZipEntry 1. 软件版本: 软件 版本 ...

2019-02-18 16:36:14

阅读数 113

评论数 0

Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found

Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not foundClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found1. 思路...

2019-02-14 15:32:32

阅读数 106

评论数 1

Spark 延迟30秒

Spark延迟30秒Spark延迟30秒1. 环境/版本/测试代码1.1 使用软件版本:1.2 集群部署1.3 测试代码2. 时间线3. 问题重述及分析 Spark延迟30秒 问题引出:问题来源于一次小的测试,在进行一个常规的读取Hive数据,并使用Spakr MLlib中的Describe进行基...

2018-12-26 18:09:33

阅读数 160

评论数 0

Spark 常用编程技巧

Spark 常用编程技巧 Spark Version : 2.2.0 1. 基础篇 1.1 Scala 篇 求均值 描述: 求一个Double类型的均值,含有NaN类型(去掉NaN后求均值); scala> val data = Array(1,2,3.0) da...

2018-10-13 12:56:31

阅读数 1518

评论数 2

Oozie4.3.1各种Action及综合实例

Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用(二) 如果没有编译好Oozie,并部署到集群,请参考:Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用(一) Build Oozie4.3....

2018-08-10 14:48:49

阅读数 437

评论数 0

Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用(一)

Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用(一) Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用(一) 1. 需求: 2. 前期预研: 3. 前期准备 4. 导入工程及编译修改 4.1 修改为...

2018-08-07 16:38:09

阅读数 352

评论数 1

Spark DataFrame vector 类型存储到Hive表

Spark DataFrame vector 类型存储到Hive表 Spark DataFrame vector 类型存储到Hive表 软件版本 场景描述 问题的迂回解决方法 示例 1. 软件版本 软件 版本 Spark 1.6.0 H...

2018-02-24 10:20:44

阅读数 1260

评论数 0

Spark ClassNotFoundException $$anonfun$2

Spark ClassNotFoundException $$anonfun$2 1. 软件环境: 软件 版本 Spark 原生1.6.0 Hadoop 原生2.6.5 2. 应用场景&问题描述 使用Java Web提交任务到S...

2018-01-25 11:05:15

阅读数 533

评论数 0

SparkSQL read Elasticsearch ClassNotFoundException

环境 软件 版本 Elasticsearch 2.3.3 spark cdh-1.6.0 idea 2016 问题描述:现在有一个Elasticsearch集群,需要使用SparkSQL直接连接进行读取,参考Elasticsearch官网代码,直接编写下面的程序进行读...

2017-11-28 11:05:19

阅读数 1095

评论数 0

Java Web提交任务到Spark Standalone集群并监控

Java Web提交任务到Spark Standalone集群并监控 环境 工程下载路径 Spark任务提交流程 问题及问题解决 后记Java Web提交任务到Spark Standalone集群并监控1. 环境 软件 版本 备注 IDEA 14.1.5 JDK 1...

2017-11-16 16:29:21

阅读数 3407

评论数 10

TensorFlowOnSpark stuck

问题描述:在使用TensorFlowOnSpark做测试的时候,发现任务,老是卡着并没有实际的运行。解决方法:1. 由于我使用的是自编译的TensorFlow,当时编译的时候有一个enable HDFS,默认是false,所以再次编译了一遍,把对应的HDFS enable设置为了true;2. 没...

2017-10-31 13:39:38

阅读数 600

评论数 0

提示
确定要删除当前文章?
取消 删除