Spark框架基础
Biorad
天生我材必有用
展开
-
Scala编程程序中的测试小框架
package com.AtomicTestimport java.io.FileWriter/** * A tiny little testing framework,to display results and to introduce & promote * unit testing early in the learning curve.To use in a script or A原创 2016-12-27 21:17:36 · 344 阅读 · 0 评论 -
IDEA中如果报org.apache.spark.sparkException: A master URL must be set in your configuration
local 本地单线程local[K] 本地多线程(指定K个内核)local[*] 本地多线程(指定所有可用内核)spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。yarn-client客户端模式 连接到 YARN原创 2017-03-02 13:15:07 · 1975 阅读 · 1 评论 -
IDEA 调试 Hadoop程序
原文地址:http://blog.csdn.net/uq_jin/article/details/522351211、解压Hadoop到任意目录比如:D:\soft\dev\Hadoop-2.7.22、设置环境变量HADOOP_HOME:D:\soft\dev\hadoop-2.7.2HADOOP_BIN_PATH:%HADOOP_HOME%\binHADOOP转载 2017-03-02 13:21:34 · 340 阅读 · 0 评论 -
win10下Anaconda3在虚拟环境python_version=3.5.3 中配置pyspark
win10下Anaconda3在虚拟环境python_version=3.5.3 中配置pyspark1. 序 经过了一天的修炼,深深被恶心了,在虚拟环境中配置pyspark花式报错,由于本人实在是不想卸载3.6版的python,所以硬刚了一天,终于摸清了配置方法,并且配置成功,不抱怨了,开讲原创 2017-07-25 20:20:28 · 5434 阅读 · 2 评论