大数据
ws_developer
编程
展开
-
Spark集群无法停止的原因分析和解决
Spark集群无法停止的原因分析和解决[日期:2015-08-02]来源:Linux社区 作者:simplestupid[字体:大 中 小]今天想停止spark集群,发现执行stop-all.sh的时候spark的相关进程都无法停止。提示:no org.apache.spark.deploy.master.Master转载 2016-05-15 15:31:33 · 1515 阅读 · 0 评论 -
win10下 Anaconda闪退问题解决方法
实验环境:系统:Win 10 企业版Anaconda 版本:Python 3.5.2 | Anaconda 4.2.0(64-bit)问题描述:安装Anaconda及使用过程中没有出现任何问题,但当打开 Anaconda Navigator时闪退,就是会出现一个打开图标,但无法启动成功就退出了。解决方法:1.使用管理员权限运行 Anaconda Prompt2.升级nav...转载 2018-07-07 17:51:23 · 6085 阅读 · 0 评论 -
使用IDEA编写基于Scala的spark程序中的常见问题
1,ClassNotFound 通过Project Structure 将 main 改为 sources2,提示已经是一个Object 通过Project Structure 将 src 和 main 改为 sources3, 提示 NoSourcesFind spark Scala 版本不同步 看官网 版本依赖原创 2016-05-20 10:01:14 · 584 阅读 · 0 评论 -
Windows下IntelliJ IDEA中调试Spark Standalone
Windows下IntelliJ IDEA中调试Spark Standalone2015-02-01 18:01 9655人阅读 评论(5)收藏举报本文章已收录于:分类: 大数据(131) 作者同类文章X目录(?)[+]一主要思想二前提要求三新建测试项目三调试Spark Standa转载 2016-05-22 11:27:59 · 721 阅读 · 0 评论 -
spark 基本方法
转换(Transformations)TransformationMeaningmap( func)返回一个新的分布式数据集,由每个原元素经过func函数转换后组成filter( func)返回一个新的数据集,由经过func函数后返回值为true的原元素组成flatM原创 2016-06-01 16:01:55 · 2321 阅读 · 0 评论 -
spark 客户端和集群模式的区别
spark 客户端 driverprogram在提交应用的机器上,运行结果会直接输出到shell中spark运行在集群上 driverprogram在集群中的一台机器上 结果在UI上看 shell中不会输出太多信息原创 2016-05-30 18:11:18 · 2216 阅读 · 0 评论 -
spark on yarn 配置
yarn-site.xml yarn.resourcemanager.hostname hadoop-yarn.cloudyhadoop.com yarn.nodemanager.aux-services mapreduce_shuffle原创 2016-05-30 18:04:40 · 397 阅读 · 0 评论 -
spark UI 显示已完成应用的历史信息
1,在HDFS 上创建放历史文件的目录2,配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步创建的目录”3,配置spark-defaults.conf 的spark.eventLog.enabled=true,spark.eventLog.dir=第一步创建的目录,spark.eventLog.compress=true原创 2016-05-30 17:37:07 · 892 阅读 · 0 评论 -
Hadoop多节点集群安装配置
一步步教你Hadoop多节点集群安装配置1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构转载 2016-05-30 16:17:05 · 562 阅读 · 0 评论 -
centos7安装python3.6.8
https://blog.csdn.net/nickljw/article/details/85886422转载 2019-08-27 13:28:30 · 342 阅读 · 0 评论