![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
LeeeeeMOON
这个作者很懒,什么都没留下…
展开
-
【Spark】八、配置Yarn模式
启动HDFS【进入hadoop安装目录下:sbin/start-dfs.sh】 修改Yarn的配置文件【进入hadoop安装目录下:/etc/hadoop/yarn-site.xml】<!-- Reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><...原创 2020-02-16 23:20:26 · 137 阅读 · 0 评论 -
【Spark】七、提交jar包执行任务
scala和spark-core无需打包<!-- 编译环境能用,运行环境不可用 --><scope>provided</scope>spark-wordcount的pom.xml文件中添加打包插件【每个插件都有自己的文档,具体配置看文档】 <!--配置构建信息--> <build> <pl...原创 2020-02-16 20:26:50 · 246 阅读 · 0 评论 -
【Spark】六、org.apache.hadoop.security.AccessControlException
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=L.MOON, access=WRITE, inode="/user/lsy/result1/_temporary/0":lsy:supergroup:drwxr-xr-xCaused by:...原创 2020-02-16 17:19:56 · 208 阅读 · 0 评论 -
【Spark】五、Maven编写WordCount
1.Maven工程【父子结构搭建】打开IDEA,新建Maven Project【spark】,填写Maven的GAV 创建好maven项目之后,点击Enable Auto-Import修改spark的pom.xml文件<!--表明当前项目是一个父项目,没有具体代码,只有声明的公共部分--><packaging>pom</packaging>-...原创 2020-02-15 22:51:57 · 473 阅读 · 0 评论 -
【Spark】四、提交jar包执行
bin/spart-submit【回车,可以看到所有的参数】一旦打包好,就可以使用bin/spark-submit脚本启动应用了. 这个脚本负责设置spark使用的classpath和依赖,支持不同类型的集群管理器和发布模式/bin/spark-submit --class <main-class> --master <master-url> --dep...原创 2020-02-10 15:02:02 · 299 阅读 · 0 评论 -
【Spark】三、配置HA【Standalone模式】
启动HDFSsbin/start-dfs.sh 进入到spark安装目录停止spark所有服务sbin/stop-history-server.shsbin/stop-all.sh-----------------------------sbin/stop-slaves.shsbin/stop-master.sh注意:集群操作顺序先启动master,再启动sl...原创 2020-02-10 14:23:35 · 150 阅读 · 0 评论 -
【Spark】二、配置日志服务器【Standalone模式】
Hadoop是可用的,可以访问HDFS进入到spark安装目录,到conf目录下 复制spark-defaults.conf.template为spark-defaults.confcp spark-defaults.conf.template spark-defaults.conf修改spark默认配置文件:spark-defaults.confspark.eventLog....原创 2020-02-04 23:48:53 · 344 阅读 · 0 评论 -
【Spark】一、Standalone模式安装
1、准备虚拟机三台:master、slave01、slave02(一台成熟的虚拟机可供拷贝:已安装好jdk1.8及以上)vim /etc/udev/rules.d/70-persistent-net.rules;删除eth0,修改eth1为eth0,复制物理ip地址【HWADDR】; vim /etc/sysconfig/network-scripts/ifcfg-eth0;修改物理ip...原创 2020-02-04 02:45:28 · 239 阅读 · 0 评论 -
【Spark】win10系统下基本环境配置
文章目录基本环境配置jdk安装与环境变量配置Spark安装与环境变量配置Hadoop安装与环境变量配置end基本环境配置每一天都有新发现。接触新技术内容,就要为其配置相应所需的环境,我的电脑装的是win10系统,所以基本环境配置介绍如何在win10系统下完成spark基本环境配置。jdk安装与环境变量配置首先要下载完成,才能继续安装。下载地址如下:https://www.oracle....原创 2019-05-26 11:59:18 · 329 阅读 · 0 评论