spark
赴前尘
惜春春去
展开
-
pycharm运行pyspark错误:Java gateway process exited before sending its port number
1.右上角打开 Edit Configurations2. 点击 Environment variables,点击“+”,添加 PYTHONPATH=D:\spark-2.2.1\python(具体视自己安装的spark目录为准)原创 2020-10-26 19:47:34 · 1370 阅读 · 0 评论 -
spark terasort 排序
1.产生数据:./bin/spark-submit \--class org.apache.spark.examples.TeraGen \--master spark://centos1:7077 \/usr/local/spark-2.2.1/examples/jars/spark-examples_2.11-2.3.3.jar \1g /terasort/spark/1G...原创 2019-11-16 12:37:50 · 2379 阅读 · 0 评论 -
yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set
1.hdfs dfs -mkdir /spark_jars2.hdfs dfs -put /usr/local/spark-2.2.1/examples/jars/spark-examples_2.11-2.2.1.jar /spark_jars3.cp spark-defaults.conf.template spark-defaults.conf4.sud...原创 2019-11-02 21:44:40 · 328 阅读 · 0 评论 -
centos7系统下安装JDK8的详细步骤
一.前期准备centos7虚拟机,xshell,,xftp,JDK8(linux版)二.安装步骤1. 启动centos7之后,通过 ifconfig 命令获取centos7的IP地址(注:以下只要是输入的命令都用红字表示)2.打开xshell,新建会话,输入第1步获取的IP地址,连接centos7,选择root用户登录3. rpm -qa | grep java 命令...原创 2019-08-28 18:17:27 · 8976 阅读 · 1 评论 -
centos7三个节点的 spark集群搭建
一.前期准备:三台centos7虚拟机hadoop01,hadoop02,hadoop03(已成功完成hadoop集群搭建),xshell,xftp,spark安装包(https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz)说明:以下全部使用root用户进行操作二.针对h...原创 2019-08-30 10:16:00 · 1305 阅读 · 0 评论 -
windows下netcat的安装配置
1.下载 netcat-1.12https://eternallybored.org/misc/netcat/2.解压到指定文件夹下3.配置环境变量4.打开cmd窗口 nc命令测试原创 2019-10-07 09:52:02 · 960 阅读 · 0 评论 -
windows系统下Spark Streaming 的简单演示
前提:已安装并成功配置spark(单节点),已安装配置完成netcat(博客:https://blog.csdn.net/qq_36940806/article/details/102290470)1.cmd 进入命令行窗口,执行 spark-shell2.cmd打开另一个命令行窗口 输入 nc -l -p 7777 监听7777端口3.第一个命令行窗口下执行下列scala...原创 2019-10-07 10:17:11 · 1232 阅读 · 0 评论 -
windows下 spark structed streaming 词频统计
前提:已安装并成功配置spark(单节点),已安装配置完成netcat(博客:https://blog.csdn.net/qq_36940806/article/details/102290470)1.cmd 进入命令行窗口,执行 spark-shell2.cmd打开另一个命令行窗口 输入 nc -l -p 7777监听7777端口3.第一个命令行窗口下执行下列sca...原创 2019-10-09 10:17:03 · 323 阅读 · 0 评论