在Spark-Shell下启用SQL报错：error: not found: value sqlContext解决方案

最新推荐文章于 2022-08-07 11:10:20 发布
最新推荐文章于 2022-08-07 11:10:20 发布
阅读量1.1k 收藏 2
点赞数 1
分类专栏： Spark 文章标签： SparkSQL error: not found: value sqlCon
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/happytjl/article/details/96428574
版权

我今天刚学习SparkSQL,然后学习看的视频是很久前的，他们的spark版本使用的是1.6以前的，

但是我现在学习使用的是2.2.1的，然后跟着视频操作使用sqlContext,报错error: not found: value sqlContext

然后百度，看到说是版本的问题,SparkSQL2.0之后使用的不是sqlContext了，而是spark.sql。

Candy@
关注
专栏目录
spark-sql-magic:IPython使用Spark-SQL的魔力
05-21
spark-sql-magic 使用提供SQLContext通过Spark运行SQL语句。 这种魔术将使用通过-s参数指定SQLContext。 如果没有提供，魔术将通过SQLContext搜索用户名称空间。 如果魔术找到了一个正确SQLContext，则将使用它。 ...
《Spark环境部署》spark-shell环境下配置本地读入文本信息时出现报错： console>:17: error: not found: value sc
qq_42947152的博客
12-19 2543
Spark环境部署,配置本地读入文本信息时出现报错： :17: error: not found: value sc 解决方法： 关闭Hadoop的安全模式即可：hadoop dfsadmin -safemode leave
error: not found: value sc
weixin_30814329的博客
10-25 5661
【问题】 解压spark的tar包后，执行bin/spark-shell，执行val lines=sc.textFile("README.md")时，抛错error: not found: value sc 【解决办法】 这是因为shell启动时没有初始化sparkContext，修改conf/spark-env.sh文件，添加如下内容： export SPARK_LOCAL...
IDEA报错：error: not found: value split
Buevara的博客
09-18 1365
找到该行： var data= data1.withColumn(s"${basename}_tmp",functions.explode(split(col(s"$basename"),","))).drop(s"$basename") 问题是 scala中自带的split参数形式和我们要使用的不一致，所以参考我的上一篇博客点击快速转到 我们要引入functions包 import org.a...
Spark-examples:火花的例子
04-29
在Spark-examples中，我们可以找到如何使用`sqlContext`进行SQL查询，以及如何使用DataFrame API实现复杂的数据处理任务。而Dataset API则结合了RDD的高性能和DataFrame的易用性，是Java开发者的好选择。 再者，...
spark-3.1.2-bin-hadoop2.7.tgz
01-29
Spark是Apache软件基金会下的一个开源大数据处理框架，以其高效、灵活和易用的特性而闻名。这个"spark-3.1.2-bin-hadoop2.7.tgz"是一个压缩包，包含了Spark 3.1.2版本，针对Hadoop 2.7优化的二进制发行版。在Linux...
sparkmagic：用于远程Spark集群的Jupyter魔术和内核
02-04
产品特点通过Livy对任何远程Spark集群以多种语言运行Spark代码自动创建SparkContext（ sc ）和HiveContext（ sqlContext ） 使用%%sql魔术轻松执行SparkSQL查询在PySpark，Spark和SparkR内核中自动可视化SQL查询；...
启动spark-shell后出现not found错误
热门推荐
PanPan的专栏
10-09 1万+
我曾遇到了类似于这样的问题： error:not found:value sqlContext error:not found:value sc 解决方案： 1.查看ifconfig，看ip地址是否和你在/etc/hosts中的ip地址一致，如果不一致，请修改/etc/hosts中的ip地址。 2.查看spark-env.sh中配置的SPARK_MASTER_IP是否和ifconfig中
虚拟机SAPRK，not found sc，可能是强制关掉spark造成的
Jerry_Mining的博客
05-03 1441
1.查看ifconfig，看ip地址是否和你在/etc/hosts中的ip地址一致，如果不一致，修改/etc/hosts中的ip地址。 2.查看spark-env.sh中配置的SPARK_MASTER_IP是否和ifconfig中的ip地址一致，如果不一致，请修改SPARK_MASTER_IP。 3 重启虚拟机或者重新启动spark
报错：error: not found: value spark val ratings = spark.sparkContext.（解决方案）
a18307096730的博客
04-14 4502
就问你，你是不是和我一样进的是scala环境，而不是spark-shell环境 然后试了很多种方法都没用，吐血 报错的意思：我们使用不了spark.sparkConetxt.（因为这是在scala里面，不是在spark-shell里面，所以肯定用不了） 解决方法：切换为spark-shell环境下运行就没有问题了 点个赞互相安慰一下 ...
exec不同文件l怎么汇总_Spark开发常见问题汇总
weixin_39588445的博客
01-02 289
Spark常见问题汇总1. 提交时出现Container exited with a non-zero exit code 13解决方案:去掉代码中的setMaster(XX),因为你在命令行中指定的运行模式会和代码中的有所冲突2. ClassNotFoundException(IDEA方式下)解决方案:请在你的项目中添加maven的编译插件(红标处请修改为你的相应类)...
报 error: not found: value sqlContext  import sqlContext.implicits._ 和  import sqlContext.sql 错误的解决方案
py_tamir的博客
03-05 3700
问题： <console>:16: error: not found: value sqlContext import sqlContext.implicits._ ^ <console>:16: error: not found: value sqlContext import sqlContext.s...
spark 2.x.x <console>:27: error: not found: value sqlContext
漫画家的博客
12-25 430
val sqlContext = spark.sqlContext
python-sparksql 报错java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST
PingChangYu的博客
11-30 8164
环境 Python version 2.7.5 spark version 2.2.1 报错 打算使用python调用pyspark包执行sparksql 软件版本 使用pip install pyspark安装pyspark包，执行以下python脚本报错 from pyspark import SparkConf,SparkContext from pyspark.sql import Hi...
spark-sql: command not found 问题解决
aruewds的博客
08-07 2137
发现SPARK_HOME和PATH已经配置了，但是仍然出现该问题。
<console>:23: error: not found: value sqlContext
最新发布
05-31
这个错误通常是由于没有正确创建`sqlContext`对象导致的。您可以尝试使用以下代码创建`sqlContext...在这个代码中，我们通过`spark.sqlContext`创建了`sqlContext`对象。然后，我们使用`sqlContext`对象来执行SQL查询。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值