![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
可达达
这个作者很懒,什么都没留下…
展开
-
Spark SQL 编程示例
1.创建user.txt文本文件到hdfs (我的路径设置为hdfs://SparkMaster:9001/input/user.txt),查看user.txt2.创建SparkContext上下文‘3.引入相关包4.定义一个case class描述和存储SQL表中的每一行数据 5.加载数据6.注册user的table7.执行age原创 2017-04-07 16:24:21 · 475 阅读 · 0 评论 -
启动spark-shell后出现not found错误
我曾遇到了类似于这样的问题:error:not found:value sqlContexterror:not found:value sc解决方案:1.查看ifconfig,看ip地址是否和你在/etc/hosts中的ip地址一致,如果不一致,请修改/etc/hosts中的ip地址。2.查看spark-env.sh中配置的SPARK_MASTER_IP是否和ifconfig中原创 2016-10-09 10:48:37 · 18589 阅读 · 0 评论 -
Unable to load native-hadoop library for your platform
问题:在启动spark-shell时或在提交jar包运行程序时出现Unable to load native-hadoop library for your platform...using builtin -Java classes where applicable警告。解决:1.增加环境变量。即在/etc/profile中增加下面的内容:export LD_LIBRARY_PA原创 2017-03-09 15:55:26 · 716 阅读 · 0 评论 -
Spark1.6.1单节点环境搭建
本文搭建在Hadoop一、软件准备1. scala-2.11.8.tar.gz2. spark-1.6.1-bin-hadoop2.6.tar.gz二、ssh设置 1. 安装sshapt-get install ssh2. 启动ssh/etc/init.d/ssh start3. ssh-keygen -t rsa -P ""4. cat ~/.ssh/id原创 2017-08-08 12:12:37 · 905 阅读 · 0 评论