![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
桩如人生
这个作者很懒,什么都没留下…
展开
-
Spark1.5 基于hadoop 2.5.0编译
第一步. 修改 spark-1.5.0目录下的pom.xml文件,匹配自己的软件版本,我的修改如下: vi pom.xml -- 修改如下相关软件的版本 1.7 2.6.0 第二步. 尝试用maven编译Spark export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=102原创 2016-03-14 15:17:01 · 917 阅读 · 0 评论 -
使用Intellij idea调试Spark源码
前提 本文假设开发环境是在Linux平台,并且已经安装下列软件,我个人使用的是arch linux。 jdk scala sbt intellij-idea-community-edition 安装scala插件 为idea安装scala插件,具体步骤如下 选择File->Setting 2 步骤2: 选择右侧的转载 2016-07-19 09:35:09 · 4670 阅读 · 0 评论 -
spark sql运行错误
1. 解决: 在hive 目录的lib中加入mysql-connector-java-5.1.35-bin.jar原创 2016-04-20 14:12:09 · 832 阅读 · 0 评论 -
spark sql 基础
SparkSQL初始化 Java API SparkConf sparkConf = new SparkConf().setAppName("JavaSparkSQL"); JavaSparkContext ctx = new JavaSparkContext(sparkConf); SQLContext sqlContext = new SQLContext(ctx); 启动Spark转载 2016-04-21 16:54:18 · 2104 阅读 · 1 评论 -
Could not alter table in Spark 1.5 use HiveContext
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Unable to alter table. Invalid method name: 'alter_table_with_cascade' msg: org.apache.spark.sql.execution.QueryEx转载 2016-04-20 11:29:22 · 1732 阅读 · 0 评论 -
spark sql on hive
Spark-sql部署 版本 Hadoop-2.5.0-cdh5.3.2 Hive-1.2.1-cdh5.3.2 Spark-1.5.0 以bihdp01节点为例 spark master在CNSH001上:spark://bihdp01:7077 spark HistoryServer在CNSH001上:bihdp01:8032 spark eventLog在hdfs上:hdf原创 2016-04-28 09:23:19 · 2284 阅读 · 0 评论 -
spark-sql部署实现与Hive交互
spark-sql部署 版本 Hadoop-2.5.0-cdh5.3.2 Hive-0.13.1-cdh5.3.2 Spark-1.5.1 以CNSH001节点为例 spark master在CNSH001上:spark://CNSH001:7077 spark HistoryServer在CNSH001上:CNSH001:8032 spark e转载 2016-04-11 15:14:24 · 2355 阅读 · 0 评论 -
SparkSQL使用之如何使用UDF
使用Java开发一个helloworld级别UDF,打包成udf.jar,存放在/home/Hadoop/lib下,代码如下: package com.luogankun.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class HelloUDF extends UDF { public String evaluate(转载 2016-04-25 14:08:29 · 7756 阅读 · 0 评论 -
kafka结合spark 错误整理
1. 解决方法: 缺少包原创 2016-03-23 16:35:30 · 3179 阅读 · 3 评论 -
spark1.5 编译错误整理
1.错误: 解决方法:原创 2016-03-15 14:07:23 · 554 阅读 · 0 评论 -
pyspark安装及使用
1.spark单机安装1>.下载spark,解压2.配置环境变量~/.bashrcexport SPARK_HOME=/home/cpp/software/spark#export HADOOP_CONF_DIR= #export YARN_CONF_DIR=export PATH="/opt/anaconda3/bin:$PATH:/home/cpp/software/spark/bin"...原创 2018-04-05 21:55:50 · 3459 阅读 · 0 评论