xubc的大数据笔记

Spark on Yarn模式下的配置spark-env.sh配置如下，standalone deploy mode部署模式下忽略export JAVA_HOME=/usr/jdk64/jdkexport SPARK_HOME=/opt/spark# Options read in YARN client/cluster modeexport SPARK_CONF_DIR...

spark开启history-server之后，app日志会保存在制定的目录下，若yarn开启日志收集，也需要进行app-logs的自动清理## yarn日志收集yarn.log-aggregation.retain-seconds = 1209600yarn.log-aggregation.retain-check-interval-seconds = 86400## spa...

val spark = SparkSession.builder .appName(this.getClass.getName().stripSuffix("$")) .getOrCreate() val df = spark.read.format("com.mongodb.spark.sql").options( Map

17/06/27 14:34:41 INFO deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps17/06/27 14:34:41 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 788

http://spark.apache.org/docs/latest/ml-features.html#tf-idfimport org.apache.spark.ml.feature._import org.apache.spark.ml.linalg.SparseVectorimport org.apache.spark.sql.SparkSessionimport sc

在window10上Intellij IDEA上已Local的模式运行调试Spark程序，并且将中间结果写入本地目录时，程序抛出异常错误Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties17/06/19 11:24:33 INFO SparkContext: Running Spark

Spark错误异常-sparkMaster GC overhead limit exceeded

当在同一台机器上提交多个spark任务时 并且是以client的方式提交，会报端口占用错误17/05/05 15:51:07 WARN AbstractLifeCycle: FAILED org.spark-project.jetty.server.Server@3c8bdd5b: java.net.BindException: Address already in usejava.net.

spark-submit向yarn提交application的脚本，包括spark参数、环境变量、应用程序参数传入#!/bin/bashsource ~/.bash_profileAPP_HOME=/home/data_user/recommendecho $APP_HOME###################### etl候选集和浏览数据集 #################

采用Apache版本spark1.2.1时没有出现乱码，但spark-1.1.0-cdh5.2.1版本中，在分布处理的map函数里对中文数据进行debug打印输出进行时出现问号乱码

运行在standalone模式下，提交的app应用一直在被挂起无法运行15/04/08 02:06:09 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficie

在Spring中配置Spark hive-thriftserver的连接DataSource与配置其他数据源连接方式是一样的，如一般Oracle数据源配置，使用如下的Jar包列表使用jdbc的方式连接thriftserver服务访问表数据package com.hadoop.test; import java.sql.Connection;import java.sql.

工作中使用的是hue来配置oozie工作流调度及任务中调度关系，spark job的输入是由hive sql产生输出的表，在配置spark job由于一些客观关系出现很多问题导致无法正确的执行，在oozie中支持spark job的及shell job的配置执行1. 采用spark program组件配置， 目前版本过低无法添加运行时的一些参数官网http://gethue.com

Spark设置setMaster=local，不提交集群，在本地启用多线程模拟运行object SparkUtil { private val logger = Logger.getLogger(getClass.getName, true) def getSparkContext(appName:String, local:Boolean=false, threadN