![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 53
搬砖快乐~
努力跳跃
展开
-
本地上传文件到hdfs
本地上传文件到hdfs使用javaApi上传文件本地上传文件到hdfs使用javaApi上传文件import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class PutHdfsFile { public static void main(String[] args) throws E原创 2021-09-08 17:14:06 · 1181 阅读 · 0 评论 -
【spark】spark-hive操作
hiveserver2hive on tez 1,创建maven项目,就hive-site.xml,core-size.xml,hdfs-site.xml放到项目resources下面2.spark-hive连接:package com.people.item/** * Created by Administrator on 2017/8/2原创 2017-09-13 13:52:44 · 1098 阅读 · 0 评论 -
【spark】idea 手动添加设置参数
当你需要将项目打成jar在服务器上运行时, 当你需要动态的更改输入url时, 难道你还要每一次都去打包吗? 不,如今你不需要这样做了,使用java时,你有Scanner可以控制台输入参数, 同样的在scala中,你也是可以的。 下面来跟我一起去看一下吧!首先第一步:object StrTest { def main(args: Array[String]): Unit = {原创 2017-09-27 17:31:59 · 1503 阅读 · 0 评论 -
【spark】编程代码,随笔记录
spark-yarn模式 –master yarn-cluster (只需在spark-submit执行时,添加参数)速度慢: 提升cores数(提升并行执行的task);使用spark-rdd,textFile基于本地系统,linux系统,路径格式简介: //hdfs单个文件夹 val onePath = "hdfs://100.38.101.2:9000//log/month=01原创 2017-10-17 10:15:00 · 312 阅读 · 0 评论 -
【spark】Exception 异常处理,随笔记录
spark-submit,日常错误整理。随时更新原创 2017-09-13 15:52:12 · 1008 阅读 · 0 评论 -
SparkSql将数据源Hive中数据导入MySql实例
背景:能看到这篇博客的伙计儿,应该是充分理解了[理想是丰满的 现实是骨感] 这句名言了吧。为啥子这么说呢,那就是 不就是个SparkSql从hive导入到mysql吗 有什么技术含量,但是呢 不断地踩坑ing填坑ing。原创 2018-11-09 09:55:41 · 3746 阅读 · 0 评论 -
combineByKey之Spark中一个比较核心高级函数
import org.apache.spark.{HashPartitioner, Partitioner, SparkConf, SparkContext}/** * Created by Administrator on 2018/7/3. */object test { def main(args: Array[String]): Unit = { v...原创 2018-11-22 11:17:47 · 208 阅读 · 0 评论 -
spark-hdfs问题解析
Spark程序读取hdfs中数据 java.io.IOException: Premature EOF reading from原创 2019-08-21 17:09:34 · 730 阅读 · 0 评论