spark 读取ftp_如何使用SparkContext.textFile ftp文件？

最新推荐文章于 2021-02-22 02:08:05 发布
最新推荐文章于 2021-02-22 02:08:05 发布
阅读量207 收藏
点赞数
文章标签： spark 读取ftp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39678531/article/details/111554927
版权

16/02/12 10:52:22 INFO SparkContext：在BasicTextFromFTP.scala中从textFile创建广播0：14线程“main”中的异常org.apache.hadoop.mapred.InvalidInputException：输入路径不存在：ftp：/ /anonymous:pandamagic@ftp.ubuntu.com/ubuntu/ls-LR.gz atg.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:251)org.apache.hadoop.mapred.FileInputFormat.getSplits( FileInputFormat.java:270)org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala：199)at org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply(RDD.scala：239) at org.apache.spark.rdd.RDD $$ anonfun $在org.apache.spark.rdd.RDD.partitions的scala.Option.getOrElse(Option.scala：121)处分区$ 2.apply(RDD.scala：237) (RDD.scala：237)org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala：35)at org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply(RDD.scala：239) )在org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply(RDD.scala&

最低0.47元/天 解锁文章
weixin_39678531
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark 读取ftp_如何用SparkContext.textFile ftp文件？
weixin_39926193的博客
12-20 345
object BasicTextFromFTP {def main(args: Array[String]) {val conf = new org.apache.spark.SparkConf().setAppName("FTP Test")conf.setMaster("local")val sc = new SparkContext(conf)val file = sc.textFile("...
spark 读取ftp_Spark开发-SparkSQL读写数据
weixin_32321921的博客
02-22 802
SparkSQL数据读写DataFrameReaderDataFrameWriterDataFrameReader 对应的组件 SCHEMA OPTION FORMATDataFrameReader 有两种访问方式,一种是使用 load 方法加载, 使用 format 指定加载格式,还有一种是使用封装方法, 类似 csv, json, jdbc 等//.第一种形式 READ + FORMAT...
spark sftp
06-20
spark 读取sftp文件 下面是用法 // Construct Spark dataframe using file in FTP server DataFrame df = spark.read(). format("com.springml.spark.sftp"). option("host", "SFTP_HOST"). option("username", "SFTP_USER"). option("password", "****"). option("fileType", "json"). load("/ftp/files/sample.json") // Write dataframe as CSV file to FTP server df.write(). format("com.springml.spark.sftp"). option("host", "SFTP_HOST"). option("username", "SFTP_USER"). option("password", "****"). option("fileType", "json"). save("/ftp/files/sample.json");
spark 读取 ftp
weixin_30810583的博客
12-13 1440
class FtpShow(spark: SparkSession, map: Map[String, String]) { private val path = map(FtpOptions.PATH).stripPrefix("./") private val username = map(FtpOptions.USERNAME) private val passwd =...
spark 读取ftp_Spark读取双层ZIP压缩包
weixin_39842918的博客
12-20 483
问题项目中碰到一个新问题，需要利用Spark分析海量小文件，具体大概是这样的：海量的双层压缩包：数量可能几十万或更多，文件大小从几KB到几MB不等，可能是zip+zip压缩，也可能是zip+gz压缩。分析发现，外层的ZIP包中可能含有多个文件，内层的zip或gz包中只会有一个csv文件。实际表头格式也有多种，但处理方法和具体业务结合的较多，本问不再赘述。不同压缩方式的文件混在一起，无法在获取的时候...
spark-core_2.12-3.0.0.jar
03-19
比maven仓库下载快很多
spark-streaming_2.11-1.2.0.jar
05-31
Spark 项目流 org.apache.spark/spark-streaming_2.11/1.2.0/spark-streaming_2.11-1.2.0.jar
graphframes-0.8.1-spark3.0-s_2.12.jar
06-03
graphframes-0.8.1-spark3.0-s_2.12.jar
藏经阁-Spark on Supercomputers_ A Tal.pdf
08-31
藏经阁-Spark on Supercomputers_ A Tal.pdf
spark篇3：spark操作ftp
qq_38740498的博客
12-10 2367
spark篇3：spark操作ftp 废话不多说，直接上干货 package com.iflytek.ftp import java.text.SimpleDateFormat import java.util._ import com.alibaba.fastjson.JSON import org.apache.spark.rdd.RDD import org.apache.spark.s...
spark sftp 2.11
06-29
spark 读取 linux sftp上的文本文件，原jar只支持josn,csv等，增加bcp,txt文件的支持 下面是例子： public static void main(String[] args) throws Exception { SparkConf conf = new SparkConf().setMaster("local").setAppName("SparkDataFrame"); JavaSparkContext javacontext = new JavaSparkContext(conf); SQLContext sqlContext = new SQLContext(javacontext); Dataset<Row> df = sqlContext.read(). format("com.springml.spark.sftp"). option("host", "192.168.1.3"). option("username", "root"). option("password", "111111"). option("fileType", "bcp"). load("/sparktest/sparkfile0.bcp"); /*List<Row> list = df.collectAsList(); for(Row row:list){ String[] words = new String(row.getString(0).getBytes(),0,row.getString(0).length(),"UTF-8").split(" ",-1); for(int i=0;i<words.length;i++){ System.out.println("words==="+words[i]); } }*/ JavaRDD<Row> rowRdd = df.javaRDD(); JavaRDD<Row> words_bcp= rowRdd.map(new Function<Row, Row>() { @Override public Row call(Row row) throws Exception { // TODO Auto-generated method stub String line = row.getString(0); String[] words = new String(line.getBytes(),0,line.getBytes().length,"utf-8").split(" ",-1); return RowFactory.create(words); } }); List<Row> list = words_bcp.collect(); for(Row row:list){ System.out.println("row1=="+row.getString(0)); } df.write().format("com.springml.spark.sftp"). option("host", "192.168.1.3"). option("username", "root"). option("password", "111111"). option("fileType", "bcp"). save("/sparktest/luozhao.bcp"); df.show(); javacontext.close(); }
spark-sftp:SFTP的Spark连接器
05-08
Spark SFTP连接器库 通过从SFTP下载文件并将数据帧写入SFTP服务器来构造数据帧的库 要求 该库需要Spark2.x。 对于Spark 1.x支持，请检查分支。 连结中 您可以通过以下方式在程序中链接到该库： Maven依赖 <dependency> <groupId>com.springml</groupId> <artifactId>spark-sftp_2.11</artifactId> <version>1.1.3</version> </dependency> SBT依赖 libraryDependencies += "com.springml" % "spark-sftp_2.11" % "1.1.3" 与Spark Shell一起使用 可以使用--packages命令行选项将此软件包添加到Spark。 例如，在启动spark shell时将其包括在内：
spark 读取ftp_SparkStreaming 的 Kafka SSL 证书读取问题
weixin_39617484的博客
02-22 629
最近在 SparkStreaming 和 kafka 作业开发时，遇到了 SSL 证书读取失败的错误，如图：可以看到，报错原因是 kafka 在初始化 consumer 时读取证书失败。kafka 的配置中有如下几个 SSL 相关配置：ssl.keystore.typessl.truststore.typessl.keystore.locationssl.truststore.locationss...
spark 读取ftp_Spark-ftp：DataFrame被错误地保存到FTP
weixin_39632891的博客
12-20 371
我正在努力使用spark-ftp，我正在从oracle DB读取，然后想要将输出数据(从dataframe)写入FTP . 一切都很好，但为什么要复制一个名为 1part-XXX..csv.crc 而不是 .csv 的文件？这是代码：val jdbcSqlConnStr = "jdbc:oracle:thin://@Server:1601/WW"val jdbcDbTable = "(select...
spark 链接ftp读取数据并写入到hive表中
风逍遥-ygq
04-17 2729
spark依赖pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca...
spark 读取ftp_spark 脚本示例
weixin_39746382的博客
12-20 231
#/usr/bin/env python#encoding=utf-8importsyssys.path.append('./utils')sys.path.append('./gen-py')from spark_utils importsparkTaskimportlogger_utilsfrom conf_utils import DataConf #从py文件conf_utils.py里面...
spark 读取ftp_如何在独立的spark集群（pySpark）中使用FTP上的文件？
weixin_39594439的博客
12-20 461
嘿，我对spark是全新的，最近用几台笔记本电脑建立了一个spark独立集群。在我在本地ftp服务器上共享了一个名为新建.txt根据火花指南PySpark可以从Hadoop支持的任何存储源创建分布式数据集，包括本地文件系统、HDFS、Cassandra、HBase、Amazon S3等(http://spark.apache.org/docs/latest/programming-guide.ht...
python hadoop streaming_使用python+hadoop-streaming实现求数据平均值
weixin_39626409的博客
12-18 170
1Hadoop Streaming概述：提供了一个便于进行MapReduce编程的工具包，使用它可以基于一些可执行命令、脚本语言或其他编程语言来实现Mapper和 Reducer，从而充分利用Hadoop并行计算框架的优势和能力，来处理大数据。一般部署完hadoop之后都会存在hadoop-streaming包，为了以后使用方便我们把它cp到当前目录下[hadoop@master ~]$ pwd...
使用spark读写ftp遇到的问题
！WAIVE的博客
12-12 1314
LINUX安装 1.环境准备 1.1 安装 VSFTPD 使用 yum 安装 vsftpd yum -y install vsftpd 1.2 启动 vsftpd 安装完成后，启动 FTP 服务(关闭防火墙或者配置运行通过防火墙)： service vsftpd restart 启动后，可以看到系统已经监听了 21 端口： netstat -nltp | grep 21 此时，访问 ftp:...
Failed to load class spark.spark_hive1.
最新发布
12-29
- 在Spark配置文件（如spark-defaults.conf）中设置`spark.driver.extraClassPath`和`spark.executor.extraClassPath`属性： ``` spark.driver.extraClassPath /path/to/spark-hive_2.12-3.0.1.jar spark....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值