spark streaming 的textFileStream读取不了数据原因分析

最新推荐文章于 2022-07-14 09:55:58 发布
最新推荐文章于 2022-07-14 09:55:58 发布
阅读量7.9k 收藏 1
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013013024/article/details/78133861
版权
这路径如果hdfs的路径 你直接hadoop fs  -put 到你的监测路径就可以，如果是本地目录用file:///home/data 你不能移动文件到这个目录，必须用流的形式写入到这个目录形成文件才能被监测到。
时间的快慢
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
sparkstreaming 读取本地文件获取不到内容
weixin_42194239的博客
10-25 2394
1. 批次间隔大于3s 2. 文件地址写成绝对路径且使用file:///开头 例：ssc.textFileStream(“file:///D:/cs/scalaPro/SparkDemo/data”) 3. 读取目录中的文件以文件流形式写入该目录下 ...
textfilestream_Spark Streaming之二：StreamingContext解析
weixin_35509069的博客
01-30 829
1.1 创建StreamingContext对象1.1.1通过SparkContext创建源码如下：def this(sparkContext: SparkContext, batchDuration: Duration) ={this(sparkContext, null, batchDuration)}第一参数为sparkContext对象，第二个参数为批次时间；创建实例：valssc=...
Error：spark streaming 的textFileStream读取不了数据 ，即：在目录中创建文件，但是在streaming程序中是没有读取对应数据
小蚯蚓的博客
09-18 2831
1.现象 SparkStreaming从本地文件夹"..\WorkspaceforMyeclipse\scalaProjectMaven\datas"中读取数据，并进行DStream/RDD处理，但是，在datas中创建文件并且写入文字，程序都无法读取。 2.原因： SparkStreaming需要读取流式的数据，而不能直接从datas文件夹中创建。 3.解决： 创建文件 t...
小白学spark日记——SparkStreaming使用textFileStream不能显示数据的问题
qq_42515611的博客
08-25 685
第一个文件中的内容不能显示，第二个文件中的内容可以显示。 原因可能在于，第一个文件是文件启动之前才创建的，修改时间在程序运行之后，则SparkStreaming认为这个文件已经访问过了，第二个文件是文件启动才创建的，修改时间跟创建时间都在程序运行之后，则可以显示。 ...
spark的textFileStream进行读取文件报错 Error finding new files java.lang.NullPointerException
爱酷码的博客
04-21 1207
WARN FileInputDStream: Error finding new files java.lang.NullPointerException at scala.collection.mutable.ArrayOps$ofRef$.length$extension(ArrayOps.scala:192) at scala.collection.mutable.ArrayOps$ofRef.length(ArrayOps.scala:192) at scala.collection.Seq.
【Spark】Spark Stream 读取 HDFS 数据
晚风中的自由
11-27 1187
从HDFS读取文本数据作为DStream 准备数据，本地目录/opt/datas/sparkDatas 下有文件wc.txt 内容如下： hadoop spark streaming spark hdfs streaming spark 启动hadoop的namenode 和 datanode sbin/hadoop-daemon.sh start namenode sbin/ha...
Spark Streaming 本地测试：读取Windows本地文本文件
不锈钢i狗链的博客
03-13 4800
Spark Streaming 本地测试 准备工作就不说了，网上一大堆，jdk，sdk，环境搭建。。。 直接进入正题 本地idea Spark Streaming 读取 Windows本地文本文件两种方法： 先提一下：测试前，请先写好SparkStreaming程序，并且跑起来，让它开始监听，然后你再传数据，不然你传了数据之后，再开监听，还监听个毛啊 （1）通过ssc的socketTextStre...
sparkstreaming本地读取数据获取不到内容
myanddream的博客
05-18 1414
代码 sparkstreaming本地读取数据代码块 package com.mydemo import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext} object strDemo { def main(args: Array[String]): Unit = {
SparkStreaming实战案例
TU_JCN的博客
07-11 722
1、单词计数 pom.xml配置： <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> <scala.version>2.11.8</scala.version> <spark.v
Spark之Spark Streaming处理文件流数据
zhangdy12307的博客
05-20 3459
Spark之Spark Streaming处理文件流数据 创建相关文件路径 先设置一个用于保存文件的路径，创建的路径地址为 /usr/local/spark/mycode/streaming/logfile 导入相关类 import org.apache.spark.streaming._ 创建一个StreamingContext对象 val ssc=new StreamingContext(s...
SparkStreaming01
Binbinhb的博客
03-17 838
一、Spark-Streaming(http://spark.apache.org/streaming/) 1、作用 Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. 基于Spark之上（RDD）的流处理， 流： source ==&gt; compute ==&g...
流（Stream）与文件流（FileStream）
weixin_30699463的博客
03-09 440
//通过流的方式添加 StreamWriter writer = new StreamWriter(@"C:\A\ca.txt", true, Encoding.Default); writer.WriteLine("早上好"); writer.WriteLine("中午好"); ...
Spark学习之路（十）——Spark Streaming
Rong_Robot的博客
10-13 400
1、Spark Streaming工作方式 Spark Streaming引入了离散流（DStream）的概念。DStream本质上是存储在一系列RDD中的批数据，每个批代表一个时间窗口内的数据，时间窗口长度通常为秒级。 2、创建StreamingContext from pyspark.streaming import StreamingContext ssc = StreamingConte...
大数据笔记--SparkStreaming
我睡觉的时候不困
04-24 2950
一、SparkStreaming介绍 1、概述 Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，以吞吐量高和容错能力强著称。 实时流处理指的是随着数据的实时到达，进行实时计算。目前做实时流计算的框架： Storm、SparkStreaming、Flink 上图：为SparkStreaming实时流计算的过程。我们总结如下知识点： ①、SparkStreaming接收连续不断的数据流，然后将数据流离散化成一批一批的数据，底层是.
spark学习-streaming三种读取字节流方式
Chelseady的博客
08-18 1754
一.文件流（DSstream） 先创建文件： cd /usr/local/spark/mycode mkdir streaming cd streaming mkdir logfile cd logfile touch log1.txt touch log2.txt 打开一个Linux终端窗口，进入shell命令提示符状态: cd /usr/local/spark/mycode/str...
textfilestream_为什么foreachRDD不使用StreamingContext.textFileStream用新内容填充DataFrame？...
weixin_30121389的博客
01-14 156
My problem is that, as I change my code into streaming mode and put my data frame into the foreach loop, the data frame shows empty table! I does't fill! I also can not put it into assembler.transform...
Spark Streaming 基本操作
mxk4869的博客
07-14 469
Spark Streaming 基本操作
SparkStreaming无法读取hdfs文件
_衷愉的博客
08-04 575
代码如下： package com.spark import org.apache.spark.rdd.RDD import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.{SparkConf, SparkContext} object SparkStreamHDFS { def main
用spark streaming实时读取hdfs数据并写入elasticsearch中
最新发布
06-28
### 回答1： 使用Spark Streaming可以实时读取HDFS数据，并将其写入Elasticsearch中。 具体步骤如下： 1. 创建Spark Streaming应用程序，并设置批处理间隔时间。 2. 创建一个DStream，从HDFS读取数据。 3. 对DStream进行处理，例如过滤、转换等操作。 4. 将处理后的数据写入Elasticsearch中。 代码示例： ```python from pyspark import SparkContext from pyspark.streaming import StreamingContext from pyspark.streaming.kafka import KafkaUtils from elasticsearch import Elasticsearch # 创建SparkContext和StreamingContext sc = SparkContext(appName="HDFS to Elasticsearch") ssc = StreamingContext(sc, 10) # 从HDFS读取数据 lines = ssc.textFileStream("hdfs://localhost:900/data") # 对数据进行处理 words = lines.flatMap(lambda line: line.split(" ")) filtered_words = words.filter(lambda word: len(word) > 3) # 将数据写入Elasticsearch es = Elasticsearch() def send_to_es(rdd): for record in rdd.collect(): es.index(index="myindex", doc_type="mytype", body=record) filtered_words.foreachRDD(send_to_es) # 启动StreamingContext ssc.start() ssc.awaitTermination() ``` 这段代码从HDFS读取数据，对数据进行过滤，然后将处理后的数据写入Elasticsearch中。其中，send_to_es函数用于将RDD中的数据写入Elasticsearch。在实际使用中，需要根据具体的需求进行修改。 ### 回答2： Spark Streaming是Apache Spark生态系统中的一种强大的流处理框架。它提供了实时流数据处理的能力，并且可以无缝地与Hadoop生态系统集成。同时，Elasticsearch是一种分布式搜索引擎，它能够快速准确地处理大规模文本数据。 使用Spark Streaming实时读取HDFS数据并将其写入Elasticsearch中，可以实现流数据的实时处理和导入到搜索引擎进行快速准确的查询和分析。具体实现步骤如下： 1. 创建一个Spark Streaming应用程序，并定义接收数据的源。在本例中，可以使用Hadoop FileSystem API来读取HDFS文件系统中特定路径下的文件。 2. 将Spark Streaming应用程序与Elasticsearch连接。这可以通过使用Elasticsearch-Hadoop库来实现。这个库提供了一些Spark RDD的API，可以让你从Spark RDD导入数据到Elasticsearch中。 3. 实现对于数据的转换，以便可以将数据写入到Elasticsearch中。这个过程可能需要一些数据清洗和转换。在本例中，可以使用Spark SQL来处理数据的转换。 4. 实现数据的写入到Elasticsearch中。在这个过程中，可以使用Hadoop API从Spark上下文中读取数据，并将其写入到Elasticsearch中。可以将数据写入到一个新的Elasticsearch索引或直接添加到现有的索引中。 5. 启动Spark Streaming应用程序，并监视其处理实时流数据和写入Elasticsearch的性能和表现。 总的来说，用Spark Streaming实时读取HDFS数据并写入Elasticsearch中是一种非常有效的处理流数据的方式。这种方法需要一定的技术知识和经验，但可以为企业和组织提供实时数据处理和搜索分析的能力，从而做出更明智的业务决策。 ### 回答3： Spark Streaming是通过流形式处理数据的一种框架，在不断增长的数据中，它可以实时读取数据，同时进行实时分析和存储。HDFS是一个基于Hadoop的分布式文件系统，用于存储和处理大量数据。Elasticsearch是一个实时分布式搜索与分析引擎，它可以快速处理大量数据。 我们可以通过使用Spark Streaming来实时读取HDFS数据并将其写入Elasticsearch中。这个过程可以分为以下步骤： 1.创建Spark Streaming对象 在程序开始之前，需要定义一个Spark Streaming对象，它由StreamingContext来创建，通过指定时间间隔（batch interval）来控制进行实时处理的数据块大小。这里我们根据需求设置数据块大小为1秒，创建一个StreamingContext对象： val conf= new SparkConf() val ssc = new StreamingContext(conf, Seconds(1)) 2. 读取HDFS数据 通过Spark的FileInputDStream对象传递数据从HDFS中读取数据, 我们通过DStream对象来表示一连串的RDDs，从而使数据可以在流处理中被处理。例子中是读取Hadoop文件系统当中的某个文件夹 hdfs://localhost:9000/data val inputRDD = ssc.fileStream[LongWritable, Text, TextInputFormat](“hdfs://localhost:9000/data") 3. 对数据进行实时处理 我们需要继续对数据进行处理，以便将数据传递到Elasticsearch中，这里开发者可以根据自己的需求定义数据处理的逻辑。处理完后，我们需要将数据打包成Elasticsearch所接受的JSON格式，例如： input.flatMap(x ⇒ x._2.toString.split(”\n”)).map(callYourProcessingLogicFunction).map(toJson).saveJsonToEs(“index/type”); 4. 将处理好的数据写入Elasticsearch 通过Spark对Elasticsearch的支持，可以利用DStream类中的foreachRDD方法将数据写入到Elasticsearch中。以下为代码示例： input.foreachRDD((rdd,time) => rdd.saveToEs(“index/type”) ) 这就是使用Spark Streaming实时读取HDFS数据并将其写入Elasticsearch中的过程。需要注意的是，我们在处理大规模数据时，一定要注意数据的处理速度，否则我们将无法及时，准确地完成相关的处理。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值