oracle csv kafka,使用python Spark将大型CSV发送到Kafka

我正在尝试向kafka发送一个大的CSV.基本结构是读取CSV的一行并用标题压缩它.

a = dict(zip(header, line.split(",")

然后将其转换为json：

message = json.dumps(a)

然后我使用kafka-python库发送消息

from kafka import SimpleProducer, KafkaClient

kafka = KafkaClient("localhost:9092")

producer = SimpleProducer(kafka)

producer.send_messages("topic", message)

使用PYSPARK

我已经轻松地从CSV文件创建了一个RDD消息

sc = SparkContext()

text = sc.textFile("file.csv")

header = text.first().split(',')

def remove_header(itr_index, itr):

return iter(list(itr)[1:]) if itr_index == 0 else itr

noHeader = text.mapPartitionsWithIndex(remove_header)

messageRDD = noHeader.map(lambda x: json.dumps(dict(zip(header, x.split(","))

现在我想发送这些消息：我定义了一个函数

def sendkafka(message):

kafka = KafkaClient("localhost:9092")

producer = SimpleProducer(kafka)

return producer.send_messages('topic',message)

然后我创建一个新的RDD来发送消息

sentRDD = messageRDD.map(lambda x: kafkasend(x))

然后我调用sentRDD.count()

哪个开始搅拌和发送消息

不幸的是,这很慢.它每秒发送1000条消息.这是一个10节点的集群,每个集群有4个cpus和8GB的内存.

相比之下,在1000万行csv上创建消息大约需要7秒. 〜约2gb

我认为问题是我在函数内实例化一个kafka生成器.但是,如果我不这样做就会引发抱怨,即使我尝试在全球范围内定义它,生产者也不存在.

也许有人可以阐明如何解决这个问题.

谢谢,