spark读取hdfs上的bson包，并解析

最新推荐文章于 2022-04-14 20:33:21 发布
最新推荐文章于 2022-04-14 20:33:21 发布
阅读量1.1k 收藏
点赞数
分类专栏： spark 文章标签： spark hdfs 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014236468/article/details/78663509
版权
这篇博客介绍了如何在公司环境中利用Spark从HDFS上读取BSON格式的数据。通过配置MongoDB的Hadoop连接器，设置输入格式为BSONFileInputFormat，并指定数据路径，然后初始化SparkConf和SparkContext。接着，使用newAPIHadoopRDD方法读取BSON文件，并对数据进行清洗，最后将结果写入到HDFS中。
摘要由CSDN通过智能技术生成

公司的数据是bson的格式的，需要用到spark的dataF，代码如下：


val mongoConfig = new Configuration()

   //输入数据的格式路径

    mongoConfig.

最低0.47元/天 解锁文章
明月不归尘
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SparkSql读取HDFS文件写出到MySQL的问题
路飞
07-01 782
SparkSql读取HDFS文件写出到MySQL 用SparkSQL来处理存放在HDFS文件，操作起来优雅简洁，同时写出到数据库中，比SparkRDD操作跟简单，在此之前确保HDFS所在服务器的访问端口是否开通一般为9000端口，文章里是8020端口。文章中使用的数据为MongoDB的数据到HDFS上的，数据格式（BSON）和JSON是大同小异的。 数据格式 {"oil":0,"simNo":"010000000002","carId":304648943587868672,"address":null,"
spark-submit 提交保存输出文件到hdfs上报错
huonan_123的博客
11-20 1858
hdfs java.io.IOException: Mkdirs failed to create
地铁译：Spark for python developers ---Spark的数据戏法
热门推荐
我相信......
05-21 1万+
聚焦在 Twitter 上关于Apache Spark的数据, 这些是准备用于机器学习和流式处理应用的数据。 重点是如何通过分布式网络交换代码和数据，获得 串行化, 持久化 , 调度和缓存的实战经验 。 认真使用 Spark SQL, 交互性探索结构化和半结构化数据. Spark SQL 的基础数据结构是
Spark dataframe， Spark dataframe 受到了
MongoDB + Spark: 完整的大数据解决方案
u010385646的专栏
09-30 1万+
原文链接 Spark介绍 按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。 通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。快速： 这个可能是Spark成功的最初原因之一，主要归功于其基于
spark(scala)中对mongodb以及excel的处理和小问题的解决(比如select传入可变参数问题解决）
qq_35235032的博客
09-20 436
背景： 采用spark读取mongodb和Excel的数据，由于mongodb是bson类型的数据，需要的字段名比较少且按照层级选取，想到的办法是先把数据全部读成df，然后通过select操作查找需要的字段 出现的问题是： 因为将生成特定字段的df封装成函数，而函数本身是需要传入字段名列表(Seq类型)的，而select操作通过看源码接收的参数类型是 col : scala.Predef.String, cols : scala.Predef.String* 类型的，所以需要处理 相关函数
使用Spark3批量导入数据至MongoDB
liuwei0376的专栏
04-14 685
Mongo DB is a distributed NOSQL(Not Only SQL) database based on a document model where data objects are stored as separate document inside a collection. Each MongoDB instance can have multiple databases and each database can have multiple collections. A do
Windows+Spark+Scala+Hadoop+Hive+Mysql环境搭建 实现读取Mongo数据写入hive
weixin_38705082的博客
11-06 1028
一.jdk安装部署 1.去官网下载jdk1.8.0_201.tat.gz; 解压jdk1.8.0_201.tat.gz至D:\soft\Java\jdk1.8.0_201 2.配置系统环境变量（因为简单所以省略具体步骤） 二.Hadoop安装部署 1.去Hadoop官网下载hadoop2.7.7.tar.gz； 下载hadooponwindows-master.zip（后面有用） 解压hadoop...
python大数据基础知识点（Hadoop+HDFS+MapReduce+Hive+Hbase）
junjun的专栏
04-30 1218
python大数据基础知识点 ***概述 起源：Google 3篇论文 GFS ,MapReduce ,BigTable Doug Cutting 写 Hadoop HDFS - GFS， MapReduce -- MapRe...
spark源码阅读一-spark-mongodb代码分析
David的专栏
07-31 2785
源码的github地址https://github.com/mongodb/mongo-spark，是mongodb发布的spark connection接口库，可以方便的使用spark读写mongodb数据 1.rdd写入mongodb 两种方式将生成的rdd写入mongodb，事例代码：
解析MongoDB查询出的多条json（bson）数据并转化为可分析的表格（Python实现+图文）
可乐联盟
05-08 4603
解析MongoDB查询出的json数据并转化为表格 问题描述：我们从MongoDB查询出的数据想要进行分析，需要转换成我们可以分析的格式，要进行json解析成我们想要的格式，比如表格 MongoDB查询出来的结果如下（一个文件里面由多个json（Bson）格式组成） /* 1 */ { "applyInfo" : { "_id" : "20190322", ...
java解析读取Bson数据
wq_wangqiang的博客
08-22 6243
2需要引入bson-3.8.1.jar 使用BasicBSONDecoder类中的readObject进行读取数据。代码如下图所示。 package com.wq.ta.da.util; import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream; import java.io...
spark与MogoDB不得不说的故事
我见青山多妩媚，料青山见我应如是
10-25 1704
一.背景 spark2.x Scala 2.11.x 截取pom.xml <dependencies> <dependency> <groupId>org.mongodb.spark</groupId> <artifactId>mongo-spark-connector_2.11</artifactId> <v...
spark读取mongodb数据配置
Maxi的专栏
03-27 5817
原文出处：http://blog.csdn.net/omrapollo/article/details/66968147引入依赖创建方法见上一篇博客： Spark+IntelliJ IDEA创建项目引入如下依赖： 实现代码import org.apache.hadoop.conf.Configuration import org.apache.log4j.{Level, Logger} impor
BSON 构建简单BSON数据
众秒之门
01-24 3866
经常会使用到的四个类： 1、 mongo::BSONObj，这个是BSON对象的表示 2、mongo::BSONElement，这个是BSON对象中元素的表示方法 3、mongo::BSONObjBuilder,这是构建BSON对象的类 4、mongo::BSONObjIterator，这是用来遍历BSON对象中每一个元素的一个迭代器 构建简单BSON数据 1、简单构造BSON
<转>当MongoDB遇见Spark
yongjian_luo的专栏
03-27 1519
适宜读者人群 正在使用Mongodb的开发者 传统Spark生态系统 和 MongoDB在Spark生态的角色 传统Spark生态系统 Spark生态系统 那么Mongodb作为一个database, 可以担任什么样的角色呢? 就是数据存储这部分, 也就是图中的黑色圈圈HDFS的部分, 如下图 用MongoDB替换HDFS后的Spark生态系统
spark+mongodb大数据框架搭建
chenguohong88的博客
09-05 8355
spark+mongodb大数据框架搭建
spark读取hdfs上的多目录parquet文件
最新发布
03-16
要使用Spark读取HDFS上的多目录Parquet文件，可以按照以下步骤操作： 1. 创建SparkSession对象 ```scala val spark = SparkSession.builder() .appName("Read Parquet Files from HDFS") .master("local[*]") ....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值