DataFrame的创建

最新推荐文章于 2023-04-13 13:38:54 发布
最新推荐文章于 2023-04-13 13:38:54 发布
阅读量237 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44853953/article/details/109370488
版权

DataFrame的创建

1、 读取文本文件创建DataFrame

在spark2.0版本之前，Spark SQL中SQLContext是创建DataFrame和执行SQL的入口，可以利用hiveContext通过hive sql语句操作hive表数据，兼容hive操作，并且hiveContext继承自SQLContext。在spark2.0之后，这些都统一于SparkSession，SparkSession 封装了 SparkContext，SqlContext，通过SparkSession可以获取到SparkConetxt,SqlContext对象。

在这里插入图片描述

2、 读取json文件创建DataFrame

spark给我们提供了json格式的示例文件，路径在
/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/examples/src/main/resources/people.json
我们可以直接通过spark解析json数据进行创建DF

val jsonDF = spark.read.json("file:///export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/examples/src/main/resources/people.json")

3、 读取parquet列式存储格式文件创建DataFrame

spark也给我们提供了parquet格式的数据，我们也可以通过spark直接解析parquet格式的数据来进行创建DF，示例文件的路径在
/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/examples/src/main/resources/users.parquet

val parquetDF = spark.read.parquet("file:///export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/examples/src/main/resources/users.parquet")
weixin_44853953
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
读取json格式为DataFrame(可转为.csv)的实例讲解
01-20
有时候需要读取一定格式的json文件为DataFrame,可以通过json来转换或者pandas中的read_json()。 import pandas as pd import json data = pd.DataFrame(json.loads(open('jsonFile.txt','r+').read()))#方法一 dataCopy = pd.read_json('jsonFile.txt',typ='frame') #方法二 pandas.read_json(path_or_buf=None, orient=None, typ='frame', dtype=True, co
创建dataframe的几种方式——读取json格式的文件
wyqwilliam的博客
11-23 3326
创建DataFrame的方式一共有 读取json格式的文件创建DataFrame 注意： json文件中的json数据不能嵌套json格式数据。 DataFrame是一个一个Row类型的RDD，df.rdd()/df.javaRdd()。 可以两种方式读取json格式的文件。 df.show()默认显示前20行数据。 DataFrame原生API可以操作DataFrame（不方便）。 ...
Python之DataFrame基础知识点
热门推荐
酒酿小圆子呀～
07-20 2万+
字典嵌套字典 # 字典嵌套字典 stu_dict = { 'student_1' : {'name': 'Jack', 'gender': 'M', 'score': 80}, 'student_2' : {'name': 'Mary', 'gender': 'F', 'score': 85} } {'student_1': {'name': 'Jack', 'gender': 'M', 'score': 80}, 'student_2': {'name': 'Mary', 'gender
11.6 hdfs读取json数据，转成DataFrame保存到hdfs
心雨先生
08-09 4999
读取json或者parquet文件创建一个DataFrame DataFrame存储到某一个路径下，默认存储格式是parquet SaveMode.Overwrite：重写 SparkConf conf = new SparkConf() .setAppName("SaveModeTest") .setMaster("local"); JavaSparkContext sc = new...
Python Pandas 通过读取txt文件内容创建DataFrame
weixin_42098295的博客
06-06 842
本文主要介绍Python中，通过读取txt文件内容创建Pandas的DataFrame，创建DataFrame分别使用pd.DataFrame.from_records()和pd.read_csv()。 原文地址：Python Pandas 通过读取txt文件内容创建DataFrame
【PySpark】 DataFrame读写
高高兴兴绊倒，灰头土脸填坑
04-20 3375
文章目录一、创建DataFrame的方式1、通过rdd创建DataFrame 一、创建DataFrame的方式 pyspark.sql.DataFrame 1、通过rdd创建DataFrame from pyspark.sql.types import * schema = StructType([ StructField("id", LongType(), True), StructField("name", StringType(), True), St
​spark计算引擎之SPARK详解
ITSM/ITIL/网络安全/IT运维
02-28 2877
Spark SQL的前世今生Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。Shark建立在Hive的代码基础上，并通过将Hive的部分物理执行计划交换出来。这个方法使得Shark的用户可以加速Hive的查询，但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护，同时Shark依赖于Spark的版本。随着我们遇到了性能优化的上限，以及集成SQL的一些复杂的分析功能，我们发现Hive的MapReduce设计的框架限制了Shark的发展。
DataFrame创建数据
01-20
DataFrame创建数据 所需包/库： import pandas as pd import numpy as np from pandas import DataFrame 1、使用二维数组创建 df1=DataFrame(np.random.randint(0,10,(4,4)),index=[1,2,3,4],columns=['a','b','c','...
Python中pandas模块DataFrame创建方法示例
12-25
本文实例讲述了Python中pandas模块DataFrame创建方法。分享给大家供大家参考，具体如下： DataFrame创建 1. 通过列表创建DataFrame 2. 通过字典创建DataFrame 3. 通过Numpy数组创建DataFrame DataFrame这种列表式...
pyspark 读取csv文件创建DataFrame的两种方法
01-21
方法一：用pandas辅助 from pyspark import SparkContext from pyspark.sql import SQLContext import pandas as pd sc = SparkContext() sqlContext=SQLContext(sc) df=pd.read_csv(r'game-clicks.csv') sdf=sqlc.createDataFrame(df) 方法二：纯spark from pyspark import SparkContext from pyspark.sql import SQLContext sc = S
pandas DataFrame创建方法的方式
09-18
主要介绍了pandas DataFrame创建方法的方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Spark_DataFrame创建及使用
weixin_44449054的博客
03-03 670
标题DataFrame创建1.通过sparkSession构建DataFrame2.通过RDD配合case class进行转换DF3.通过DataSet调用.toDF进行转换DFDataFrame的使用1.DSL风格语法2.SQL风格语法 DataFrame创建 1.通过sparkSession构建DataFrame 1、读取文本文件 val personDF2 = spark.read.text("file:///export/servers/person.txt") 2、读取json文件创建Data
Pandas DataFram常用操作总结
Trista的博客
04-01 4486
最近经常用到dataframe，经常用的时候百度，用完就忘了，下次用的时候还要再次百度，所以在这里整理一下，以备后需。 1 dataframe列操作 首先新建一个dataframe,读取文件 import pandas as pd df_test = pd.DataFrame("D:/data/test.csv") 1.1 列命名 假设有五行 df_test.columns = ["id","...
【Spark】RDD转换DataFrame（反射机制）
Just Do IT
04-13 479
Spark支持多种格式文件生成DataFrame，只需在读取文件时调用相应方法即可，本文以txt文件为例。
MapTask与ReduceTask详解
weixin_44853953的博客
08-17 1305
1、MapReduce的分区与reduceTask的数量 1.1 MapReduce的分区 在MapReduce中，通过我们指定分区，会将同一个分区的数据发送到同一个reduce当中进行处理，例如我们为了数据的统计，我们可以把一批类似的数据发 送到同一个reduce当中去，在同一个reduce当中统计相同类型的数据，就可以实现类似数据的分区，统计等。 1.2 reduceTask的数量 reducetask的数量通过我们自己手动指定。 如指定3个reducetask。 job.setNumReduce
HBase的预分区和rowkey设计技巧
weixin_44853953的博客
09-28 631
@TOC HBase的预分区 1、为何要预分区？ 增加数据读写效率 负载均衡，防止数据倾斜 方便集群容灾调度region 优化Map数量 2、如何预分区？ 每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。 3、如何设定预分区？ 1、手动指定预分区 hbase(main):001:0> create ‘staff’,‘info’,‘partition1’,SPLITS => [‘1000’
Cloudera Manager介绍
weixin_44853953的博客
09-10 577
Cloudera Manager介绍1.Cloudera Manager介绍2.ClouderaManager整体架构3.Cloudera Management Service4.信号检测5.状态管理6.服务器和客户端配置7.进程管理8.主机管理9.安全身份验证授权加密 1.Cloudera Manager介绍 Cloudera Manager是cloudera公司提供的一种大数据的解决方案，可以通过ClouderaManager管理界面来对我们的集群进行安装和操作，提供了良好的UI界面交互，使得我们管理集
dataframe创建
最新发布
05-18
在Python中，我们可以使用pandas库中的DataFrame来创建数据框。DataFrame是一种二维表格格式的数据结构，类似于Excel表格。以下是创建DataFrame的几种方法： 1. 从列表或数组创建DataFrame ```python import ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值