使用DataFrame建表的三种方式

import numpy as np
import pandas as pd

test_1 = pd.DataFrame(np.random.rand(4, 4),
                      index=list('ABCD'), columns=list('1234'))  # 产生随机数,index行,columns列
test_2 = pd.DataFrame([[1, 2, 3, 4], [2, 3, 4, 5], [3, 4, 5, 6], [4, 5, 6, 7]],
                      index=list('1234'), columns=list('ABCD'))  # 自己输入
dic1 = {'name': ['小明', '小红', '狗蛋', '铁柱'],
        'age': [17, 20, 5, 40], 'sex': ['男', '女', '女', '男']}  # 使用字典进行输入
test_3 = pd.DataFrame(dic1, index=list('ABCD'))
print(test_1, '\n')
print(test_2, '\n')
print(test_3, '\n')

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!要在Spark SQL中创建,您可以使用以下步骤: 1. 首先,您需要创建一个SparkSession对象,这是与Spark SQL交互的入口点。您可以使用以下代码创建一个SparkSession: ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder() .appName("SparkSQLExample") .config("spark.some.config.option", "some-value") .getOrCreate() ``` 2. 接下来,您可以使用SparkSession对象的`createDataFrame`方法将数据加载到DataFrame中。DataFrame是Spark SQL中的核心数据结构。您可以从各种不同的数据源加载数据,如CSV文件、数据库等。以下是一个加载CSV文件到DataFrame的示例: ```scala val df = spark.read.format("csv") .option("header", "true") .load("path/to/your/csv/file.csv") ``` 3. 然后,您可以使用DataFrame的`createOrReplaceTempView`方法将DataFrame注册为一个临时视图。临时视图允许您在后续的Spark SQL查询中引用该。以下是一个示例: ```scala df.createOrReplaceTempView("my_table") ``` 4. 最后,您可以使用SparkSession对象的`sql`方法执行SQL查询来创建。以下是一个示例: ```scala spark.sql("CREATE TABLE my_table_name AS SELECT * FROM my_table") ``` 在上述示例中,我们使用了`CREATE TABLE`语句来创建名为`my_table_name`的新,并将其填充为之前创建的临时视图`my_table`的内容。 这就是在Spark SQL中建立的基本步骤。您可以根据自己的需求进行调整和扩展。希望对您有所帮助!如果您有任何问题,请随时向我提问。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值