服务器本地文件加载到CarbonData与简单sql编写记录

搁浅的csdn

于 2019-07-19 16:29:29 发布

阅读量753

点赞数

本文链接：https://blog.csdn.net/qq_42575247/article/details/96483568

版权

本文介绍了如何将本地文件上传至HDFS并加载到CarbonData，包括HDFS的简单操作和SQL查询。步骤包括使用命令行工具传输文件、启动Spark、导入数据到CarbonData以及执行数据行数检查。此外，还分享了hdfs文件夹创建及SQL操作，如数据迁移、条件查询等。

摘要由CSDN通过智能技术生成

服务器本地文件加载到CarbonData与简单sql编写记录

一、加载文件到CarbonData：
二、hdfs和sql的一些简单操作：

一、加载文件到CarbonData：

1、首先可以传送文件到大数据平台，命令如下：

scp -r -P 端口号 主机名:/本地目录/完整的文件名 ~/服务器目录/

2、服务器上传本地文件到HDFS，命令如下：

hdfs dfs -put ~/服务器本地目录/完整的文件名称 /user/hdfs/hdfs下的目录

3、导入hdfs文件到CarbonData，首先需要启动Spark。

第一步：
cd $SPARK_HOME;
第二步：
./bin/spark-shell --master yarn-client --driver-memory 1g --executor-cores 2 --executor-memory 2G
第三步：
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.CarbonSession._
val carbon = SparkSession.builder().config(sc.getConf).getOrCreateCarbonSession()
第四步：
创建数据库表
carbon.sql(s"""CREATE TABLE
                        IF NOT EXISTS 数据库.表名(
								  shopid string,
                                  url string,
								  price string,
								  title string,
								  count string,
								  createtime string,

最低0.47元/天解锁文章