Spark SQL 基础学习 【一】命令行操作DataFrame

最新推荐文章于 2024-07-31 15:54:40 发布
最新推荐文章于 2024-07-31 15:54:40 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： Spark 文章标签： Spark SQL 命令行操作Data Spark DataFrame
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/freefish_yzx/article/details/77621141
版权
本文介绍如何在Spark Shell中进行Spark SQL的基础操作，包括上传文件到HDFS，读取并分割数据，定义case class，将RDD转换为DataFrame，并将其注册为表，以实现SQL查询。
摘要由CSDN通过智能技术生成

1.上传文件到hdfs

vi student.txt

内容： 
1,dayu,23
2,wangbaoqiang,28
3,xuzheng,30

将文件上传到hdfs 
hadoop fs -put student.txt /

2.读取数据并分割

在spark shell执行下面命令，读取数据，将每一行的数据使用列分隔符分割

val rdd=sc.textFile("hdfs://hadoop01:9000/student.txt").map(_.split(","))


3.定义case class




                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  freefish_yzx
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
SparkSQL 基础编程

				
			

			

				

					a1786742005的博客
				

				

					08-12
					
					562
					
				

			

		

		

			
				
一、介绍
Spark Core 中，如果想要执行应用程序，需要首先构建上下文环境对象 SparkContext，Spark SQL 其实可以理解为对Spark Core 的一种封装，不仅仅在模型上进行了封装，上下文环境对象也进行了封装。
在老的版本中，SparkSQL 提供两种 SQL 查询起始点：一个叫 SQLContext，用于 Spark 自己提供的 SQL 查询；一个叫HiveContext，用于连接 Hive 的查询。
SparkSession 是 Spark 最新的 SQL 查询起始点，实质上是

			
		

	



                

              
                



	

		

			

				
					
Spark：命令行

				
			

			

				

					weixin_45730125的博客
				

				

					06-30
					
					638
					
				

			

		

		

			
				
运行示例代码：
同时可以在yarn(hadoop环境)下运行：
测试yarn任务提交是否正常

			
		

	



                


  
              

                


	

		

			

				
					
spark-sql的常见的命令行操作

				
			

			

				

					luzhiji的博客
				

				

					03-26
					
					1553
					
				

			

		

		

			
				
这里的 spark 不是 Scala 中的包名，而是创建的 sparkSession 对象的变量名称，所以必须先创建 SparkSession 对象再导入。但是从文件中读取的数字，不能确定是什么类型，所以用 bigint 接收，可以和Long 类型转换，但是和 Int 不能进行转换。SparkSQL 能够自动将包含有 case 类的 RDD 转换成 DataSet，case 类定义了 table 的结构，case 类属性通过反射变成了表的列名。所以可以在hdfs中创建文件或者用本地文件的绝对路径。

			
		

	





	

		

			

				
					
Spark综合学习笔记（二十七）SparkSQL整合Hive-1 SparkSQL命令行

				
			

			

				

					斯特凡今天也很帅的博客
				

				

					11-30
					
					1444
					
				

			

		

		

			
				
学习致谢 [
https://www.bilibili.com/video/BV1Xz4y1m7cv?p=64](https://www.bilibili.com/video/BV1Xz4y1m7cv?p=64)
HiveOnSpark和SparkOnHive
·HiveOnSpark: SparkSql诞生之前的Shark项目使用的，是把Hive的执行引擎换成Spark,剩下的使用Hive的，严重依赖Hive，早就淘汰了没有人用了
·SparkOnHive: SparkSQL诞生之后，Spark提出的，是

			
		

	



		

			
		



	

		

			

				
					
spark-sql入门（一）通过spark-shell命令行操作

					
热门推荐

				
			

			

				

					杨先森的专栏
				

				

					04-17
					
					1万+
					
				

			

		

		

			
				
SparkSQL是spark用来处理结构化的一个模块，它提供一个抽象的数据集DataFrame,并且是作为分布式SQL查询引擎的应用

 注：本文所有操作是基于ambari工具，搭建好了 hdfs yarn hive spark mapReduce等大数据常用的组件

一、进入spark命令窗口



  输入命令 spark-shell





 以上是各种报错的部分...

			
		

	





	

		

			

				
					
Spark SQL DataFrame 算子

					
最新发布

				
			

			

				

					2401_84052244的博客
				

				

					07-31
					
					430
					
				

			

		

		

			
				
DataFrame 算子与 SQL 查询语句之间，并没有优劣之分，他们可以实现同样的数据应用，而且在执行性能方面也是一致的。因此，你可以结合你的开发习惯与偏好，自由地在两者之间进行取舍。DataFrame 本身支持的算子之外，在功能上，SQL 完全可以实现同样的数据分析。给定 DataFrame，你只需通过 createTempView 或是 createGlobalTempView 来创建临时表，然后就可以通过写 SQL 语句去进行数据的探索、倾斜、转换与分析。

			
		

	





	

		

			

				
					
Spark SQL支持DataFrame操作的数据源

				
			

			

				

					晓晓的天空
				

				

					03-16
					
					1059
					
				

			

		

		

			
				
Spark SQL支持DataFrame操作的数据源

			
		

	





	

		

			

				
					
【hadoop学习之路】Spark-SQL 实验报告 RDD转DataFrame

				
			

			

				

					onion23的博客
				

				

					06-25
					
					4160
					
				

			

		

		

			
				
1. Spark-SQL 基本操作

需求

将下列JSON格式数据复制到Linux系统中，并保存命名为employee.json


{ "id":1 , "name":"Ella" , "age":36 }

{ "id":2, "name":"Bob","age":29 }

{ "id":3 , "name":"Jack","age":29 }

{ "id":4 , "name":"Jim","age·":28 }

{ "id":4 , "name":"Jim","age":28 }

{ "i

			
		

	





	

		

			

				
					
Spark SQL数据源-基本操作

				
			

			

				

					new_renren的博客
				

				

					05-31
					
					967
					
				

			

		

		

			
				
默认情况下，load()方法和save()方法只支持Parquet格式的文件，Parquet文件是以二进制方式存储数据的，因此不可以直接读取，文件中包括该文件的实际数据和Schema信息，也可以在配置文件中通过参数spark.sql.sources.default对默认文件格式进行更改。除了使用select()方法查询外，也可以使用SparkSession对象的sql()方法执行SQL语句进行查询，该方法的返回结果仍然是一个DataFrame。

			
		

	





	

		

			

				
					
spark sql 命令行运行方式

				
			

			

				

					qq_40450969的博客
				

				

					12-21
					
					468
					
				

			

		

		

			
				
task_name自定义，sparksql运行比hive sql效率更高。

			
		

	





	

		

			

				
					
SparkSql常用命令操作

				
			

			

				

					BUPT-WT的博客
				

				

					11-30
					
					4428
					
				

			

		

		

			
				
1、进入spark-shell模式

        spark-shell --master yarn --executor-memory 4g --num-executors 3 --executor-cores 4

2、spark sql查询Hive数据库

        import spark.sql

        sql("use database_name”)

      ...

			
		

	





	

		

			

				
					
163、Spark SQL实战开发进阶之CLI命令行使用

				
			

			

				

					ZJ__ZFH的博客
				

				

					01-24
					
					1548
					
				

			

		

		

			
				
Spark SQL CLI是一个很方便的工具，可以用来在本地模式下运行Hive的元数据服务，并且通过命令行执行针对Hive的SQL查询。但是我们要注意的是，Spark SQL CLI是不能与Thrift JDBC server进行通信的。

如果要启动Spark SQL CLI，只要执行Spark的bin目录下的spark-sql命令即可
./bin/spark-sql --jars /usr/l...

			
		

	





	

		

			

				
					
sparkSQL-shell操作

				
			

			

				

					互联网知识分享
				

				

					07-31
					
					1783
					
				

			

		

		

			
				
是一个命令行工具，用于与Spark SQL进行交互并执行SQL查询。安装Spark:首先需要下载和安装Spark，然后将其配置到环境变量中。可以从官方网站（

			
		

	





	

		

			

				
					
Spark~~SparkSQL

				
			

			

				

					weixin_44911248的博客
				

				

					07-21
					
					2164
					
				

			

		

		

			
				
SparkSQL

			
		

	





	

		

			

				
					
Spark SQL使用说明与DataFrame创建

				
			

			

				

					wang_wbq的博客
				

				

					03-22
					
					1783
					
				

			

		

		

			
				
Spark SQL使用说明与DataFrame创建


  版权声明：本文为博主原创文章，未经博主允许不得转载。
  
  手动码字不易，请大家尊重劳动成果，谢谢
  
  作者：http://blog.csdn.net/wang_wbq




启动spark-shell

由于spark-shell演示具有显而易见的有点，因此本文主要基于spark-shell对Spark SQL的使用进行介绍...

			
		

	





	

		

			

				
					
【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节

				
			

			

				

					hiliang521的博客
				

				

					10-26
					
					3523
					
				

			

		

		

			
				
【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节

			
		

	





	

		

			

				
					
spark-SQL-shell操作(超级详细)

				
			

			

				

					互联网知识分享
				

				

					05-15
					
					1465
					
				

			

		

		

			
				
用户可以先定义一个简单的Schema，然后逐渐的向Schema中增加列描述。需要注意的是，这些保存模式不使用任何锁定，不是原子操 ,SaveMode详细介绍如下表.加载文件夹,其实原本是加载文件的 ，主要是这个文件名的名字太长，所以就提供了可以使用文件夹。只读取需要的列，支持向量运算，能够获取更好的扫描。）查看 .parquet格式的数据，显示乱码，这个格式如何编写就不演示了。可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。是自定义的,是标记用的，也是一个文件名，但等号是一定要有的，

			
		

	





	

		

			

				
					
Spark SQL的基本使用和操作

				
			

			

				

					qq_66369005的博客
				

				

					06-18
					
					1998
					
				

			

		

		

			
				
​        Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spark应用程序无缝组合​     Spark SQL允许使用SQL或熟悉的API在Spark程序中查询结构化数据。

			
		

	





	

		

			

				
					
SparkSQL:SparkSQL简介,SparkSQL编程,DataFrame和DataSet与RDD之间转换,用户自定义函数,SparkSQL数据源,连接JDBC与Hive,SparkSQL项目

				
			

			

				

					qq_43265673的博客
				

				

					09-19
					
					802
					
				

			

		

		

			
				
文章目录:

第1章 Spark SQL概述

1.1 什么是Spark SQL

1.2 Spark SQL的特点

1.3 什么是DataFrame

1.4 什么是DataSet

第2章 SparkSQL编程

2.1 SparkSession新的起始点

2.2 DataFrame

2.2.1 创建

2.2.2 SQL风格语法(主要)

2.2.3 DSL风格语法(次要)

2.2....

			
		

	





	

		

			

				
					
Spark SQL：从Hive到Spark的性能革命

				
			

			

				

					
				

			

		

		

			
				
Spark作为一个通用的大数据计算框架，包含了多个子项目，如Spark Core、Spark SQL、Spark Streaming、MLlib和GraphX，分别支持离线批处理、交互式查询、实时流计算、机器学习和图计算。这种一站式解决方案使得Spark...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值