spark中DataFrame读取hive之UDF函数去掉空行

最新推荐文章于 2023-05-21 16:57:59 发布
最新推荐文章于 2023-05-21 16:57:59 发布
阅读量1.2k 收藏
点赞数
分类专栏： DataFrame 文章标签： DataFrame hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fangmingno1/article/details/79670654
版权
本文介绍如何在Spark DataFrame中利用UDF（用户自定义函数）处理从Hive读取的数据，重点是去除空行，提高数据处理的准确性。
摘要由CSDN通过智能技术生成 
 

 
  
 
 
 
 
  
 
    
   
 
   
 
   
 
  
 
  
 
    
   
 
   
 
    import org.apache.spark.sql.SparkSession 
   
 
   
 
    val  
    spark = SparkSession. 
    builder 
    ().master( 
    "spark://192.168.0.0:7077" 
    ).enableHiveSupport().getOrCreate()
 
    val  
    sc = spark.sparkContext
 
    val  
    sqlContext = spark. 
    sqlContext
 
    //定义UDF函数
 
    def  
    stringLength(phone:  
    String 
   

  

 



                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  ailyfm
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
hive,文本中含有多余的空白行，则通过  load data导入到表中后，表中会存在NULL的字段值

				
			

			

				

					Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
				

				

					01-16
					
					2136
					
				

			

		

		

			
				
如果文本中含有多余的空白行，则通过

load data local inpath 'waybill_code.txt' overwrite into table waybill_code_table_0116;

导入到表中后，表中会存在NULL的字段值。

如下：
NULL
NULL
NULL
NULL
NULL
NULL
NULL
NULL
NULL
Time taken: 0.433 s...

			
		

	



                

            
              



	

		

			

				
					
DataFrame中去除指定列为空的行方法

				
			

			

				

					09-20
				

			

		

		

			
				
下面小编就为大家分享一篇DataFrame中去除指定列为空的行方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

			
		

	



              


  
              

                


	

		

			

				
					
python实现Spark(Hive) SQL中UDF的使用

				
			

			

				

					张小丑
				

				

					05-10
					
					2699
					
				

			

		

		

			
				
相对于使用MapReduce或者Spark Application的方式进行数据分析，使用Hive SQL或Spark SQL能为我们省去不少的代码工作量，而Hive SQL或Spark SQL本身内置的各类UDF也为我们的数据处理提供了不少便利的工具，当这些内置的UDF不能满足于我们的需要时，Hive SQL或Spark SQL还为我们提供了自定义UDF的相关接口，方便我们根据自己的需求进行扩展...

			
		

	





	

		

			

				
					
spark sql去除某一行或某一属性值为空的行 最简单办法

				
			

			

				

					qq_37081791的博客
				

				

					01-06
					
					4871
					
				

			

		

		

			
				
想去除某一属性为特定值或null的那一行
思路：
1、把你想要筛选的那一列，变为string类型新增一列。
2、用fliter()过滤掉这一行
例如：
我想去除time列中为空，且1970年的行：

新增time_string，类型为string：
t=t.withColumn('time_string',t['time'].cast('String'))


过滤：
t = t.filter(t['time_string']!='null')
t = t.filter(t['time_string']!=

			
		

	



		

			
		



	

		

			

				
					
spark自定义hive的UDF/UDAF函数

				
			

			

				

					念念的博客,记录学习的点点滴滴！
				

				

					02-27
					
					1336
					
				

			

		

		

			
				

自定义UDF函数

package com.ws.spark
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.{SparkConf, SparkContext}

object MyUDF{
  def main(args: Arr...

			
		

	





	

		

			

				
					
spark三种清理数据的方式：UDF，自定义函数，spark.sql；Python中的zip()与*zip()函数详解//及python中的*args和**kwargs

				
			

			

				

					sinat_26566137的博客
				

				

					07-30
					
					1300
					
				

			

		

		

			
				
（1）UDF的方式清理数据

import sys

reload(sys)
sys.setdefaultencoding('utf8')

import re
import json

from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql.functions import udf
fro...

			
		

	





	

		

			

				
					
Spark不能使用hive自定义函数.doc

					
最新发布

				
			

			

				

					03-06
				

			

		

		

			
				
然而，在实际应用中，开发人员可能会遇到一个常见问题——Spark 无法直接使用 Hive 中定义的自定义函数（UDF）。本文将深入探讨这一问题，并提供解决方案。  #### 一、问题背景  当开发者尝试在 Spark 应用程序中...

			
		

	





	

		

			

				
					
SparkSQL基础知识及与HIVE整合UDF函数编写

				
			

			

				

					weixin_45793819的博客
				

				

					04-21
					
					1585
					
				

			

		

		

			
				
什么是SparkSQL
用于处理结构化数据的Spark模块
可以通过DataFrame和DataSet处理数据
SparkSQL特点
1易整合
可以使用java、scala、python、R等语言的API操作
2统一的数据访问
连接到任何数据源的方式相同。
3 兼容hive
4标准的数据连接（JDBC/ODBC）
SQL 优缺点
优点：表达清晰 ，难度低，已学习
**缺点：**复杂的业业务需要复杂...

			
		

	





	

		

			

				
					
Spark DataFrame UDF的使用与注意事项 [scala版]

				
			

			

				

					You_are_my_Mr_Right的博客
				

				

					05-19
					
					868
					
				

			

		

		

			
				
spark dataframe使用udf的注意事项

			
		

	





	

		

			

				
					
spark中用scala编写累加器小程序统计文章中空白行

				
			

			

				

					03-06
				

			

		

		

			
				
spark中用scala编写累加器小程序统计指定文章中的空白行，然后通过split函数通过空格切分文章，输出到指定的目录中。

			
		

	





	

		

			

				
					
Spark SQL 字符串函数汇总

				
			

			

				

					weixin_43323871的博客
				

				

					05-21
					
					2782
					
				

			

		

		

			
				
Spark SQL 字符串函数汇总

			
		

	





	

		

			

				
					
如何取消文本文件中的空行_你知道如何去除Excel单元格中的空格或空行吗？

				
			

			

				

					weixin_39947016的博客
				

				

					12-06
					
					3420
					
				

			

		

		

			
				
如何去除Excel单元格中的空格或空行呢？今天和大家分享相关的解决办法。一、删除空行1、查找替换法选中区域，按Ctrl+H打开查找和替换对话框，在查找中敲入空格，在替换为中不输入任何内容，点击全部替换即可。2、利用SUBSTITUTE函数在单元格中输入公式=SUBSTITUTE(D2," ","")，之后向下填充即可。说明：SUBSTITUTE函数表示对指定的字符串进行替换。语法结构：=SUBST...

			
		

	





	

		

			

				
					
spark sql 过滤空值，过滤某行的空值

				
			

			

				

					konstantin的博客
				

				

					07-31
					
					1万+
					
				

			

		

		

			
				
data.na.drop() //所有空值

data.na.drop(Seq("col1","col2")过滤第一行，第二行的空值；

			
		

	





	

		

			

				
					
Spark_DataFrame 去除 null, NaN 和 空字符串

				
			

			

				

					迎难而上
				

				

					05-30
					
					8610
					
				

			

		

		

			
				
去除null、NaN

去除 dataframe 中的 null 、 NaN 有方法 drop ，用 dataframe.na 找出带有 null、 NaN 的行，用 drop 删除行：

df.na.drop()





去除空字符串

去除空字符串用 dataframe.where ：

df.where("colname <> '' ")



示例代码


package com.spark.test.offline.filter

import org.apache.sp...

			
		

	





	

		

			

				
					
hive 空值的处理

					
热门推荐

				
			

			

				

					天亮了
				

				

					12-23
					
					4万+
					
				

			

		

		

			
				
hive的使用中不可避免的需要对null、‘’（空字符串）进行判断识别。但是hive有别于传统的数据库。
下面一一说明：
（1）不同数据类型对空值的存储规则
int与string类型数据存储，null默认存储为 \N；
string类型的数据如果为""，存储则是""；
另外往int类型的字段插入数据“”时，结果还是\N。
 
（2）不同数据类型，空值的查询
对于int可以使用is 

			
		

	





	

		

			

				
					
HIVE异常处理（二）空值的过滤

				
			

			

				

					sheep8521的博客
				

				

					09-04
					
					2760
					
				

			

		

		

			
				

1.nvl函数
nvl(exp1,exp2)
解释：第一个参数exp1如果是空值，那么exp2就是其值。
举例：nvl(event.type,”)

			
		

	





	

		

			

				
					
HIVE自定义UDF进行数据清理——IDEA

				
			

			

				

					王某的博客
				

				

					10-20
					
					2752
					
				

			

		

		

			
				
IDEA自定义UDF并使用
- 创建maven项目
- pomxml文件
- java代码
- 导出为jar
- 导出带依赖的jar包
- 在Hive命令行中执行
- 参考IDEA自定义UDF并使用GitHub源码地址- 创建maven项目
创建一个maven项目，添加hadoop-client和hive-exec的maven依赖
相关依赖查询：http://mvnrepository.com/
-

			
		

	





	

		

			

				
					
spark将已经pandas读取出来的dataframe数据存入hive

				
			

			

				

					05-25
				

			

		

		

			
				
在将 Pandas DataFrame 存储到 Hive 中之前，需要先将其转换为 Spark DataFrame。可以使用 PySpark 的 SQLContext 或 SparkSession 对象创建 Spark DataFrame。假设已经创建了一个名为 `pandas_df` 的 Pandas ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值