Hive调用python处理本地文件

最新推荐文章于 2021-12-22 09:03:58 发布

理科班的习习同学

最新推荐文章于 2021-12-22 09:03:58 发布

阅读量757

点赞数

CC 4.0 BY-SA版权

分类专栏： hive 文章标签： hive python 调用本地文件 hdfs

本文链接：https://blog.csdn.net/qq_41448372/article/details/89708902

hive 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种使用Python脚本清理电话号码数据的方法，重点在于去除非数字字符并标准化电话号码长度，随后将处理后的数据整合到Hive环境中进行进一步分析。

.在python编译器中写python文件（本次操作是处理电话号码的数据混乱问题）:

import sys

for line in sys.stdin: 
    for word in line:        
        if ord(word)<48 or ord(word)>57:            
            line=line.replace(word,'') 


    if len(line)==12:  
        line=line[1:12]
    else:  
        line=line[0:11] 
  
   
   
print(line)

然后，在FZ中操作本地文件到hive的环境中

3.在对应的环境中添加python文件到hdfs：

hadoop fs -put /home/hive/data/delete_not_number1.py hdfs://yilihdptest/tmp/delete_not_number1.py

调用hdfs中的python 文件：

add file hdfs://yilihdptest/tmp/delete_not_number1.py;
select
TRANSFORM (exchgOrder.TeleNum)
USING 'python delete_not_number1.py'  
AS (rcv_tele)
FROM sdata_full.CRM_PNT_ExchangeOrder exchgOrder