hive 使用python脚本

最新推荐文章于 2024-11-22 16:10:58 发布

天堂地址bu详

最新推荐文章于 2024-11-22 16:10:58 发布

阅读量3.7k

点赞数

分类专栏：数据处理文章标签： python hive mapreduce

本文链接：https://blog.csdn.net/u014806028/article/details/72366878

版权

本文讲述了在Hive中使用Python脚本进行MapReduce操作时遇到的困难，包括测试方法、`add file`命令的正确路径以及启用Python的命令。作者发现大部分教程中的方法存在错误，未报错的情况让他们困惑，最终解决了问题。

摘要由CSDN通过智能技术生成

首先，相关MapReduce的操作请看博客 http://blog.csdn.net/longshenlmj/article/details/24380041

pyhton 脚本其实很快就写完了。但是，如何测试，add file 却是把我难道了。

import sys
import  re
import  math
#select score,down_count,collected_count,comment_count,view_count,product_code,product_name,year,month,day from zshtest#
for line in  sys.stdin:
    (score,down_count,collected_count,comment_count,view_count,product_code,product_name,year,month,day) = line.strip().split()
    if (view_count >