![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapreduce
数据小猴子
从2008年开始从事IT行业至今,从初级程序员到技术架构师、数据架构师,主要从事于交通行业。
展开
-
python hadoop stream 传参
用python写mapreduce,会遇到通过在shell脚本中传参数,通常有两种方式1.第一种方式通过sys.argv 获取参数值mapper代码: countmapper.pyimport sysarg1 = sys.argv[1]arg2 = sys.argv[2]for line in sys.stdin: line = line.strip() item,原创 2017-03-31 20:17:03 · 1657 阅读 · 2 评论 -
python hadoop stream 提交多模块python
hadoop jar streaming提交多个模块python文件。 1.python工程结构:python包分为com/main,com/pk 2.python代码 工具模块 SplitStr.py#! /usr/bin/env python #coding=utf-8'''Created on 2017年4月18日@author: lzw''原创 2017-04-18 19:18:22 · 1080 阅读 · 0 评论