pig
emmajinxin
程序媛,算法攻城狮
展开
-
python pig udf 注册语句
若要指定 Python 解释器,请在引用 Python 脚本时使用 register。 以下示例将脚本作为 myfuncs 注册到 Pig:使用 Jython:register '/path/to/pigudf.py' using jython as myfuncs;使用 C Python:register '/path/to/pigudf.py' using streaming_python a...原创 2018-04-24 20:18:47 · 488 阅读 · 0 评论 -
pig中hadoop参数设置(详解pig.maxCombinedSplitSize 和 pig.splitCombination)
转载自:https://blog.csdn.net/strongerbit/article/details/7205929 https://blog.csdn.net/xiaolang85/article/details/8651894hadoop job 重要性能参数name说明mapred.task.profile是否对任务进行profiling,调用java内置的profile功能,...转载 2018-04-26 11:25:19 · 1829 阅读 · 0 评论 -
pig grunt 模式下 backspace不起作用的解决方法(删除输入的内容)
pig 交互界面(grunt>)下backspace不起作用,解决方案:1. ctrl+backspace 即可起到backspace的作用,删除输入的内容;2. 设置终端属性,xshell中设置如下: 文件--属性:按如下方式设置gunnt模式下就可以正常使用backspace啦...原创 2018-05-25 14:28:16 · 384 阅读 · 0 评论 -
pig避免产生大量小文件的方法
参考链接:How do I force PigStorage to output a few large files instead of thousands of tiny files? pig中会为每个输入文件构建一个mapper, 如果中间没有reduce过程,则输入有多少个文件,输出就有多少个文件( If you have thousands of input files, you...原创 2018-10-17 16:55:41 · 658 阅读 · 0 评论