2018年04月_emmajinxin

转载 pig中hadoop参数设置（详解pig.maxCombinedSplitSize 和 pig.splitCombination）

转载自：https://blog.csdn.net/strongerbit/article/details/7205929 https://blog.csdn.net/xiaolang85/article/details/8651894hadoop job 重要性能参数name说明mapred.task.profile是否对任务进行profiling，调用java内置的profile功能，...

2018-04-26 11:25:19 1814

原创 python pig udf 注册语句

若要指定 Python 解释器，请在引用 Python 脚本时使用 register。以下示例将脚本作为 myfuncs 注册到 Pig：使用 Jython：register '/path/to/pigudf.py' using jython as myfuncs;使用 C Python：register '/path/to/pigudf.py' using streaming_python a...

2018-04-24 20:18:47 475

原创 python 说明中中括号[]的含义

L.index(value, [start, [stop]])，这里的中括号表示：start和stop是可选参数。可选参数通常都这么写，用的时候别带中括号。如：12l = [1,2,3,4,5,6]l.index(1, 0, 4)start和stop表示搜索的起点和终点。参考链接：https://zhidao.baidu.com/question/568231085.html ...

2018-04-24 17:31:35 13064 2

原创 linux java pig安装环境配置

安装过程都是：1.将解压包解压到某个文件夹下 tar –xzf XX2.配置相关环境变量，配置文件的命令为： vim /etc/profile3.使环境配置生效 source /etc/profilejava环境配置： https://blog.csdn.net/Rflyee/article/details/8989663如何查看java安装路径：http://www.cnblogs.com/...

2018-04-24 13:33:51 234

转载 linux如何查看系统是多少位的？64 OR 32

1.用命令“getconf LONG_BIT”查看如果返回的结果是32则说明是32位，返回的结果是64则说明是64位。2.使用命令“uname -a”查看输出的结果中，如果有x86_64就是64位的，没有就是32位的。转载：https://blog.csdn.net/u014639561/article/details/51801434 ...

2018-04-13 17:33:20 608

转载 [Linux] yum和apt-get用法及区别

一般来说著名的linux系统基本上分两大类： 1.RedHat系列：Redhat、Centos、Fedora等 2.Debian系列：Debian、Ubuntu等 RedHat 系列 1 常见的安装包格式 rpm包,安装rpm包的命令是“rpm -参数” 2 包管理工具 yum 3 支持tar包 Debian系列 1 常见的安装包格式 deb包,安装deb包的命令是“d...

2018-04-13 16:28:43 171

转载 Linux下#!/usr/bin/env bash和#!/usr/bin/bash、#!/bin/bash的比较

转自：http://www.cnblogs.com/EasonJim/p/8308476.htmlLinux下#!/usr/bin/env bash和#!/usr/bin/bash、#!/bin/bash的比较#!/usr/bin/env bash #在不同的系统上提供了一些灵活性。#!/usr/bin/bash #将对给定的可执行文件系统进行显式控制。通过/usr/bin/env运行程序，用户...

2018-04-12 20:21:51 3090

转载怎么用shell脚本写一个HelloWorld

转自：https://jingyan.baidu.com/article/9158e00027f193a255122845.html首先，本经验是为刚接触Unix/linux的人准备的，它可以带你进入shell（Bash）的殿堂，但是它不会涉及太多的知识，只是一个Hello World。工具/原料一台装有bash的Unix或者类Unix系统方法/步骤1登入bash。touch HelloWorld...

2018-04-12 11:49:23 2951 1

yangnianjinxin的博客