- 博客(6)
- 资源 (12)
- 收藏
- 关注
转载 hive并行执行job
用过oracle rac的应该都知道parallel的用途。并行执行的确可以大的加快任务的执行速率,但不会减少其占用的资源。在hive中也有并行执行的选项。 set hive.exec.parallel=true; //打开任务并行执行 set hive.exec.parallel.thread.number=16; //同一个sql允
2012-12-28 17:21:01 5916 1
转载 hive优化之------控制hive任务中的map数和reduce数
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2. 举例: a) 假设input目录下有
2012-12-28 16:49:19 1620
转载 Ruby 如何“反转义”字符串
我们知道Ruby中转义字符串可以用inspect或者dump可以将字符串转义:"\t".dump #=> "\"\\t\"""中文".dump #=> "\"\\u{4e2d}\\u{6587}\""但有时候我们想把已经被转义的字符串反转义回正常的字符串,怎么办?其实方法很简单:def unescape( src ) String.class_ev
2012-12-27 14:11:40 5762
转载 puts,p,print的区别
共同点:都是用来屏幕输出的。不同点:puts 输出内容后,会自动换行(如果内容参数为空,则仅输出一个换行符号);另外如果内容参数中有转义符,输出时将先处理转义再输出p 基本与puts相同,但不会处理参数中的转义符号print 基本与puts相同,但输出内容后,不会自动在结尾加上换行符s = "aaaa\nbb\tbb" p sp "*************
2012-12-27 14:07:16 1142
原创 shell语句操作hbase方法
可以利用shell 脚本执行hbase shell中的一些操作#!/bin/shexec $HBASE_HOME/bin/hbase shell <<EOFcreate 'test', {NAME => 't', VERSIONS => 1}EOF
2012-12-24 14:23:46 3819
翻译 如何使用shell限制指定用户shell程序的网络带宽
在运维工作中,会遇到需要限制shell应用程序(比如wget 、crul、ftp、sftp等)连接internet的网络带宽问题。如何在不使用复杂的firewall规则情况下设置网络带宽呢。工具trickle可以实现这个功能,系统 Debian/ubuntu linux 使用apt-get方法即可安装 $ sudo apt-get install trickle系统CentOS
2012-12-05 13:21:35 1948 1
hbase 0.90 cloudera3u3修改包
2013-01-25
nginx-fcgi.txt
2011-03-16
打印页面插件
2007-11-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人