2012年12月_jiedushi

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 hive并行执行job

用过oracle rac的应该都知道parallel的用途。并行执行的确可以大的加快任务的执行速率，但不会减少其占用的资源。在hive中也有并行执行的选项。 set hive.exec.parallel=true; //打开任务并行执行 set hive.exec.parallel.thread.number=16; //同一个sql允

2012-12-28 17:21:01 5913 1

转载 hive优化之------控制hive任务中的map数和reduce数

一、控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例： a) 假设input目录下有

2012-12-28 16:49:19 1620

转载 Ruby 如何“反转义”字符串

我们知道Ruby中转义字符串可以用inspect或者dump可以将字符串转义："\t".dump #=> "\"\\t\"""中文".dump #=> "\"\\u{4e2d}\\u{6587}\""但有时候我们想把已经被转义的字符串反转义回正常的字符串，怎么办?其实方法很简单：def unescape( src ) String.class_ev

2012-12-27 14:11:40 5762

转载 puts,p,print的区别

共同点：都是用来屏幕输出的。不同点:puts 输出内容后，会自动换行(如果内容参数为空，则仅输出一个换行符号)；另外如果内容参数中有转义符，输出时将先处理转义再输出p 基本与puts相同，但不会处理参数中的转义符号print 基本与puts相同，但输出内容后，不会自动在结尾加上换行符s = "aaaa\nbb\tbb" p sp "*************

2012-12-27 14:07:16 1142

原创 shell语句操作hbase方法

可以利用shell 脚本执行hbase shell中的一些操作#!/bin/shexec $HBASE_HOME/bin/hbase shell <<EOFcreate 'test', {NAME => 't', VERSIONS => 1}EOF

2012-12-24 14:23:46 3819

翻译如何使用shell限制指定用户shell程序的网络带宽

在运维工作中，会遇到需要限制shell应用程序(比如wget 、crul、ftp、sftp等)连接internet的网络带宽问题。如何在不使用复杂的firewall规则情况下设置网络带宽呢。工具trickle可以实现这个功能，系统 Debian/ubuntu linux 使用apt-get方法即可安装 $ sudo apt-get install trickle系统CentOS

2012-12-05 13:21:35 1948 1

hbase 0.92 cloudera4.1.2修改包

修改thrift接口支持使用不同timestamp批量插入数据

2013-01-25

hbase 0.90 cloudera3u3修改包

修改hbase 0.90版本 cloudera3u3 中的thrift接口，mutation类中增加timestamp参数，可以通过thrift接口使用Hbase.Mutation(column="f1:1", value='test',timestamp=20130112121212)，mutateRows("testdb1", batchmutations)方法批量插入不同时间戳的数据。

2013-01-25

fuse 2.8.5

利用这个工具可以实现挂载ntfs格式文件系统,本地硬盘挂载hadoop hdfs格式文件必须的软件包

2012-04-25

php连接hive thrift的lib依赖包

php连接hive thrift server的lib包，经测试用hive压缩包中自带的php lib无法测试成功

2011-07-01

Nginx 不能直接执行外部可执行程序，如果要让 Nginx 支持 CGI，可以考虑安装 nginx-fcgi： wget http://www.nginx.eu/nginx-fcgi/nginx-fcgi.txt mv nginx-fcgi.txt /usr/sbin/nginx-fcgi chmod +x /usr/sbin/nginx-fcgi 因为http://www.nginx.eu/nginx-fcgi/nginx-fcgi.txt无法下载所以上传一个备份

2011-03-16

二进制定点整数补码运算中“丢失”与“溢出”问题的研究

二进制定点整数补码运算中“丢失”与“溢出”问题的研究论文

2009-09-25

haproxy for windows

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，它是免费、快速并且可靠的一种解决方案

2009-08-21

js脚本压缩工具（.net版本）

网页中的js脚本文件比较大的时候可以用这个工具进行压缩，减少网页的浏览时间

2009-01-12

httpcfg.exe

使用两个IP实现IIS和Tomcat或Apache公用80端口的方法需要用到的工具软件

2008-12-09

文档对象模型中文手册

文档对象模型中文手册<br>chm格式

2007-12-14

打印页面插件

jatoolsPrinter 是一款实现网页套打的免费工具。该工具的特点是可以直接对web页面进行精确的分页打印，这不仅使"会设计网页就会做网页套打"成为可能，也使项目经理们摆脱了预算紧张的压力。jatoolsPrinter通过在网页中嵌入控件，解决了web客户端精确打印，批量打印，打印配置自动保留等问题

2007-11-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人