2012年05月_jiedushi

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 linux中screen命令的用法

作为linux服务器管理员,经常要使用ssh登陆到远程linux机器上做一些耗时的操作。也许你遇到过使用telnet或SSH远程登录linux,运行一些程序。如果这些程序需要运行很长时间(几个小时)，而程序运行过程中出现网络故障，或者客户机故障，这时候客户机与远程服务器的链接将终端，并且远程服务器没有正常结束的命令将被迫终止。又比如你SSH到主机上后，开始批量的scp命令，

2012-05-29 10:44:15 820

转载 Hadoop命令大全

1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。

2012-05-29 10:00:03 975

转载 Hive使用LEFT OUTER JOIN 实现not in 子句

当前HIVE 不支持 not in 中包含查询子句的语法，形如如下的HQ语句是不被支持的: 查询在key字段在a表中，但不在b表中的数据select a.key from a where key not in(select key from b) 该语句在hive中不支持可以通过left outer join进行查询,（假设B表中包含另外的一个字段 key1 se

2012-05-24 14:08:12 9589

转载 Python执行系统命令的方法 os.system()，os.popen()，commands

最近在做那个测试框架的时候发现 Python 的另一个获得系统执行命令的返回值和输出的类。最开始的时候用 Python 学会了 os.system() 这个方法是很多比如 C，Perl 相似的。os.system('cat /proc/cpuinfo')但是这样是无法获得到输出和返回值的，继续 Google，之后学会了 os.popen()。

2012-05-22 09:03:46 6558

转载 ZooKeeper四字命令

ZooKeeper 支持某些特定的四字命令字母与其的交互。它们大多是查询命令，用来获取 ZooKeeper 服务的当前状态及相关信息。用户在客户端可以通过 telnet 或 nc 向 ZooKeeper 提交相应的命令。 ZooKeeper 常用四字命令见下表 1 所示：表 1 ： ZooKeeper 四字命令ZooKeeper 四字命令功能描述

2012-05-21 12:32:22 2406

转载 hadoop自动清除日志文件的配置方法

hadoop集群跑了很多的任务后在hadoop.log.dir目录下会产生大量的日志文件。可以通过配置core-site.xml文件让集群自动清除日志文件： hadoop.logfile.size 10000000 The max size of each log file hadoop.log

2012-05-18 17:07:20 6616 4

原创 hive 中的多列进行group by查询方法

在工作中用hive进行数据统计的时候，遇到一个用group by 进行查询的问题，需要统计的字段为gid,sid,user,roleid,time,status,map_id,num其中time字段为时间戳形式的，统计要求为将各个字段按照每个小时的num总数进行统计开始的时候写的hive SQL为select gid,sid,user,roleid,time,status,ma

2012-05-18 10:31:56 20848

转载 Faster Datanodes with less wait io using df instead of du

I have noticed often that the check Hadoop uses to calculate usage for the data nodes causes a fair amount of wait io on them driving up load.Every cycle we can get from every spindle we want!

2012-05-11 13:27:50 838

转载 HBase性能优化方法总结

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直

2012-05-09 10:18:23 4580 2

原创 python守护进程监控hive server

1. 首先将hive thrift server添加到系统服务后台运行添加方法地址http://jiedushi.blog.51cto.com/673653/6089902. 利用python daemon守护进程监控hive server进程，代码如下#!/usr/bin/env pythonimport sys, os, time, atexit, string

2012-05-08 13:36:35 2396

转载 hadoop fsck命令详解

hadoop fsckUsage: DFSck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 检查这个目录中的文件是否完整 -move 破损的文件移至/lost+found目录

2012-05-04 11:01:31 3821

原创 python利用thrift连接hive

Thrift是一个跨语言服务部署框架，最初由Facebook于2007年开发，后于2008年进入Apache孵化器(Apache Incubator)。类似于SOAP，COM 和CORBA，Thrift通过定义一个中间定义语言和Thrift代码生成工具，生成指定语言的代码。目前，Thrift支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell

2012-05-03 15:30:12 13338 2

hbase 0.92 cloudera4.1.2修改包

修改thrift接口支持使用不同timestamp批量插入数据

2013-01-25

hbase 0.90 cloudera3u3修改包

修改hbase 0.90版本 cloudera3u3 中的thrift接口，mutation类中增加timestamp参数，可以通过thrift接口使用Hbase.Mutation(column="f1:1", value='test',timestamp=20130112121212)，mutateRows("testdb1", batchmutations)方法批量插入不同时间戳的数据。

2013-01-25

fuse 2.8.5

利用这个工具可以实现挂载ntfs格式文件系统,本地硬盘挂载hadoop hdfs格式文件必须的软件包

2012-04-25

php连接hive thrift的lib依赖包

php连接hive thrift server的lib包，经测试用hive压缩包中自带的php lib无法测试成功

2011-07-01

Nginx 不能直接执行外部可执行程序，如果要让 Nginx 支持 CGI，可以考虑安装 nginx-fcgi： wget http://www.nginx.eu/nginx-fcgi/nginx-fcgi.txt mv nginx-fcgi.txt /usr/sbin/nginx-fcgi chmod +x /usr/sbin/nginx-fcgi 因为http://www.nginx.eu/nginx-fcgi/nginx-fcgi.txt无法下载所以上传一个备份

2011-03-16

二进制定点整数补码运算中“丢失”与“溢出”问题的研究

二进制定点整数补码运算中“丢失”与“溢出”问题的研究论文

2009-09-25

haproxy for windows

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，它是免费、快速并且可靠的一种解决方案

2009-08-21

js脚本压缩工具（.net版本）

网页中的js脚本文件比较大的时候可以用这个工具进行压缩，减少网页的浏览时间

2009-01-12

httpcfg.exe

使用两个IP实现IIS和Tomcat或Apache公用80端口的方法需要用到的工具软件

2008-12-09

文档对象模型中文手册

文档对象模型中文手册<br>chm格式

2007-12-14

打印页面插件

jatoolsPrinter 是一款实现网页套打的免费工具。该工具的特点是可以直接对web页面进行精确的分页打印，这不仅使"会设计网页就会做网页套打"成为可能，也使项目经理们摆脱了预算紧张的压力。jatoolsPrinter通过在网页中嵌入控件，解决了web客户端精确打印，批量打印，打印配置自动保留等问题

2007-11-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人