duxianghe-CSDN博客

转载 mysql InnoDB和MyISAM的区别

原文地址：http://www.cnblogs.com/villion/archive/2009/07/09/1893762.htmlMyISAM存储引擎 MyISAM是默认存储引擎。它基于更老的ISAM代码，但有很多有用的扩展。MyISAM存储引擎的一些特征：· 所有数据值先存储低字节。这使得数据机和操作系统分离。二进制轻便性的唯一要求是机器使用补码（如最

2013-07-12 18:15:36 566

原创 IIS7日志中时间与系统时间不一致的原因

最近在分析web日志，发现IIS7日志中时间与系统时间不一致，即本该上班时间才产生的产并发访问日志，全部发生在凌晨至上班前。本以为是系统时间设置错误，检查后一切正常。后查询资料，原来是这个原因：日志的格式有IIS、NCSA、W3C三种。IIS是固定的基于 ASCII 文本的格式，无法自定义记录的字段，字段由逗号分隔，记录的时间为本地时间文件名前缀为u_in。NCSA是美国国家超级计

2013-07-08 15:43:16 14034 1

原创 hive insert table的写法

hive官方文档中这样描述将数据从一个表中插入到另一个表中hive> FROM invites a INSERT OVERWRITE TABLE events SELECT a.bar, count(*) WHERE a.foo > 0 GROUP BY a.bar;hive> INSERT OVERWRITE TABLE events SELECT a.bar, count(*) FROM

2013-07-05 10:37:04 22033

原创执行hive语句时报ALLOW_UNQUOTED_CONTROL_CHARS

在hive中执行普通查询没有问题。hive> select * from weblog w where w.accdate='2013-06-15' limit 20;但执行like时，就报错，select * from weblog w where w.csuristem like '%aspx' limit 20;

2013-07-05 10:04:31 2799

转载 Hadoop 坑爹的Be Replicated to 0 nodes, instead of 1 异常

原文地址：http://dongyajun.iteye.com/blog/1039836新的项目上线之后发现，有些会员上传资源到我们集群的速度，既然跟我们集群的吞吐量差不多，达到了70M+/s的速度。在向集群put数据时，抛出了异常：Java代码 org.apache.hadoop.ipc.RemoteException: java.io.IOException

2013-07-04 17:15:15 1085

原创 hadoop could only be replicated to 0 nodes instead of 1 解决方法

修改了replication后，执行hive语句报错如下：hive> select count(1) from weblog;Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks determined at compile time: 1In order to change the average

2013-07-04 17:12:52 6621 1

转载 hive中的Order By

原文地址：http://www.oratea.net/?p=622hive中的order by也是对一个结果集合进行排序，但是和关系型数据库又所有不同。这不同的地方也是两者在底层架构区别的体现。hive的参数hive.mapred.mode是控制hive执行mapred的方式的，有两个选项：strict和nonstrict，默认值是nonstrict。这个两个值对order by的

2013-07-04 15:29:07 2641

转载 Hive中SELECT TOP N的方法(order by与sort by)

原文地址：http://blog.sina.com.cn/s/blog_6ff05a2c0101eaxf.html我想说的SELECT TOP N是取最大前N条或者最小前N条。Hive提供了limit关键字，再配合order by可以很容易地实现SELECT TOP N。但是在Hive中order by只能使用1个reduce，如果表的数据量很大，那么order by就会力不从

2013-07-04 15:27:26 8012

原创修改dfs.relication值后如何生效

修改master节点的hdfs-site.xml文件中dfs.relication值后，重启hadoop和执行hadoop balancer，均不能使该设置生效，使用hadoop fsck /查看，Average blockreplication还是原来的值，需要按如下操作：修改hdfs文件备份系数：hadoop dfs -setrep [-R] 如果有-R将修改子目录文件的性质。

2013-07-03 17:39:46 1309

原创 hadoop启动报FSNamesystem initialization failed

今天从服务器上取了2个星期的日志，准备用hadoop分析一下，中间有些小插曲，分享一下。因为之前在hadoop集群之间做了ssh无密码验证，方便登陆，使用的是hadoop账号，上传ftp时，hadoop账号没有mkdir和write的权限，于是在 /etc/passwd 文件中将hadoop的权限改了。如下： hadoop:x:500:0::/home/hadoop:/bin/ba

2013-07-02 16:18:42 8800

原创 hive建表手记

hive 建表语法Create TableCREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY (col_name data_type[COMMENT col_co

2013-06-18 08:20:19 3185 1

原创 hadoop hive的安装

以下是本人hive的安装过程:hive 是Hadoop中最常用的工具，可以说是必装工具。按apache官方文档，推荐使用svn下载后编译，文档地址：https://cwiki.apache.org/confluence/display/Hive/AdminManual+Installation但build时，因为依赖关系，整了很久，下了很多包也没有成功。推荐使用tar.gz包，直接

2013-06-14 11:06:14 2035

declare @sqldbname varchar(200)declare @sql varchar(1000)set @sqldbname = 'dbname'set @sql = 'use '+@sqldbname+'declare @logfile varchar(200) declare @datafile varchar(200)select @logfile = ''del ''+[filename] from sysfiles where fileid = 2

2010-07-09 13:37:00 940

转载 Sql Server 2005 从差异备份还原数据库

差异数据库还原的语法与完整数据库还原的相同，只是完整数据库还原必须要执行在附加差异备份之前。当还原完整数据库备份时，数据库必须置为NORECOVERY模式。而且任何你希望还原的事务日志必须在附加了差异备份之后完成，正如示例所演示的。首先，我通过对TrainingDB数据库执行完整备份、差异备份、事备日志备份来启动这个示例： USE master GO BACKUP DATABASE TrainingDB TO DISK='C:/Apress/Recipes/TrainingDB_DiffExample.b

2010-07-02 20:19:00 1615

转载 Windows2003/2000 Server(32bit) extends memory：最大内存问题

本文介绍了如何在系统内存大于4G的情况下，让windows2000 Advanced Server/windows2003支持大内存的方法由于Windows2003 32bit是32位操作系统，当服务器配备内存高达4G时将出现系统属性中无法发现的问题，因此必须打开windows2003 Server内存寻址扩展功能；打开内存寻址扩展后，Windows2003 Server将最多可以支持8G内存打开

2009-07-09 15:14:00 1642

转载 UUID做主键，好还是不好？这是个问题

我唯一还算熟悉的数据库就算是MySQL了，大概使用MySQL的人，百分之九九以上的人会使用Autoincrement ID做主键，这是可以理解的，因为MySQL的自增ID效率很高，使用也很方便。那么剩下的百分之一的人使用什么做主键呢？可能是自己做的KeyGenerator，也可能是我们下面要说的UUID。据说在Oracle的圈子里，如果谁用自增ID做主键是要被鄙视的，主键最自然的选择就是

2009-05-30 13:29:00 1622 1

转载网页新手进阶秘技

许许多多的网页新手正徘徊在专业编码的门槛前，而网上的教程参差不齐，鱼龙混杂，很容易让新手迷茫。这里总结了30条网页编码的“秘技”，只要在编码过程中牢记它们，灵活运用，你一定会写出一手漂亮的代码，早日迈入专业开发者的行列。1. 一定要闭合标签在以往的页面源代码里，经常看到这样的语句：li>Some text here. li>Some new tex

2009-05-28 12:29:00 621

原创一个realplay直接播放ftp上电影的插件

最近做了一个realplay直接播放ftp上电影的插件。前以大家看ftp上的电影都是先下载下来，再看，这样往往下载下来的电影并不是我们喜欢的电影类型，又删除。有了这个插件，就方便了，直接在线观看ftp上的电影，非常方便.大家看看有没有市场？

2007-04-24 13:28:00 1824

原创 XXX邮件的一段代码

不小心点开了邮件的一段代码这是什么语言写的？#!/usr/bin/perl -wuse strict;use POSIX;use IO::Socket;use CGI::Fast qw(:standard);use CGI::Cookie;use LWP::UserAgent;use URI::Escape;use lib /home/apache/fcgi_files;use Uti

2006-11-29 08:48:00 1321

转载经典误会

事情的开头是这样的：　　我的一个表姐因为星期天要加班，表姐夫那天去考驾照，就把5岁的儿子闹闹送来我家，请我帮忙照看一天。　　我怕闹闹不听话，特意去市场给他买了只可爱的小白兔。　　闹闹问我兔子吃什么，我就告诉他吃胡萝卜和一切绿色蔬菜。看闹闹和兔子玩得很高兴，我就去看书了。　　兔子一会儿就吃完了胡萝卜，闹闹就去冰箱里找绿色蔬菜。谁知我家冰箱里只剩下一些朝天椒是绿色的。闹闹就把辣椒掰碎了喂兔子。

2006-06-02 23:42:00 1029

转载狂笑!可笑20分钟的段子!

1.一日和一男同学一起去食堂吃饭，打完豆腐后，大声对他说：过来吃我的豆腐吧！　　引来旁边男生惊看---，呜呜，脸红啊　　　　2.偶有次开车，有个美女同事搭车，一坐我旁边，偶特紧张滴说：把安全套带上！美女以后再不理偶了......郁闷ing 　　　　3.以前别人来我阿姨家作客，刚进门的。刚好我阿姨要去上厕所。她连忙招呼客人说：“你们坐哈坐哈，我给你们去倒点尿喝！”（本来是说倒点茶喝的）。　

2006-06-02 23:39:00 2510

转载某强人手机里保存的五十条牛B短信

１.老夫妇去拍照，摄影师问：“大爷，您是要侧光，逆光，还是全光？"，大爷腼腆的说：“我是无所谓，能不能给你大妈留条裤衩？" 　　2.老婆语录：允许你喝醉，允许你勾妹，但晚上必须给老娘归队，如果你敢伤我的心，伤我的肺，老娘一定把你的第三条腿打残废，让你的鸟鸟永远打嗑睡。　　3.两个饺子结婚了，送走客人后新郎回到卧室，竟发现床上躺着一个肉丸子！新郎大惊，忙问新娘在哪？肉丸子害羞的说：讨厌，人家脱了衣

2006-06-02 23:31:00 890

转载几个笑死你的小笑话

卫生”厨房餐后，一位顾客把饭店老板叫了来。 “先生，祝贺您！您这儿的厨房很卫生啊！” “多谢，先生……我尽力而为。但是，我请教，您不曾参观过我的厨房怎么会夸这里很卫生呢？” “噢，很简单。我刚在这儿吃的一切都有一股肥皂味。” 小费一位先生在餐馆吃完饭，结帐后准备起身离去。站在一旁的侍者见他无意付小费，忙说： “先生，你相信历史会重演吗？” “我相信。” “昨天坐这张桌子的一位顾客，给了我

2006-06-02 23:29:00 1192

转载中学试卷上出现在爆笑答案

1、地理教过，中国产煤最多的地方是辽宁省抚顺，产铁最多是辽宁省鞍山，所以抚顺被称为中国的“煤都”，鞍山称为“铁都”。某次考试，试卷上：中国的煤都是(黑的)，中国的铁都是(硬的)。考完还说：老师怎么出那么简单的题目？ 2、一次语文考试的附加题，问普罗米修斯是什么文学作品里面的人物，一个同学填：哈里-波特。还有一次，问左忠毅公叫什么名字，一个同学写：左冷禅。 3、一次政治时政题：我国的()号考察船去北

2006-06-02 22:31:00 1060

转载 B/S开发中,用得比较多的在线编辑器

B/S开发中,用得比较多的在线编辑器:FreeTextBox:http://www.freetextbox.com/eWebEditor:http://ewebeditor.webasp.net/download.aspWebHtmlEditor 1.0 Release http://www.lionsky.nethttp://www.lionsky.nethttp://community.csd

2006-05-25 15:42:00 1307

转载 WebService传输DataSet的一点想法和实践

其实这个标题很大，实现起来也可以有许多的办法。甚至，应否这样做也许都能惹出许多的争论（比如，为什么用WS而不是Remoting？为什么传DataSet而不是Entity[]？）。由于DS的体态丰腴，选用何种序列化就很多的选择了，我尝试过如下方法： 1, SOAPFomatter 2， BinaryFomatter　 3,SOAPFoma

2006-05-21 15:27:00 919

转载 Improving DataSet Serialization and Remoting Performance

MORE INFORMATIONloadTOCNode(1, moreinformation);When you pass a System.Data.DataSet object between processes, .NET Framework Remoting is used to serialize, to transport, and to deserialize the D

2006-05-21 15:26:00 1096

转载 True Binary Serialization and Compression of DataSets

N.B. There is a newer updated article with up-to-date source code that readers should visit after reading this article, which may be found here. The DataSet, found in the System.Data namespace, is a

2006-05-21 15:24:00 1593

转载大数据量(16M)的DataSet压缩方法比较

对于在WebService上必须(无法避免的情况下)要传输大量数据的DataSet时，对DataSet压缩是最好的方法，这样可以减少大量在网络传输过程中所占用的时间。下面对我掌握的的DataSet压缩方法做一个测试，希望高人有斧正之处，也希望需要的人有借鉴之处。注：经过压缩DataSet的WebService就缺少了通用性，请权衡使用之。测试源码(仅压缩部分)和结果如下：条件：压

2006-05-21 15:19:00 943

转载在Web中编写文件上传程序需要注意的几点

用.Net编写Web程序，不管是Web Service或者 Web Form，不可避免地要遇到上传文件这类问题。而在这种情况下，有两点细节是需要注意的，具体如下。第一点，要添加Web程序的配置选项，打开项目的“web.config”文件，把“”这一项添加到“”之上即可，注意：maxRequestLength的单位是KB，你可以根据你的需要进行修改，比如即设为100M。第二点，是

2006-05-21 15:18:00 960

原创由捕获到的数据包重组html页面技术

由捕获到的数据包重组html网页技术根据解析协议得到端口号，由端口号判断对应进程，再根据进程对数据的封装格式，可以由捕获的数据包恢复数据（数据重组技术）。下面介绍如何根据捕获到的http协议TCP数据包恢复html网页技术。任何一应用程序要利用网络进行通信，必须有自己的通信格式，即，发送端发送的数据，接收端要能够正确解释；接收端返回数据，发送端也要能解释返回的数据并作相应处理。浏览

2004-05-17 18:22:00 5720 5

原创端口扫描

端口扫描原作：Prabhaker Mateti出处：http://www.cs.wright.edu/~pmateti/Courses/499/Probing/References 摘要：这篇演讲稿介绍了攻击者们常用来发现Internet上不安全主机的端口扫描技术，文章还描述了基于nmap,portsentry和zonealarm三个工具的一项实验。

2004-05-17 18:20:00 5627 1

dux++ 的专栏