- 博客(10)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 mysql InnoDB和MyISAM的区别
原文地址：http://www.cnblogs.com/villion/archive/2009/07/09/1893762.htmlMyISAM存储引擎 MyISAM是 默认存储引擎。它基于更老的ISAM代码，但有很多有用的扩展。MyISAM存储引擎的一些特征：· 所有数据值先存储低字节。这使得数据机和操作系统分离。二进制轻便性的唯一要求是机器使用补码（如最
2013-07-12 18:15:36
557
原创 IIS7日志中时间与系统时间不一致的原因
最近在分析web日志，发现IIS7日志中时间与系统时间不一致，即本该上班时间才产生的产并发访问日志，全部发生在凌晨至上班前。本以为是系统时间设置错误，检查后一切正常。后查询资料，原来是这个原因：日志的格式有IIS、NCSA、W3C三种。IIS是固定的基于 ASCII 文本的格式，无法自定义记录的字段，字段由逗号分隔，记录的时间为本地时间文件名前缀为u_in。NCSA是美国国家超级计
2013-07-08 15:43:16
14010
1
原创 hive insert table的写法
hive官方文档中这样描述将数据从一个表中插入到另一个表中hive> FROM invites a INSERT OVERWRITE TABLE events SELECT a.bar, count(*) WHERE a.foo > 0 GROUP BY a.bar;hive> INSERT OVERWRITE TABLE events SELECT a.bar, count(*) FROM
2013-07-05 10:37:04
21973
原创 执行hive语句时报ALLOW_UNQUOTED_CONTROL_CHARS
在hive中执行普通查询没有问题。hive> select * from weblog w where w.accdate='2013-06-15' limit 20;但执行like时，就报错，select * from weblog w where w.csuristem like '%aspx' limit 20;
2013-07-05 10:04:31
2777
转载 Hadoop 坑爹的Be Replicated to 0 nodes, instead of 1 异常
原文地址：http://dongyajun.iteye.com/blog/1039836新的项目上线之后发现，有些会员上传资源到我们集群的速度，既然跟我们集群的吞吐量差不多，达到了70M+/s的速度。 在向集群put数据时，抛出了异常：Java代码 org.apache.hadoop.ipc.RemoteException: java.io.IOException
2013-07-04 17:15:15
1077
原创 hadoop could only be replicated to 0 nodes instead of 1 解决方法
修改了replication后，执行hive语句报错如下：hive> select count(1) from weblog;Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks determined at compile time: 1In order to change the average
2013-07-04 17:12:52
6605
1
转载 hive中的Order By
原文地址：http://www.oratea.net/?p=622hive中的order by也是对一个结果集合进行排序，但是和关系型数据库又所有不同。这不同的地方也是两者在底层架构区别的体现。hive的参数hive.mapred.mode是控制hive执行mapred的方式的，有两个选项：strict和nonstrict，默认值是nonstrict。这个两个值对order by的
2013-07-04 15:29:07
2633
转载 Hive中SELECT TOP N的方法(order by与sort by)
原文地址：http://blog.sina.com.cn/s/blog_6ff05a2c0101eaxf.html我想说的SELECT TOP N是取最大前N条或者最小前N条。Hive提供了limit关键字，再配合order by可以很容易地实现SELECT TOP N。但是在Hive中order by只能使用1个reduce，如果表的数据量很大，那么order by就会力不从
2013-07-04 15:27:26
8001
原创 修改dfs.relication值后如何生效
修改master节点的hdfs-site.xml文件中dfs.relication值后，重启hadoop和执行hadoop balancer，均不能使该设置生效，使用hadoop fsck /查看，Average blockreplication还是原来的值，需要按如下操作：修改hdfs文件备份系数：hadoop dfs -setrep [-R] 如果有-R将修改子目录文件的性质。
2013-07-03 17:39:46
1291
原创 hadoop启动报FSNamesystem initialization failed
今天从服务器上取了2个星期的日志，准备用hadoop分析一下，中间有些小插曲，分享一下。因为之前在hadoop集群之间做了ssh无密码验证，方便登陆，使用的是hadoop账号，上传ftp时，hadoop账号没有mkdir和write的权限，于是在 /etc/passwd 文件中将hadoop的权限改了。如下： hadoop:x:500:0::/home/hadoop:/bin/ba
2013-07-02 16:18:42
8750
2009年世界财富500强(含logo)
2009-08-19
2008年世界财富500强(含logo)
2009-03-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人