- 博客(16)
- 收藏
- 关注
RSS订阅独家 安装 Hadoop 2.0.0-cdh4.3.0 LZO 成功
在经历过忍饥挨饿、老眼昏花的深夜加班，最后扛不住没搞定，今天周六，再次来从新梳理思路和审核每一步操作，最终苍天终不负，让我搞定了LZO的安装，使集群间lzo文件的对拷和读写成为现实。期间，重启集群不下30遍，甚至一度丢掉了所有文件（测试环境），重新格式化。真心不容易，同时我很喜悦！因此，只要坚持和努力，结果不会令人太失望！言归正传，把我安装的过程记录一下，以备下次再安装时，我就驾轻就熟了。...
2013-08-31 11:42:01
168
原创 lzo悲催的安装
java.lang.UnsatisfiedLinkError: no gplcompression in java.library.pathat java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738)at java.lang.Runtime.loadLibrary0(Runtime.java:823)at java.lang....
2013-08-30 19:23:15
267
对比测试 Snappy+RCFile组合 与 LZO+TextFile组合 的压缩比和查询性能
在hadoop领域，上T数据的存储和处理是非常常见的。不同的存储格式和压缩组合能为存储和性能带来效率。本次对比测试 Snappy+RCFile组合 与 LZO+TextFile组合 的压缩比和查询性能，其结果见下面两个截图。至于hive、mr、压缩、存储格式等，这里不赘述，就在iteye搜索一下，都会出来一大堆。 ...
2013-06-04 09:25:29
354
发飙的房价
北京五环、六环开外，房价已经逐渐飙升至2w以上了，今天去偏远的房山看了一遍，与今年1月相比，上涨了30%，超过2w的楼盘多得的去了，相反低于2w的，已经屈指可数了，尽管那边有些楼盘周边还很荒凉，但是依然不能成为不涨的理由。正如小杂货店的录音机冒出来的：机不可失时不再来，你买不了上当，买不了吃亏。 尼玛，这对刚需一族是种摧残啊。 安心...
2013-06-01 21:33:38
102
EMC Hawq安装问题，Greeplum安装问题
Hawq的安装遇到以下问题，谁能解答一下？？20130527:10:00:05:213181 gpstart:bdp6:gpadmin-[ERROR]:-ExecutionError: 'non-zero rc: 1' occured. Details: 'ssh -o 'StrictHostKeyChecking no' bdp7 ". /usr/local/hawq/./greenplum_...
2013-05-28 09:23:13
267
鸟巢龙形水系钓鱼
哈哈哈，我花了146元的准豪华装备，今天5点不到就去钓鱼，直到7点，收获是一条两手指大的鲫鱼和4条小指大的麻公鱼，哈哈哈，最后还全部赠送给了同行的钓友。 鸟巢的水系里真是物种丰富，鲤鱼、红鲤鱼、鲫鱼、乌龟、泥鳅、小虾、青蛙等什么都有。今天在我脚边的就有只乌龟，起初只看到它伸出水面头，还以为是蛇，要是在老家那边的河里发现这样的团鱼，那肯定是野的，宝贝啊。 ...
2013-05-25 14:00:03
245
impala的最大优势亦即最大致命弱点，并不像cloudera描述的那么强大
impala的最大优势，也是它最大致命弱点。它将要处理的数据全部（有一定的优化和加载规则）加载至内存，在内存中实现数据处理，在所处理的数据较小时，其性能非常显著，但是当数据很大时，它就慢如蜗牛，甚至崩溃，在此时，它远不如hive+mapreduce。 今天的测试： Impala简单测试汇总： 一、软件环境： ...
2013-05-24 11:23:20
1318
钓鱼，有人一起吗
啊，为了暂时总结无聊的周末，哈哈哈，我今天买了鱼杆，“霸王3.6米+换把+竿桶+赠品”才85块钱，值得啊。下周去鸟巢的龙形水系里钓鱼去，有人一起吗？？？ 平时晚上也可以去，反正我看那早晚很多人在那钓鱼，没人管，只要白天不去就行。钓些小鲫鱼，还是不错的。 奥林匹克森林公园里的鱼比较大，有大草鱼、鲤鱼、金鱼等，但是好像没人在那钓，管的严啊，哈哈...
2013-05-19 10:39:20
154
Phoenix V1.1 分析与测试
Phoenix可用性测试报告——种基于HBase的SQL中间层开源插件 目录1.文档说明41.1编写目的41.2适用范围41.3参考资料41.4测试目的52.测试说明52.1测试类型52.2硬件环境52.3软件环境52.4部署环境53.测试结果及分析63.1测试类型63...
2013-05-18 14:37:06
285
Hive可视化日志web方案的实现
2. 接口数据协议IDE基于Hive部分约定的数据调用约定。2.1 HQL语法约定该部分的HQL由Web Server提交至Hive Server端执行。根据Hive的特点，除了执行部分SELECT语句会启动MapReduce外，其他如alter、load、insert语句等都不会涉及M/R。由此可知，大部分情况下不会有MapReduce的执行过程日志输出，而目前I...
2013-05-18 14:33:04
565
1
无聊的周末
在这天气不好，空气质量不高的周末，大家会做什么？分享一下吧。 曾经我会看书、电影、一个人去爬山、逛公园、看别人下象棋、和朋友吃饭、喝酒、KTV、台球等，但是至去年以来就很少这样了，难道我老了吗？？还是对日复一日没有新意的生活乏味了，总是似乎缺少了一些令我期待、感动和开心的事，所以周末干什么都好像缺少激情了。 大伙呢？在忙碌一周...
2013-05-18 08:58:47
171
hadoop资源调度器
hadoop支持多用户环境，在生产环境中，往往一个大的hadoop集群，供多个应用如Hive，Mahout等之类的使用。在多用户环境下，有的用户提交的工作量很大、很频繁，而有的很少，还有的优先级很高，那么如何保证“按需”来为各个用户分配资源（内存、CPU、带宽、IO、磁盘）呢？这就需要用到资源调度器。 这里，我对hadoop的资源调度做个简单的归纳总结： ...
2013-05-17 17:07:55
195
Impala V1.0安装之lzo
Impala是个什么东西？主要解决什么领域的问题？它有什么特征等等这里不想赘述。只讲解安装impala release版安装中的一个小节。 关于impala的安装，随便百度、谷歌一下，都会出来漫天的安装说明，不过大部分都是转载的，也都是一些beta版，毫无创新。另外，impala官方cloudera的网站也有impala的多类文档，但是，在某些地方取描述不尽详尽...
2013-05-16 11:33:25
162
rmr事故
今天我也奇葩了一把，因一个失误，酿成从业6年以来最严重的工作灾难事故。本来今天完成跨HDFS版本数据迁移和1.0IMPALA-LZO是非常值得我高兴的事情，却因在线上环境和测试环境之间迁移数据时，本该删除测试环境的，不小心递归删除了在线数据仓库的一个大目录，造成海量数据丢失，造成难以评估的结果。尼玛，老子人品暴跌吗？ 一再提醒自己细心处理在线事务，却还是...
2013-05-15 22:23:52
124
自开发跨HDFS版本的拷贝工具
虽然HDFS提供了distcp的远程拷贝工具，在同版本之间拷贝很方便，功能也很强大。但是，在跨版本、跨 运维机制时，它就不可用了。另外，HDFS也专门为跨版本提供了hftp协议，提供只读功能，但是该功能也有个致命缺陷，即需要配置被拷贝集群的所有节点的hosts，因为这个协议走的是HDFS的web管理接口，里面每个数据节点都是以hostname对外提供服务，所以，不配置hosts是...
2013-05-15 11:29:34
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人