云计算
iteye_12404
这个作者很懒,什么都没留下…
展开
-
hadoop单机安装要点
今天安装了hadoop的单机版,参照网上的一些博文,终于成功了,环境如下: Hadoop版本:hadoop-0.20.203.0 Java JDK版本:1.6.0_29 linux环境:suse 9 参照博文: [url]http://www.cnblogs.com/maczpc/archive/2010/01/17/1650191.html[/url] 在参照上述博文的基...原创 2011-09-30 14:34:25 · 93 阅读 · 0 评论 -
解决hadoop抛出的Task process exit with nonzero status of 134异常(原创)
转载请注明出处,谢谢: [url]http://jackiee-cn.iteye.com/blog/1192526[/url] [u][b]问题:[/b][/u] hadoop安装完毕后,拿着hadoop的示例程序,尝试在单机环境下运行,先修改/etc/profile文件,增加如下内容: [color=blue]export JAVA_HOME=/opt/jdk1.6.0_29 e...原创 2011-10-13 09:16:10 · 162 阅读 · 0 评论 -
解决hadoop的启动异常
启动hadoop出现异常,查看namenode日志: [color=red]java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1[/color] 网上查找原因,有这样的解决办法: [quot...原创 2011-10-14 08:28:04 · 119 阅读 · 0 评论 -
解决hadoop web UI无法访问问题
最近研究hadoop,遇到的小问题还不少,前面刚解决了 134 的问题,忽然发现web UI都无法访问了,检查50030和50070端口: [color=blue]$netstat -ap|grep 50030[/color] 发现侦听的程序都在,结果如下: [color=blue]tcp 0 0 *:50030 *:* ...原创 2011-10-14 14:37:45 · 1808 阅读 · 0 评论 -
云计算环境下应用架构的设计思考
最近参与总局的云计算双活方案: 计划北京中心和广州灾备中心能共享资源实现应用系统的双活,实际方案设计时,遇到了一个比较麻烦的问题,北京中心和广州中心没办法从业务上区分,哪些请求发给北京,哪些请求发给广州,如果后端采用GoldenGate双向复制,如果双方同时操作一条数据记录,就可能出现混乱的情况。 虽然从GoldenGate技术上双向复制也是可以的,但最好业务上能区分出来,不出现业务上...原创 2011-10-24 16:47:04 · 109 阅读 · 0 评论 -
两款高性能并行计算引擎Storm和Spark比较 (转)
Spark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。 所以这是把过程传递给数据。这和Hadoop map/reduce非常相似,除了积极使用内存来避免I/O操作,以使得迭代算法(前一步计算输出是下一步计算的输入)性能更高。 Shark只是一个基于Spark的查询引擎(支持ad-hoc临时性的分...原创 2014-11-20 14:37:56 · 95 阅读 · 0 评论