hadoop&云计算
文章平均质量分 59
loloha007
这个作者很懒,什么都没留下…
展开
-
hadoop问题分析
局域网,各主机系统不一样xp win7,全部虚拟机情况下,真是不好搞啊;第二天就ip地址变化,改了/etc/hosts和conf/Slaves;Error:运行,发现一个slave不好使了。。。。泪奔中!Slave-02中只有JobTracker进程,而没有datanode进程netstat -a 查看Master中的端口号如下:说明只有Slave-01的9000端口出错了;原创 2012-12-10 18:53:57 · 542 阅读 · 0 评论 -
mapreduce程序运行
1、从网上看到的运行mp程序实例:http://hi.baidu.com/shen____yan/item/e497ff2c434e7e0773863e2e;根据不同需求实现mphttp://sishuok.com/forum/blogPost/list/5749.html(打散大规模数据,使其分开,减轻job负担);2、从视频教程上copy了一个mp程序,可按照视频教程,居然报错原创 2012-12-10 22:17:28 · 1255 阅读 · 0 评论 -
利用一切资源搭建hadoop
实验室电脑一枚: win7-VM-Ubuntu11.10 作为Master:用户hadoop; IP: 219.223.192.144宿舍笔记本一枚:xp-VM-Ubuntu11.10 作为Slave-01:用户hadoop; IP:219.223.194.202实验室打印机一枚: win7-VM-Ubuntu11.10 作为Slave-02:用户hadoop; IP: 219.22原创 2012-12-07 16:19:04 · 638 阅读 · 0 评论 -
图解全分布模式下eclipse开发MapReduce程序
1 、 开发环境及注意事项全部Ubuntu11.10虚拟机,一个Master,两个Slave——重启虚拟机时,如果没有设置固定IP,有时需要重新修改机器配置文件:/etc/hosts;hadoop/conf下的 Masters、 Slaves、core-site、mapred-site共5个文件eclipse版本:eclipse-java-europa-winter-linux-gtk.t原创 2012-12-13 10:29:14 · 8930 阅读 · 0 评论 -
Hbase的HRegionServer进程无法和HMaster同步停止
在执行stop-hbase.sh之后.用jps查看进程之后还是发现HRegionServer没有关闭。查看日志并没有报错网友解释:执行完操作后,hbase的RegionServer在后台做compact等操作呢,当然关不掉————有道理,多次尝试后发现,确实有时可以一并关闭所有进程,有时就不可以,哈哈HRegionServer的源代码分析(从运行到终止):http://www.jaywon原创 2012-12-18 09:47:34 · 6686 阅读 · 0 评论 -
HMaster自动退出源于regionServer宕机
一大早起来关注我的小集群,发现HBase不好使了,弄得毫无头绪——只好重新查看守护进程jps 后 返现传说中的HMaster居然。。。不见了!————查看日志!果然:2012-12-17 22:51:13,317 INFO org.apache.zookeeper.ClientCnxn: Unable to reconnect to ZooKeeper service, session 0原创 2012-12-18 09:26:17 · 5251 阅读 · 0 评论 -
hive+mysql安装笔记
一 准备工作ubuntu更新软件源:http://life2style.diandian.com/post/2011-10-31/6393130ubuntu软件包依赖问题:http://blog.csdn.net/glorin/article/details/6312332软件包deb包安装问题:1.一般在此类发行版中可以直接双击安装。2.手动安装。如果您喜欢使用终端,您需要管理员权限原创 2012-12-17 11:41:32 · 1083 阅读 · 0 评论