Hadoop
文章平均质量分 62
mrshen007
我是一只菜菜菜菜鸟,想要飞却怎么样也飞不高。
展开
-
HDFS-datanode数据块部分笔记
之前在看查看datanode数据的时候觉得很奇怪,我在hdfs上有两个用户,一个是默认生成的http://master:9000/user/hduser,(其中master是linux下我的主机名hduser是linux下我的用户名)另一个是使用了hive存储之后hdfs自动建立的http://master:9000/user/hive。但是在datanode节点查看之后,总是找不到hive存储的原创 2015-06-11 20:40:48 · 8757 阅读 · 0 评论 -
Hadoop 2.6.0动态添加节点
作者:leo-leong出处:http://my.oschina.net/leoleong/blog/477508本文主要从基础准备,添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下,如何动态新增节点到集群中。基础准备在基础准备部分,主要是设置hadoop运行的系统环境修改系统转载 2015-09-13 15:59:27 · 485 阅读 · 0 评论 -
Vmware vSphere Client克隆虚拟机
参考资料:http://www.zhixing123.cn/ubuntu/41790.htmlstep1)将你所要克隆的虚拟机关机step2) 选择你的EXEi服务器(物理机,如图1的的“1”) 选中配置,然后选中存储器(如图1中的“2”和“3”) 右键你的存储介质,比如我自己的是datastore1,选择“浏览数据存储”。(如图1中的“4”)原创 2015-09-13 17:00:26 · 11478 阅读 · 0 评论 -
CentOS-6.5下编译hadoop-2.6.0的eclipse插件
欲看大招,请直接拖到最低部。windows下hadoop的eclipse插件在CentOS里用不了了,只能自己去编译。1)下载插件2x版本的源码2)在CentOS里安装Ant,进入目录/src/contrib/eclipse-pligin目录下,使用ant命令编译:ant jar -Dversion=2.6.0 -Declipse.home=/home/eclipse -D原创 2015-09-13 19:18:45 · 600 阅读 · 0 评论 -
Eclipse的Hadoop版HelloWorld
搭建过一些hadoop和spark,storm平台,算是轻车驾熟,但始终觉得漂浮在学习的皮毛之外。最近想进阶一下又不能白白浪费之前学过的东西,开始搞这几个平台的业务开发吧,从hadoop的“helloworld”——wordcount程序开始。 我是在自己虚拟机上搭建的三个节点的hadoop伪分布式集群,其实伪分布式跟完全分布式部署方法完全一样,把虚拟机换成物理机器就可以了。在ecli原创 2015-03-28 15:04:12 · 994 阅读 · 0 评论 -
VMware虚拟机NAT模式的具体配置
NAT模式的具体配置NAT方式:虚拟机可以上外网,可以访问宿主计算机所在网络的其他计算机(反之不行)。1.1.1. 查看虚拟机的网络参数1) 打开虚拟机,选择菜单“编辑”》“编辑虚拟网络”,如下图: 2) 选中列表中的“VMnet8 NAT”,点击左下角“恢复默认”按钮,恢复默认参数设置。然后点击“NAT设置”按钮,转载 2016-06-11 10:36:58 · 550 阅读 · 0 评论 -
windows系统VMware中CentOS网络设置
在VMware虚拟机里安装CentOS,一般设置为NAT上网方式,十分方便。但是这样有个缺点,这样的上网方式是DHCP的,也就是每一次重启你的ip都会改变。如果你进入/etc/sysconfig/networt-scripts/ifcfg-eth0文件,将上网类型从dhcp修改为static,并对ip,掩码,网关做相应修改之后,重启网络服务,这时候可以看到静态ip生效了。设置静态ip非常有用,尤其原创 2016-11-24 14:36:25 · 2164 阅读 · 1 评论