hadoop入门相关
mars_nier
这个作者很懒,什么都没留下…
展开
-
VMware下linux虚拟机改ip无法生效的解决
vim /etc/sysconfig/network-scripts/ifcfg-eth0 后保存成功无法生效解决方案参考:点击打开链接原创 2017-01-18 15:45:17 · 7701 阅读 · 0 评论 -
vmware克隆虚拟机之网卡配置(整理自网络已实践可用)
虚拟机搭建多centOS系统,克隆后遇到问题,原虚拟机用eth0,克隆后新虚拟机eth0无法使用,原因应该是mac地址冲突。vim /etc/udev/rules.d/70-persistent-net.rules注释掉eth0,然后将下面的eth1改名为eth0,复制下此eth0的mac地址(ATTR{address}),vim /etc/sysconfig/network-原创 2017-02-20 17:52:36 · 963 阅读 · 0 评论 -
copyToLocalFile(Path src, Path dst) 报空指针 问题分析
网上有现成答案,直接改成(false,xx,xx,true)即可。问题分析:调了3个参数的重载方法,默认false。接下来调了4个参数的重载方法,默认false。应该是最后那个false的原因。查阅api:字面理解,应该是使用原生的文件系统,不懂。。。false的时候没有调那个getRawFxxx方法。原创 2017-03-01 17:43:48 · 1091 阅读 · 0 评论 -
vmware虚拟机克隆linux之初始配置
搭建hadoop伪分布式集群,最简洁的方法是在一台虚拟机上配好了,直接克隆,然后改改就好。其他细化的改动不谈,只谈下克隆后必备的初始改动。一,改ip克隆后默认会分配一个初始ip,首先要把ip改了。,1,ifconfig -a查看物理MAC HWADDR的值,复制下来。2,,vim /etc/sysconfig/network-scripts/ifcfg-eth0,这里要改动原创 2017-04-18 15:23:17 · 544 阅读 · 0 评论 -
zookeeper入门学习总结(持续更新。。)
公理性总结:1,必须配置奇数台,分布式也就是至少3台。2,启动一半以上即可正常运行,3台配置的话也就是2台。3,一个leader,n个follower,leader宕掉后,选举规则自动从follower中选出leader。自我总结:1,zoo.cfg中如果用主机名标识,则要在/etc/hosts中做主机名映射,否则配置不起来。测试方法是ping主机名,ping不通则原创 2017-04-18 11:22:17 · 385 阅读 · 0 评论 -
mapreduce过程---combiner原理入门
总结来说,combiner就是一个reduce,一个可有可无的reduce,在传输的数据量大的时候,适合加入combiner,可减少网络传输,提升效率。在数据量不大的时候,combiner成了一个负担,因为多加了一个过程:mapper -> shuffle -> reducer ------- mapper -> combiner -> shuffle -> reducer原创 2017-04-06 16:51:24 · 1080 阅读 · 0 评论 -
ssh免登录快捷实现(多虚拟机环境,伪分布式)
首先,在本地使用ssh-keygen产生公钥私钥对ssh-keygen -t rsa此时生成.pub是公钥。然后,ssh-copy-id 10.0.0.250这一步将公钥拷到你的远程机上。配置完成。测试:ssh 远程机ip无须输入密码,则配置成功。原创 2017-02-21 16:11:38 · 550 阅读 · 0 评论