大数据技术
文章平均质量分 80
研一做过几天大数据,自己尝试搭建了一个分布式集群,后来就很少接触了。
mapreduce的思想还是很重要的!故创个专栏,后序再有机会补充进来。
Chen-FangLiang
这个作者很懒,什么都没留下…
展开
-
Hadoop伪分布式安装
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -...原创 2018-04-11 18:01:53 · 119 阅读 · 0 评论 -
Hadoop运行过程中的常见错误及警告
一、启动HDFS服务是一直弹出如下提示信息:lib/native/libhadoop.so which might have disabled stack guardbhbase6: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop/lib/native/libhadoop.so...原创 2018-04-11 18:03:40 · 1790 阅读 · 0 评论 -
Eclipse本地运行MapReduce
环境说明:Linux环境下已搭建好hadoop集群,windows本地安装Eclipse,远程启动MapReduce任务1、下载并安装eclipse插件:hadoop-eclipse-plugin-XXX.jar网上有好多教程,不再赘述,注意IP地址和端口不要错。2、配置本地Hadoop环境2.1 下载尽量与你服务器版本相同的hadoop包,并解压。2.2用下面的文件替换hadoop/bin目录下...原创 2018-06-03 12:29:25 · 802 阅读 · 0 评论