Hadoop
八刀物语
echo "Nosense"
展开
-
0915_MapReduce初窥——Word Count程序
今天在公司待了一天,然后被公司神慢的DNS解析吓怕,下了一天的数据库安装包,然后并没有什么鸟用,突出一个烦。 想想技术日志不能断啊,然后之前关于Hadoop正好也没有做什么整理,那就权当整理思路,把关于Hadoop的一些自己的理解做一个整理。 首先,Hadoop是Apache的一个开源项目Nutch,后来结合了Google的MapReduce,HDFS+MapReduce加在一起,基本上就构成原创 2015-09-15 21:32:34 · 341 阅读 · 0 评论 -
整理系列-20161111-Spark学习周记_3
2016.02.16复制虚拟机:将图中文件夹内三个框选出来的文件中出现的master全部替换为slave-x,剩余文件名也做相应改动。当然这些都只是为了让文件夹看起来更加整齐而已。然后尝试运用到完全分布模式时,伟大的鸟哥和老魏等: 1. 鸟哥のlinux.Hadoop集群完全分布式模式环境部署.2016.02.16 2. weifield.【Hadoop】搭建完全分布式的hadoop.2016.原创 2016-11-11 23:26:36 · 337 阅读 · 0 评论 -
整理系列-20161111-Spark学习周记_4
Spark 机器学习2016.02.29 Neural Networks and Deep Learning.Michael Nielsen.2016.02.29 尹绪森.Spark 与 MLlib:当机器学习遇见分布式系统[J].程序员.2014,7. 2016.03.08开始看 Spark 机器学习的部分,然后粗略记录一下一些重点部分,方便之后查阅。训练方法几乎一样,只是模型特定可配置的模型参原创 2016-11-12 00:55:35 · 819 阅读 · 0 评论 -
整理系列-20161111-Spark学习周记_5
2016.04.08 Note_11 引入了高大上的matplotlib,但是一直报错,难过! Export了一下DISPLAY,结果果然是因为ssh!!! 决定规避显示的环节!!原创 2016-11-12 01:35:30 · 535 阅读 · 0 评论 -
整理系列-20161111-Spark学习周记_2
刚才那篇有bug呀,一按删除键/回车键就闪退。我可以上报CSDN技术组吗?估计是遇到EOF了(我猜)。 2016.02.07 Eclipse在Linux中的使用: 前后台切换: (1) Eclipse & (2) 已经在前台执行的程序,可以先ctrl+z,再bg %num(作业编号) (3)Jobs 可以知道后台运行的程序,将后台job切换到前台fg %1(即回到前台) 安装插件: had原创 2016-11-11 23:22:22 · 346 阅读 · 0 评论