大数据/Linux
Dod_Jdi
Don't delay,Just do it!
展开
-
运行hadoop运行示例的几种方法
1、wordcount2、正则表达式。原创 2017-09-19 14:09:10 · 725 阅读 · 0 评论 -
简单PageRank的理解
最近由于要考试设计PageRank算法在Hadoop上的实现,因此学习了一下PageRank的简单模型。主要学习资料为网易公开课上的一个大约半小时的视频,:http://open.163.com/movie/2015/4/E/5/MAL6BDF3J_MALTODME5.html基本介绍PageRank主要通过网页间互相的链接关系来确定网页的重要性(等级),同时一个重要的网页指向的网页也认为是较为原创 2017-11-18 02:27:18 · 1363 阅读 · 0 评论 -
Linux修改主机名,添加用户等事项
目前用的是阿里云主机做学习用,使用 ssh 用户名@ip地址 登录。 但是默认的主机名太长了,修改文件 /etc/hostname, 将其对应的主机名修改为新的主机名。最后,需要将 /etc/hosts 中 127.0.0.1 对应的老主机名更换为新的主机名。重启生效。当然也可以跳过这一步,不过如果是建立分布式为了映射和识别Master和Slave也是需要进行类似的操作的。记住修改之后的用户名,如原创 2017-09-19 13:29:40 · 719 阅读 · 0 评论 -
建立可使用与远程调试的伪分布式Hadoop集群
可远程调试的Hadoop伪分布式原创 2017-09-18 22:32:24 · 783 阅读 · 1 评论 -
eclipse使用插件远程调试Hadoop
一、伪分布式环境下 伪分布式的配置参考http://blog.csdn.net/dod_jdi/article/details/78024664一般伪分布式的配置中core.site.xml一般设置为localhost: <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/原创 2017-09-27 19:39:32 · 795 阅读 · 0 评论 -
安装Python库出错,如numpy scipy scipy的解决办法, 切换版本
安装库一般使用: 1、sudo apt-get install 库 2、sudo pip install 库 但是有时候因为不是用root登录,会报错,例如不用sudo可能会导致权限问题,使用的话有可能无法修改用户Cache的问题。使用: pip install –user numpy scipy matplotlib ipython jupyter pandas sympy nose 来原创 2017-10-25 22:49:33 · 2023 阅读 · 0 评论