Hadoop
Hadoop部分内容
落落free
这个作者很懒,什么都没留下…
展开
-
大数据入门:Hadoop安装、环境配置及检测
文章目录1.导包Hadoop包2.配置环境变量3.把winutil包拷贝到Hadoop bin目录下4.把Hadoop.dll放到system32下5.检测Hadoop是否正常安装5.1在maven项目中检测,将配置文件放入resource包下5.2然后通过一个简单的wordcount程序检测Hadoop是否安装成功5.3保存好之后,写程序:5.4最后我们打开输出文件查看:6.容易出现的错误:6...原创 2019-04-10 22:57:16 · 1207 阅读 · 0 评论 -
集群三部曲:单机模式
单机模式:运行wordcount单机模式是最简单的一种集群模式,但是配置单机模式之前一定要先做好准备工作,否则无法完成(请参看文章集群三部曲之准备工作)1)创建在hadoop文件下面创建一个wcinput文件夹mkdir wcinput2)在wcinput文件下创建一个wc.input文件cd wcinputtouch wc.input3)编辑wc.input文件vim w...原创 2019-03-05 15:33:30 · 422 阅读 · 0 评论 -
集群三部曲:伪分布模式
集群三部曲:伪分布模式请先做好准备工作:参看文章集群三部曲之准备工作文章目录集群三部曲:伪分布模式1.伪分布式配置2.启动集群3.查看集群1.伪分布式配置1)配置:hadoop-env.sh(/home/hyn/software/hadoop/etc/hadoop)Linux系统中获取jdk的安装路径,然后修改文件:2)配置:core-site.xml(需要在hadoop文件夹下...原创 2019-03-05 15:55:24 · 873 阅读 · 0 评论 -
集群三部曲之准备工作:Linux端安装jdk和Hadoop
集群三部曲之准备工作1.使用root用户设置hyn用户(自己的用户名)具有root权限:修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:## Allow root to run any commands anywhereroot ALL=(ALL) ALLhyn ALL=(ALL) ALL修改完毕,现在可以用hyn帐...原创 2019-03-05 15:20:47 · 898 阅读 · 10 评论 -
集群三部曲:全分布模式
集群三部曲:全分布模式文章目录集群三部曲:全分布模式1.免密登录三台机器SSH(Secure Shell)2.搭建过程:3.集群启动及测试Cloud01Cloud02Cloud03*!准备三台干净的机器Cloud01、Cloud02、Cloud03 ,并且做好准备工作(请参考集群三部曲之准备工作)。~单机模式~伪分布模式1.免密登录三台机器SSH(Secure Shell)(请查看...原创 2019-04-13 14:16:34 · 1486 阅读 · 1 评论