Hadoop
文章平均质量分 61
monkey-jie
这个作者很懒,什么都没留下…
展开
-
Hadoop全套学习路线
Hadoop学习路线 文章转载至:http://lxw1234.com/archives/2016/11/779.html 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上 第四章:把Hadoop上的数据搞到别处去 第五章:快一点吧,我的SQL 第六章:一夫多妻制 第七章:越来越多的分析任务 第八章:我的数据要实时 第九章:我的数据要对外 第十章...转载 2018-10-11 23:33:19 · 277 阅读 · 1 评论 -
ssh配置免密登录需要输入密码的问题
关于配置ssh免密登录时不能免密的问题 第一种情况:添加公钥后报错sign_and_send_pubkey: signing failed: agent refused operation **解决方案:**只需要输入下面两个语句就ok啦。 eval "$(ssh-agent -s)" ssh-add 第二种情况::公匙无法通过ssh-copy-id 发送。一直处于不能免密的状态: 这个时候我们...原创 2018-10-14 18:33:10 · 2343 阅读 · 0 评论 -
Hadoop2.9.1基于ubuntu16.04搭建完全分布式环境
在VM上用三台ubuntu搭建Hadoop环境 本人由于学习大数据需要搭建Hadoop环境,由于技术比较菜,所以折腾了一个星期才搭好环境,另外网上的很多教程都比较老,那些Hadoop版本很多都是零版的。所以我想写一篇完整详细的教程来让初学者尽快的搭好环境,进入大数据的学习。 所需环境: VMware15 workstation pro ubuntu16.01 Hadoop2.9.1 JDK1.8 ...原创 2018-10-10 19:30:29 · 1621 阅读 · 2 评论 -
Hadoop完全分布式配置问题
关于搭建Hadoop完全分布式时配置的问题 配置hadoop的配置文件core-site.xml, hdfs-site.xml, mapred-site.xml,yarn-site.xml,slaves(workers)(都在Hadoop安装目录/etc/hadoop文件夹下) 1、core-site.xml <configuration> <property> ...原创 2018-10-18 10:47:10 · 342 阅读 · 0 评论 -
Hive3.0.0基于hadoop2.9.1和ubuntu16.04的安装配置及问题解决【超详细】
Hive3.0.0基于hadoop2.9.1+ubuntu16.04的安装配置【超详细过程】 在后面有很多配置过程中出现的问题的解决方法,主要参考博客: https://www.cnblogs.com/pejsidney/p/8944305.html https://blog.csdn.net/sjmz30071360/article/details/82080189 一、配置SQL 下载sql ...原创 2018-10-18 19:51:30 · 946 阅读 · 0 评论 -
HDFS应用场景、原理、基本架构及使用方法概述
以下主要参考小象科技的董西成老师的视频 1. HDFS概述 2. HDFS基本架构和原理 3. HDFS程序设计 4. HDFS 2.0新特性 一、HDFS概述 HDFS是什么? 1、源自于Google的GFS论文,发表于2003年10月,HDFS是GFS克隆版 2、Hadoop Distributed File System,易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大...原创 2018-10-23 21:51:48 · 770 阅读 · 0 评论 -
MapReduce实例编程之求平均数(不用eclipse插件详解)
由于本人的环境有点问题,无法正常使用hadoop的eclipse的插件,所以在导入jar包到eclipse的过程中遇到了很多坑,这里想给大家分享一下经验,让跟我同样境遇的人少踩坑,以快速上手自己的第一个MapReduce程序。 一、导入hadoop的jar包到eclipse中 1、新建java project(这个很容易,就不赘述了) 2、准入导入jar包:右击新建的项目,点Build Pa...原创 2018-10-24 20:35:43 · 799 阅读 · 0 评论