hadoop3.0.0集群从配置到运行学习笔记

标签: 大数据hadoop
17人阅读 评论(0) 收藏 举报

本人系统是win10  虚拟机是VM 安装ubuntu16+ 在win上的eclipse 配置hadoop,集群安装在虚拟机上的三个ubuntu虚拟机上,个人学习是参考各个博客,有些简单的问题解决没有写上博客链接

1.jdk

通过wget下载jdk
http://blog.csdn.net/m0_37681914/article/details/76599596
解压
安装配置jdk
https://www.cnblogs.com/zfeixiang/p/5910272.html
本人使用vim编辑配置(百度如何使用vim)
2.tomcat
https://www.linuxidc.com/Linux/2017-06/144809.htm
异常处理
http://blog.csdn.net/john_hongming/article/details/16941039
win访问(添加安全组)
https://www.cnblogs.com/wxjnew/p/6962023.html
3.mysql


4.hadoop
ssh免密码登录
https://www.cnblogs.com/87hbteo/p/7606012.html
配置
https://www.cnblogs.com/ejiyuan/p/5557061.html
启动异常处理


eclipse 安装hadoop 插件

https://my.oschina.net/muou/blog/408543

hadoop2.8.3插件下载链接

https://github.com/HuangDongdong666/Hadoop-eclipse-plugin-2.8.3



https://blog.csdn.net/u013725455/article/details/70147331
https://blog.csdn.net/qq_23617681/article/details/51248023
https://blog.csdn.net/znb769525443/article/details/51507283
内存溢出:https://blog.csdn.net/ahau10/article/details/53484770
Hadoop 解除 "Name node is in safe mode"
https://blog.csdn.net/hongweigg/article/details/7185328


Could not locate Hadoop executable: D:\Program Files\hadoop-3.0.0\bin\winutils.exe
下载文件inutils.exe 和 winutils.exe
https://github.com/steveloughran/winutils


Hadoop Hdfs常用命令
https://blog.csdn.net/sunshingheavy/article/details/53227581


hadoop测试样例
http://younglibin.iteye.com/blog/1925008


异常Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
https://blog.csdn.net/congcong68/article/details/42043093  下载与hadoop版本对应的hadoop.dll(参考上面的下载链接)


hadoop关于org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, ac
https://blog.csdn.net/lunhuishizhe/article/details/50489849

查看评论

JDBC优化之手写数据库连接池技术

-
  • 1970年01月01日 08:00

hadoop之slaves文件详细分析

hadoop之saves文件详细分析(一) 注:所有操作基于hadopp-2.7.5,本篇文章主要涉及一些对于slaves文件之于hadoop平台的思考 首先大家都知道,要想配置一个完...
  • qq_40128682
  • qq_40128682
  • 2018-04-14 10:09:49
  • 35

Hadoop-3.0.0 + spark-2.3.0 +storm-1.2.1 的安装心得

因为前段时间比赛用到spark,而实验室集群的spark版本还是1.6,带来了不少麻烦,于是便想着把集群的Hadoop和spark更新一下版本,另外,因为项目需要,再补装个storm,一边日后要用。说...
  • qq_27838803
  • qq_27838803
  • 2018-03-28 17:30:31
  • 44

hadoop参数汇总配置文件参数详解

Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下: 文件描述符ulimit -n用户最大进程 nproc (hbase需要 hbse bo...
  • weijie0917
  • weijie0917
  • 2016-09-22 11:08:03
  • 2208

hadoop3.0 分布式搭建/安装

最近打算尝试在服务器上安装hadoop3.0,由于服务器上本来搭建好hadoop2.6,并且是用root用户安装。我不打算删除原来的hadoop2.6, 所以准备新建两个用户,hadoop2.6及ha...
  • u010499619
  • u010499619
  • 2016-10-21 20:30:42
  • 10924

hadoop-3.0.0集群环境搭建、配置

12月13日hadoop-3.0.0发布正式版啦,试试最新的 Release Notes:Minimum required Java version increased from Java ...
  • cc1949
  • cc1949
  • 2017-12-18 20:24:57
  • 2229

Hadoop3.0集群配置

前言 本文主要是讲述如何在上千节点下的大规模集群的安装和配置。如果你只是想尝hadoop。你可以在单台机器上进行安装。(查看单例安装) 本文不涉及安全或高可用等方面的主题。 先决条件 ...
  • m290345792
  • m290345792
  • 2018-01-23 16:27:11
  • 373

Hadoop3.0稳定版的安装部署

号外:本公众号改名为Spark学习技巧了。 Apache Hadoop 3.0.0在前一个主要发行版本(hadoop-2.x)中包含了许多重要的增强功能。 这个版本通常是可用的(G...
  • rlnLo2pNEfx9c
  • rlnLo2pNEfx9c
  • 2017-12-15 00:00:00
  • 5770

Hadoop 3.0 新特性原理及架构分析

经过多年的发展,Hadoop已经日趋成熟,3.0版本发布,预示着Hadoop进入了新的发展阶段,那么Hadoop3.0有哪些内容,哪些值得注意的地方?都是我们值得研究的部分,本课程,将重点介绍Hadoop 3.0在HDFS,Yarn,MapReduce核心部分的变化。
  • 2018年04月16日 18:54

适合小白的 Hadoop 集群配置搭建,非常详细

安装虚拟机 安装JDK 克隆 安装HADOOP 配置ssh 搭建hadoop集群 配置hadoop-env.sh 配置hadoop-core-site.xm 配置hadoop-...
  • qq_28048615
  • qq_28048615
  • 2018-04-13 08:29:22
  • 140
    个人资料
    等级:
    访问量: 1525
    积分: 129
    排名: 116万+
    文章分类