Hadoop
With__Sunshine
这个作者很懒,什么都没留下…
展开
-
史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署A...转载 2018-04-02 11:23:12 · 792 阅读 · 0 评论 -
(hadoop02)配置hadoop--使用符号连接的方式,让三种配置形态共存
让命令行提示符显式完整路径--------------------------- 1.编辑profile文件,添加环境变量PS1 [/etc/profile] export PS1='[\u@\h `pwd`]\$' 2.source $>source /etc/profile 配置hadoop,...原创 2019-03-10 11:05:25 · 366 阅读 · 0 评论 -
(hadoop02)配置hadoop--完全分布式配置
完全分布式-------------------- 1.克隆3台client(centos7) 右键centos-7-->管理->克隆-> ... -> 完整克隆 2.启动client 3.启用客户机共享文件夹。 4.修改hostname和ip地址文件 [/etc/hostname] s202...原创 2019-03-10 13:06:03 · 193 阅读 · 0 评论 -
(hadoop03)在centos桌面版中安装eclipse
1.下载eclipse linux版 eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz2.tar开到/soft下, $>tar -xzvf eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz -C /soft3.启动eclipse $>cd /soft/eclips...原创 2019-03-10 17:52:41 · 167 阅读 · 0 评论 -
(hadoop04)在centos上配置maven
1.进镜像站http://mirrors.tuna.tsinghua.edu.cn/apache/找到maven项,点进去后选择相应版本的.gz文件。我下载的是:apache-maven-3.6.0-bin.tar.gz2.拷贝到windows下的共享目录下:../bigdata/apache-maven-3.6.0-bin.tar.gz3.cd /mnt/hgfs/common-s...原创 2019-03-10 19:35:16 · 86 阅读 · 0 评论 -
(hadoop05-01)在centos上安装idea
1.idea下载地址:https://www.jetbrains.com/idea/download/#section=linuxidea注册码:https://blog.csdn.net/zhw0596/article/details/813948702.将在windows上下载好的ideaIU-2018.3.5 .tar.gz拷贝到共享目录下3.tar -zxvf /mnt/hgf...原创 2019-03-10 22:10:49 · 119 阅读 · 0 评论 -
(hadoop05-02)在centos idea创建java maven项目
1创建java项目[FIle]->[New]->[Project]->[Java],[Next]->[Next]->Project Name:DemoPro,[Finish]2.添加Module右键左上角的项目名称,[New]->[Module]->[Java],[Next]->[Next]->Project Name:HdfsDe...原创 2019-03-10 22:34:32 · 131 阅读 · 0 评论 -
hadoop启动后,jps查不到NameNode 或DataNode 解决方法
由于最近安装hadoop,出现了启动hdfs后 jps查不到NameNode 和 DataNode 的情况,经过一番查找。终于找到了问题所在:下面是我的 hdfs-site.xml中的/usr/local/data/namenode 是存放namenode的日志和启动文件如果DataNode没有:进入/usr/local/data/namenode中curre...转载 2019-03-15 16:17:18 · 4615 阅读 · 0 评论 -
Hadoop之——执行start-all.sh时namenode没有启动
最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动每次开机都得重新格式化一下namenode才可以其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失于是我们得重新配置一个tmp文件目录首先在home目录下建立一个hadoop_...转载 2019-03-15 17:50:37 · 3177 阅读 · 1 评论 -
HDFS的dfs操作实现总流程
入口hdfs脚本中,关于dfs的操作,统一走了org.apache.hadoop.fs.FsShell这个类。这个代码在脚本第153行elif [ "$COMMAND" = "dfs" ] ; then CLASS=org.apache.hadoop.fs.FsShell HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"d这个类中的mai...转载 2019-07-04 07:12:02 · 971 阅读 · 0 评论 -
(hadoop02)配置hadoop--伪分布式
1.standlone(local)不需要配置就能用2.Pseudodistributed mode(伪分布模式)a)cd /soft/hadoop/etc/hadoopb)编辑core-site.xml <?xml version="1.0"?> <configuration> ...原创 2019-03-10 10:44:27 · 110 阅读 · 0 评论 -
(hadoop01)centos7 hadoop2.7.2安装过程
前提1:已经挂载了windows共享目录操作参看: Vmware14+Centos7.5 挂载Windows7下载的共享文件夹windows10的共享目录根位置在:D:/download/common-file假设挂载的路径为:/mnt/hgfs/common-file/bigdata前提2:假设当前登录用户为centos创建/soft,~>sudo mkdir /s...原创 2019-03-10 08:43:02 · 217 阅读 · 0 评论 -
史上最详细的 Hadoop 环境搭建
史上最详细的 Hadoop 环境搭建(上篇)史上最详细的 Hadoop 环境搭建(中篇)史上最详细的 Hadoop 环境搭建(下篇)转载 2018-04-02 14:52:53 · 1454 阅读 · 0 评论 -
Hadoop3.0安装以及新特性介绍
Apache Hadoop 3.0.0在前一个主要发行版本(hadoop-2.x)中包含了许多重要的增强功能 环境安装: 192.168.18.160 CDH1 192.168.18.161 CDH2 192.168.18.162 CDH3 192.168.18.163 CDH41,java8是必须 所有hadoop 的jar都是利用java8的运行时版本进行编译的。依然在使用java7或者更低版...转载 2018-03-28 14:40:24 · 986 阅读 · 0 评论 -
在docker上部署centos+hadoop3.0分布式集群
完整步骤的思维导图一、主机规划3台主机:1个master、2个slaver/workerip地址使用docker默认的分配地址:master:主机名: hadoop2、ip地址: 172.17.0.2slaver1:主机名: hadoop3、ip地址: 172.17.0.3主机名: hadoop4、ip地址: 172.17.0.4二、软件安装1、在docker中安装centos镜像,并启动cent...转载 2018-03-28 15:33:27 · 481 阅读 · 0 评论 -
Hadoop主要配置文件深入理解
1 Hadoop源码加载配置文件原理在Hadoop源码中,通过搜索classpath路径,来直接找到和读取配置的xml文件,使得你的配置在启动时生效。 通过命令1可以查看当前Hadoop可以识别出来的classpath。 可见,第一条路径就是配置文件的目录,因此源码可以直接使用文件名来获取配置信息。2 Hadoop配置文件的层级关系在Hadoop源码Configuration类中,先后加载了cor...转载 2018-04-20 15:01:05 · 486 阅读 · 0 评论 -
Hadoop学习(二) Hadoop配置文件参数详解
Hadoop运行模式分为安全模式和非安全模式,在这里,我将讲述非安全模式下,主要配置文件的重要参数功能及作用,本文所使用的Hadoop版本为2.6.4。etc/hadoop/core-site.xml参数属性值解释fs.defaultFSNameNode URIhdfs://host:port/转载 2018-04-20 15:10:03 · 262 阅读 · 0 评论 -
Hadoop 环境 搭建全过程
Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程:https://www.cnblogs.com/zengxiaoliang/p/6478859.htmlhttps://www.cnblogs.com/zengxiaoliang/p/6478859.htmlhttps://blog.csdn.net/uq_jin/article/details/51451995hadoop...转载 2018-05-21 15:16:52 · 225 阅读 · 0 评论 -
rpm包的安装卸载
rpm包的安装: 1.安装一个包 # rpm -ivh 2.升级一个包 # rpm -Uvh 3.移走一个包 # rpm -e 4.安装参数 --force 即使覆盖属于其它包的文件也强迫安装 --nodeps 如果该RPM包的安装依赖其它包,即使其它包没装,也强迫安装。 5.查询一个包是否被安装 # rpm -q < rpm package name> ...转载 2018-05-31 23:05:19 · 199 阅读 · 0 评论 -
Hadoop Shell命令
FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中...转载 2019-07-04 07:20:19 · 101 阅读 · 0 评论