Hadoopli

最新推荐文章于 2024-07-20 17:52:45 发布
最新推荐文章于 2024-07-20 17:52:45 发布
阅读量145 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BOSS_BIG_Wang/article/details/108528098
版权

文章目录

Hadoop

Hadoop是什么

Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储

Hadoop核心构成

  • 分布式文件系统HDFS
  • 资源管理系统YARN
  • 分布式计算框架MapReduce

Hadoop生态系统图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fRAt1WAV-1599788863018)(C:\Users\mi\AppData\Roaming\Typora\typora-user-images\image-20200907121119637.png)]

下载hadoop

  • 下载cdh 网址：http://archive.cloudera.com/cdh5/cdh/5/
    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FtR5hyQ3-1599788863020)(D:\文件\typora-user-images\image-20200907121920814.png)]
  • hadoop依赖于jdk1.7
    • 所以需要下载jdk1.7

HDFS架构图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JkhjaNhR-1599788863021)(D:\文件\typora-user-images\image-20200907164655935.png)]

HDFS 核心组件
image-20200907165337371

HDFS环境搭建

SSH配置
1、创建haoop用户
#创建用户
[root@localhost ~]# useradd hadoop183
#修改密码
[root@localhost ~]# passwd hadoop183
2、给刚创建的用户进行授权 或者使用visudo

/etc/sudoers

[root@192 ~]# chmod 777 /etc/sudoers
[root@192 ~]# vim /etc/sudoers

修改/etc/sudoers 文件，找到root一行，在root下面添加一行，如下所示：

root　　ALL=(ALL)　　ALL
# hadoop ALL=(ALL)　　ALL
hadoop ALL=(ALL)   NOPASSWD:ALL

修改完毕后，hadoop，然后用sudo su - ,即可获得root权限。

记得撤销授权，否则会报错。

[root@192 ~]# chmod 640 /etc/sudoers

修改完后重启 reboot

3、ssh免密登录

  • 切换到hadoop183用户生成密钥

    • image-20200907220216409

    • 把hadoop183用户的公钥发送给root用户

      注意：哪个用户希望免密登录别的用户，就需要把自己的公钥通过ssh发送给对方

      • ssh-copy-id -i ./.ssh/id_rsa.pub root@hadoop000
      • image-20200907221518584
      • 这样的话hadoop183用户就可以免密登录root用户了
        • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zzuKgQLq-1599788863023)(D:\文件\typora-user-images\image-20200907221617605.png)]
Linux机器参数配置

  • Linux网卡配置 vim /etc/sysconfig/network-scripts/ifcfg-ens33

    TYPE=Ethernet #网络类型
PROXY_METHOD=none 
BROWSER_ONLY=no
BOOTPROTO=static #IP获取方式 dhcp自动获取 static静态IP
DEFROUTE=yes 
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33 #网络名称
UUID=434b9ae0-3870-4f91-98b3-bf8102b38b7c
DEVICE=ens33 #驱动名称
ONBOOT=yes #设置开机启动

DNS1=114.114.114.114 #域名解析器
IPADDR=192.168.1.112 #设置静态IP地址
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.1.10 #网关

  • 设置IP和hostname的映射关系 vim /etc/hosts

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Xv9WeINj-1599788863025)(D:\文件\typora-user-images\image-20200907221054118.png)]

HDFS配置文件参数配置

  • 解压hadoop

    [hadoop@hadoop000 software]$ tar zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ../app
    • 进入解压后的hadoop目录
      • cd …/app/hadoop-2.6.0-cdh5.7.0
    • 删除etc/hadoop的以.cmd结尾的文件
      • cd etc/hadoop
      • rm -rf *.cmd

  • 配置文件etc/hadoop/hadoop-env.sh

  • vim hadoop-env.sh

  • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zucnnW9a-1599788863026)(D:\文件\typora-user-images\image-20200907231228724.png)]

  • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xk3fvHnr-1599788863026)(D:\文件\typora-user-images\image-20200907230915793.png)]

  • 配置文件etc/hadoop/core-site.xml

    • vim core-site.xml

      • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pyEGjpIs-1599788863027)(D:\文件\typora-user-images\image-20200907231810195.png)]

      • <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/tmp</value>
    </property>
</configuration>

  • 配置文件etc/hadoop/hdfs-site.xml

    • vim hdfs-site.xml

      • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Y2Sx0OJd-1599788863028)(D:\文件\typora-user-images\image-20200907231920757.png)]

      • <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  • 将hadoop的目录配置到环境变量中

    • vim ~/.bash_profile

    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zE6PZddY-1599788863029)(D:\文件\typora-user-images\image-20200907232533249.png)]

    • source ~/.bash_profile

  • 测试

    • echo $HAOOP_HOME
HDFS格式化及启停
HDFS简单测试

安装JDK

#切换到root用户
su root
#先卸载之前的jdk
rpm -e --nodeps $(rpm -qa| grep jdk)
#切换到hadoop183用户
ssh hadoop183@hadoop000
#创建文件夹
mkdir software app data source
#切换到software文件夹
cd software

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KOoy3aBt-1599788863029)(D:\文件\typora-user-images\image-20200907223449824.png)]

  • 使用xftp进行文件上传<传入JDK与hadoop包>

    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7CRuZO4K-1599788863029)(D:\文件\typora-user-images\image-20200907223902204.png)]

    • 解压jdk

    • sudo tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local

    • 配置jdk环境变量

      • vim ~/.bash_profile

      • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tJL1LpUT-1599788863030)(D:\文件\typora-user-images\image-20200907225006197.png)]

      • PATH= P A T H : PATH: PATH:HOME/.local/bin: H O M E / b i n J A V A H O M E = / u s r / l o c a l / j d k 1.7. 0 8 0 e x p o r t P A T H = HOME/bin JAVA_HOME=/usr/local/jdk1.7.0_80 export PATH= HOME/binJAVAH​OME=/usr/local/jdk1.7.08​0exportPATH=PATH:$JAVA_HOME/bin

  • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0l0E4yzh-1599788863030)(D:\文件\typora-user-images\image-20200907225059302.png)]

  • 至此jdk安装成功

img

启动

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NJfA4Ird-1599788863032)(C:\Users\13493\AppData\Roaming\Typora\typora-user-images\image-20200908111944843.png)]

bin/hdfs namenode -format 格式化

[hadoop183@hadoop001 sbin]$ start-dfs.sh 启动 stop-dfs.sh停止

创建目录：hadoop fs -mkdir /data

上传本地文件到hdfs：hadoop fs -put /home/hadoop183/data/hello_dfs.txt /data

下载 hadoop fs -get /data/hello_defs.txt /home/hadoop/data/hello_defs_get.txt

查看hdfs的文件列表：hadoop fs -ls /data

下载tree:sudo yum install -y tree

读取hdfs文本信息：
（1） hadoop fs -cat /data/hello_dfs.txt
（2） hadoop fs -text /data/hello_dfs.txt

命令

[hadoop183@hadoop001 bin]$ hadoop fs
Usage: hadoop fs [generic options]
[-appendToFile … ]
[-cat [-ignoreCrc] …]
[-checksum …]
[-chgrp [-R] GROUP PATH…]
[-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…]
[-chown [-R] [OWNER][:[GROUP]] PATH…]
[-copyFromLocal [-f] [-p] [-l] … ]
[-copyToLocal [-p] [-ignoreCrc] [-crc] … ]
[-count [-q] [-h] [-v] …]
[-cp [-f] [-p | -p[topax]] … ]
[-createSnapshot []]
[-deleteSnapshot ]
[-df [-h] [ …]]
[-du [-s] [-h] …]
[-expunge]
[-find … …]
[-get [-p] [-ignoreCrc] [-crc] … ]
[-getfacl [-R] ]
[-getfattr [-R] {-n name | -d} [-e en] ]
[-getmerge [-nl] ]
[-help [cmd …]]
[-ls [-d] [-h] [-R] [ …]]
[-mkdir [-p] …]
[-moveFromLocal … ]
[-moveToLocal ]
[-mv … ]
[-put [-f] [-p] [-l] … ]
[-renameSnapshot ]
[-rm [-f] [-r|-R] [-skipTrash] …]
[-rmdir [–ignore-fail-on-non-empty]

…]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} ]|[–set <acl_spec> ]]
[-setfattr {-n name [-v value] | -x name} ]
[-setrep [-R] [-w] …]
[-stat [format] …]
[-tail [-f] ]
[-test -[defsz] ]
[-text [-ignoreCrc] …]
[-touchz …]
–set <acl_spec> ]]
[-setfattr {-n name [-v value] | -x name} ]
[-setrep [-R] [-w] …]
[-stat [format] …]
[-tail [-f] ]
[-test -[defsz] ]
[-text [-ignoreCrc] …]
[-touchz …]
[-usage [cmd …]]

A B T S
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop常用命令实例
weixin_30662011的博客
01-21 108
1、查看指定目录下内容：hadoop fs –ls [文件目录][root@cdh01 tmp]# hadoop fs -ls -h /tmpFound 2 itemsdrwxrwxrwx - hdfs supergroup 0 2016-01-21 10:24 /tmp/.cloudera_health_monitoring_canary_filesdrwx-wx-wx...
hadoop常用命令
m0_52789121的博客
04-19 4942
启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 1、查看指定目录下内容 Hadoopdfs –ls [文件目录] eg: hadoop dfs –ls /user/wangkai.pt 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:hadoop dfs -cat /user/wangkai.pt/data.txt 3、将
HTML入门——标签，链接，图片，表格，输入框和选择框
MrChen666的博客
09-13 697
本篇博客将初步讲解HTML的基本标签内容，由于HTML相对比较简单，因此很多东西就不展开说说了。 先来说一下什么是HTML，HTML就是超文本标记语言（HyperText Markup Language）是一种用于创建网页的标准标记语言。所有的网站都是由HTML经过浏览器的内核渲染后看到的，因此HTML可以理解为网站的底层代码。HTML不是编程代码，而是一种标记语言，有着严格的格式，下面会跟大家展开说说。 先来说一下HTML最基本的框架。下面是html的基本格式，后续都是在body中改动。 <html
css引入方式、颜色、基本选择器(ID、class、标签)、高级选择器(分组-子类-后代-兄弟-相邻兄弟-过滤-属性-通配符-伪类-伪元素-新增)、优先级、属性、元素分类、浮动、定位、弹性盒模型
qq_39497997的博客
01-17 391
css引入方式、颜色、基本选择器(ID、class、标签)、高级选择器(分组-子类-后代-兄弟-相邻兄弟-过滤-属性-通配符-伪类-伪元素-新增)、优先级、属性、元素分类、浮动、定位、弹性盒模型
HTML笔记 —— 列表，表格，媒体元素，iframe内联框架
一纸春秋的博客
10-24 243
本篇博客是根据B站up@遇见狂神说 的视频以及W3school官网文档整理的笔记，里面会有一些视频的截图和官网的概念，以及我个人的注释笔记等 注：博文中的截图和网络上找到的图，都没有加上csdn的水印，只有我自己的图片才会有水印。这篇博客只是学习交流所用 以下是视频链接 https://www.bilibili.com/video/BV1x4411V75C?spm_id_from=333.999.0.0 W3school官网链接 https://www.w3school.com.cn/html/html_j
hadoop学习系列--环境安装
qfhyadx的博客
07-20 872
value>hdfs://127.0.0.1:9000</value> //如果其他主机也要访问，那就将127.0.0.1:9000改为：你的网卡IP：9000，或者改为0.0.0.0:9000。先说踩的坑：刚开始学习，使用mac本安装单机hadoop，遭遇mac自身安全限制，到时dfs启动报错，解决后又出现新的问题，部分所需端口无法申请到，导致hadoop启动时报。记录下踩得的：在解压hadoop包时所用的用户，和后续操作使用的用户最好使用一个，否则会报权限相关问题。
b050闲置图书分享-springboot+vue+elementui.zip（可运行源码+sql文件+文档）
07-23
本次开发的闲置图书分享平台实现了收货地址管理、字典管理、公告管理、留言板管理、图书管理、图书收藏管理、图书评价管理、图书订单管理、用户管理、管理员管理等功能。系统用到了关系型数据库中王者MySql作为系统的数据库，有效的对数据进行安全的存储，有效的备份，对数据可靠性方面得到了保证。并且程序也具备程序需求的所有功能，使得操作性还是安全性都大大提高，让闲置图书分享平台更能从理念走到现实，确确实实的让人们提升信息处理效率。 管理图书的数据，此页面主要实现图书的增加、修改、删除、查看的功能。公告信息管理页面提供的功能操作有：新增公告，修改公告，删除公告操作。公告类型管理页面显示所有公告类型，在此页面既可以让管理员添加新的公告信息类型，也能对已有的公告类型信息执行编辑更新，失效的公告类型信息也能让管理员快速删除。
《大学生职业生涯规划与就业指导》大一阶段课程作业
最新发布
07-24
《大学生职业生涯规划与就业指导》大一阶段课程作业
开题报告潮汕特产直销系统 已通过开题答辩的.doc
07-23
随着互联网的高速发展，人们的生活方式发生了翻天覆地的变化，在过去，人们想要购买很远地方的东西会非常麻烦，因为是通信和交通都不是十分的方便，而现在网络购物成为了人们日常生活中不可或缺的一部分。在这样的背景下，互联网与传统行业的融合已经成为了一种不可阻挡的趋势。对于中国特色的潮汕特产来说，这一趋势也带来了巨大的变革和发展机遇[1]。
Python性能优化：掌握性能分析工具的实战指南
07-23
Python是一种广泛使用的高级编程语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python的设计哲学强调代码的可读性和简洁的语法（尤其是使用空格缩进来区分代码块，而不是使用大括号或关键词）。这使得Python被认为是一种易于学习的语言，同时具备强大的功能，适合初学者和经验丰富的程序员。 Python的主要特点包括： 1. **易于学习**：Python有相对较少的关键字，结构简单，和一个明确定义的语法。 2. **易于阅读**：Python代码定义的清晰度使得它像可执行伪代码。 3. **易于维护**：Python的成功在于它的源代码是相当容易维护的。 4. **广泛的标准库**：Python的标凑库很庞大，包含用于互联网通信、网络通信、数据压缩、加密、系统管理等的模块。 5. **跨平台**：Python可以在多种操作系统上运行，包括但不限于Windows、Mac OS X、Linux等。 6. **解释型语言**：Python是一种解释型语言，这意味着开发过程中没有编译步骤。 7. **动态类型系统**：Python不会在编写
Android学习系列之gradle实战
07-23
Android学习系列之gradle实战
RFC 3261中文版技术文档
07-23
**标题与描述解析** 标题"RFC 3261 中文文档"指的是互联网请求评论（Request for Comments）3261的中文版本。RFC 3261是互联网工程任务组（IETF）发布的一个重要标准，它定义了SIP（Session Initiation Protocol，会话初始协议）的核心规范。SIP是一种用于建立、修改和终止多媒体通信会话的协议，广泛应用于VoIP（Voice over IP，IP语音）和统一通信系统中。 描述同样简洁明了，只强调了这是RFC 3261的中文翻译，意味着对于中文读者来说，这个文档提供了一个理解SIP协议的中文语言资源。 **标签解析** "RFC3261 中文"标签进一步确认了文档的内容，表明这是关于RFC 3261的中文资料，便于搜索和分类。 **压缩包子文件的文件名称列表** 文件名为"RFC3261 中文.mht"，这是一个单一网页文件，通常包含HTML、图像和其他资源，用于保存完整的网页内容。用户可以通过打开这个文件来查看RFC 3261的中文翻译。 **SIP协议详述** SIP协议是基于文本的，其设计类似于HTTP
嵌入式LinuxC语言程序设计基础教程第8章函数解读.doc
07-23
嵌入式
DirectShow滤镜：字幕叠加功能（含注解说明）
07-23
DirectShow Transform Filter最典型的例子，带注释，难度不大，学习必备 博客对应文章http://blog.csdn.net/leixiaohua1020/article/details/12498975。内容来源于网络分享，如有侵权请联系我删除。另外如果没有积分的同学需要下载，请私信我。
b069牙科就诊管理系统-springboot+vue+elementui.zip（可运行源码+sql文件+文档）
07-23
牙科就诊管理系统利用当下成熟完善的SSM框架，使用跨平台的可开发大型商业网站的Java语言，以及最受欢迎的RDBMS应用软件之一的Mysql数据库进行程序开发。实现了用户在线查看数据。管理员管理病例管理、字典管理、公告管理、药单管理、药品管理、药品收藏管理、药品评价管理、药品订单管理、牙医管理、牙医收藏管理、牙医评价管理、牙医挂号管理、用户管理、管理员管理等功能。牙科就诊管理系统的开发根据操作人员需要设计的界面简洁美观，在功能模块布局上跟同类型网站保持一致，程序在实现基本要求功能时，也为数据信息面临的安全问题提供了一些实用的解决方案。可以说该程序在帮助管理者高效率地处理工作事务的同时，也实现了数据信息的整体化，规范化与自动化。 管理员在后台主要管理病例管理、字典管理、公告管理、药单管理、药品管理、药品收藏管理、药品评价管理、药品订单管理、牙医管理、牙医收藏管理、牙医评价管理、牙医挂号管理、用户管理、管理员管理等。 牙医列表页面，此页面提供给管理员的功能有：查看牙医、新增牙医、修改牙医、删除牙医等。公告信息管理页面提供的功能操作有：新增公告，修改公告，删除公告操作。公告类型管理页面显示所有公告类型，在此页面既可以让管理员添加新的公告信息类型，也能对已有的公告类型信息执行编辑更新，失效的公告类型信息也能让管理员快速删除。药品管理页面，此页面提供给管理员的功能有：新增药品,修改药品,删除药品。药品类型管理页面，此页面提供给管理员的功能有：新增药品类型,修改药品类型,删除药品类型。
2014年4月-2023年11月上市公司ESG数据（秩鼎）（月度数据）.xlsx
07-23
2014年4月-2023年上市公司秩鼎ESG评级数据 1、时间：2014年4月-2023年11月 2、来源:秩鼎数据 3、指标：证券代码、SC、评级日期、ESG评级、ESG等级、ESG得分、E评级、E等级、E得分、S评级、S等级、S得分、G评级、G等级、G得分、总市值(亿元)、流通市值(亿元)、市盈率(TTM)、ESG标准正态、E标准正态、S标准正态、G标准正态、三者标准差、证券简称、 4、范围：上市公司
Sequator执行文件
07-23
Sequator.exe。内容来源于网络分享，如有侵权请联系我删除。另外如果没有积分的同学需要下载，请私信我。
wireless.sh执行脚本
07-23
openwrt执行脚本配置网络
本文利用随机森林模型对房价数据进行预处理， 基于 XGBoost对房价进行预测；通过对比实验，发现优化后的 XGBoost模型在
07-23
1.本文首先对数据集进行了特征工程，根据相关性对部分特征进行了剔除。 其他的特征工程还包括分类变量的编码方式的探讨以及对连续变量的标准化。 2.随后对数据集做进一步处理，连续变量的缺失值以平均值填充，并进行标 准化；分类变量的缺失值以出现最多的类别等方式进行填充，使用 Ordinal Encoder 进行编码。使用 Random Forest Regressor 进行特征选择，输出特征重要 性，为 XGBoost模型的训练做准备。 3.使用 XGBoost 进行预测，数据选择之前使用随机森林输出的特征重要性的 前 30 作为特征变量；最后将问题转换为分类问题，预测房价的高和低。 本文做的比较好的方面在于对于过多的特征采取了使用随机森林模型进行 筛选，这使得后续使用 XGBoost 时训练时间大幅减小。在实际训练当中，使用 随机森林的效果明显好于 XGBoost，这是本文的一个缺陷。另一方面，直接将回 归任务转化为分类任务意义不大，如何评定该地的房价是高还是低是一件比较主 观的事情，不同的划分标准对于模型的表现具有很大的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值