Hadoop考试
文章平均质量分 71
用作Hadoop考试
红目香薰
历经于PRC、Blockchain Technoloogy、E.项目历练。
曾担任过企业的CTO、DBA、PM、OD等职位,较高的代码严谨度,为多个上亿PV的App后端提效20%至40%。
对软件的商业OD与UE有一定的见解,曾帮助企业提高120%的年度效益。
主要编码语言:【Java】【C#】【.NET】
现从事于教育行业,获得过国家级教师能力比赛三等奖,国家级算法比赛一等奖,国家级移动应用比赛二等奖。
展开
-
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)操作位置上传压缩包解压及修改文件夹名称Java环境配置与Hadoop环境配置执行脚本修改hadoop配置文件1、修改hadoop-env.sh2、修改yarn-env.sh3、修改core-site.xml4、修改hdfs-site.xml5、修改mapred-site.xml6、修改yarn-site.xmlhadoop初始化配置启动Hadoop服务访问服务原创 2023-07-22 13:22:39 · 559 阅读 · 0 评论 -
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop2.7.3版本配置)
🤗Hadoop第一章:认识Hadoop🤗简介:Hadoop 是一个用 Java 语言实现的软件框架,运行在 Linux 生产平台上是非常理想的,同时也可以运行在其他平台上,如“Windows”等 用户可以轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。它主要有以下 5 个优点高可靠性 高扩展性 高效性 高容错性 低成本1、Java环境配置下载包链接:查询JDK是否安装javajavac如果安装移除即可yum remove java..原创 2022-04-10 16:38:10 · 1671 阅读 · 7 评论 -
Hadoop快速入门——第二章、分布式集群(第一节、网络与ssh登录配置)
第二章、hadoop分布式集群1、配置静态IP地址和修改主机名2、配置主机名查询静态表3、配置SSH免密原创 2022-04-15 15:49:52 · 1902 阅读 · 0 评论 -
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)
第二章、hadoop分布式集群Hadoop分布式模式搭建流程:1、修改配置文件core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves1、配置【core-site.xml】vi /opt/hadoop/etc/hadoop/core-site.xml将【localhost】改为【master】 <!-- 指定HDFS的通讯地址 --> <prop...原创 2022-04-15 17:10:14 · 2022 阅读 · 3 评论 -
Hadoop快速入门——第二章、分布式集群(第三节、HDFS Shell的常用命令)
Hadoop快速入门——第二章、分布式集群HDFS概述:在 2002 年,Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统,HDFS 就是为了实现这一目标HDFS 的设计特点如下超大文件 流式数据访问 商用硬件 不能处理低时间延迟的数据访问 不能存放大量小文件 无法高效实现多用户写入或者任意修改文件在 HDFS 中有一些特殊的概念,需要特别重点的理解数据块:在普通的文件系统中,每个磁盘都有默认的..原创 2022-04-18 20:25:44 · 831 阅读 · 0 评论 -
Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)
Hadoop快速入门——第二章、分布式集群引包:<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version></dependency>可以先安装一下【Big Data Tools】安装完成后需要重新启动一下。个..原创 2022-04-19 14:54:25 · 1502 阅读 · 0 评论 -
Hadoop快速入门——第三章、MapReduce案例(字符统计)
Hadoop快速入门——第三章、MapReduce案例目录环境要求:1、项目创建:2、修改Maven3、编码4、本地文件测试5、修改【Action】文件(修改测试文件路径)6、导出jar包7、启动hadoop服务8、上传【jar】包以及【info.txt】文件至【/opt/soft/hadoop/share/hadoop/mapreduce】 下9、创建存储文件的文件夹10、通过【jar】执行11、查看生成结果12、总结...原创 2022-04-26 20:21:55 · 1369 阅读 · 0 评论 -
Hadoop快速入门——第四章、zookeeper安装
Hadoop快速入门——第四章、zookeeper安装压缩包下载地址:【https://download.csdn.net/download/feng8403000/85227883】1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile...原创 2022-04-26 21:39:41 · 1161 阅读 · 0 评论 -
Hadoop快速入门——第四章、zookeeper(集群)
Hadoop快速入门——第四章、zookeeper集群前置条件:配置ssh免密登录&hadoop分布式1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop-eco.shZOOKEEPER_HOME=/opt/zo...原创 2022-04-26 22:56:34 · 1334 阅读 · 0 评论 -
Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)
Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)1、创建1台Linux虚拟机,并打开对应的网络连接(VMnet8)(5分)2、通过xshell正确连接Linux虚拟机(5分)3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包(5分)4、解压【java】以及【hadoop】的压缩文件...原创 2022-04-27 21:28:28 · 3752 阅读 · 13 评论