Apache Hadoop 入门教程_apache hop快速入门，2024年最新HarmonyOS鸿蒙面试题集2024版

最新推荐文章于 2024-07-21 14:43:42 发布
最新推荐文章于 2024-07-21 14:43:42 发布
阅读量1.1k 收藏 26
点赞数 14
分类专栏： 2024年程序员学习 文章标签： apache hadoop harmonyos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84150320/article/details/137984258
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新HarmonyOS鸿蒙全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img

img
img
htt

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上鸿蒙开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注鸿蒙）
img

正文

ResourceManager - http://localhost:8088/

（4）运行 MapReduce job

（5）完成全部操作后，停止守护进程：

$ sbin/stop-yarn.sh

6. 完全分布式模式的操作方法

关于搭建完全分布式模式的，请参阅下文《Apache Hadoop 集群上的安装配置》小节内容。

Apache Hadoop 集群上的安装配置

本节将描述如何安装、配置和管理 Hadoop 集群，其规模可从几个节点的小集群到几千个节点的超大集群。

1. 先决条件

确保在你集群中的每个节点上都安装了所有必需软件，安装 Hadoop 集群通常要将安装软件解压到集群内的所有机器上，参考上节内容《Apache Hadoop 单节点上的安装配置》。

通常情况下，集群中的一台机器被指定为 NameNode 和另一台机器作为 ResourceManager。这些都是 master。其他服务（例如，Web 应用程序代理服务器和 MapReduce Job History 服务器）是在专用的硬件还是共享基础设施上运行，这取决于负载。

在群集里剩余的机器充当 DataNode 和 NodeManager。这些都是 slave。

2. 在 Non-Secure Mode（非安全模式）下的配置

Hadoop 配置有两种类型的重要配置文件：

  • 默认只读，包括 core-default.xml、hdfs-default.xml、yarn-default.xml 和 mapred-default.xml；
  • 针对站点配置，包括 etc/hadoop/core-site.xml、etc/hadoop/hdfs-site.xml、etc/hadoop/yarn-site.xml 和 etc/hadoop/mapred-site.xml。

另外，你能够配置 bin 目录下的 etc/hadoop/hadoop-env.sh 和 etc/hadoop/yarn-env.sh 脚本文件的值来控制 Hadoop 的脚本。

为了配置 Hadoop 集群，你需要配置 Hadoop 守护进程的执行环境和Hadoop 守护进程的配置参数。

HDFS 的守护进程有 NameNode、econdaryNameNode 和 DataNode。YARN 的守护进程有 ResourceManager、NodeManager 和 WebAppProxy。若 MapReduce 在使用，那么 MapReduce Job History Server 也是在运行的。在大型的集群中，这些一般都是在不同的主机上运行。

配置 Hadoop 守护进程的运行环境

管理员应该利用etc/hadoop/hadoop-env.sh、etc/hadoop/mapred-env.sh 和 etc/hadoop/yarn-env.sh 脚本来对 Hadoop 守护进程的环境做一些自定义的配置。

至少你应该在每个远程节点上正确配置 JAVA_HOME。

管理员能够使用下面的表格当中的配置选项来配置独立的守护进程：

守护进程环境变量
NameNodeHADOOP_NAMENODE_OPTS
DataNodeHADOOP_DATANODE_OPTS
SecondaryNamenodeHADOOP_SECONDARYNAMENODE_OPTS
ResourceManagerYARN_RESOURCEMANAGER_OPTS
NodeManagerYARN_NODEMANAGER_OPTS
WebAppProxyYARN_PROXYSERVER_OPTS
Map Reduce Job History ServerHADOOP_JOB_HISTORYSERVER_OPTS

例如，配置 Namenode 时,为了使其能够 parallelGC（并行回收垃圾）， 要把下面的代码加入到etc/hadoop/hadoop-env.sh：

export HADOOP_NAMENODE_OPTS=“-XX:+UseParallelGC”

其它可定制的常用参数还包括：

  • HADOOP_PID_DIR——守护进程的进程 id 存放目录；
  • HADOOP_LOG_DIR——守护进程的日志文件存放目录。如果不存在会被自动创建；
  • HADOOP_HEAPSIZE/YARN_HEAPSIZE——最大可用的堆大小，单位为MB。比如，1000MB。这个参数用于设置守护进程的堆大小。缺省大小是1000。可以为每个守护进程单独设置这个值。

在大多数情况下，你应该指定 HADOOP_PID_DIR 和 HADOOP_LOG_DIR 目录，这样它们只能由要运行 hadoop 守护进程的用户写入。否则会受到符号链接攻击的可能。

这也是在 shell 环境配置里配置 HADOOP_PREFIX 的传统方式。例如，在/etc/profile.d中一个简单的脚本的配置如下：

HADOOP_PREFIX=/path/to/hadoop
export HADOOP_PREFIX

守护进程环境变量
ResourceManagerYARN_RESOURCEMANAGER_HEAPSIZE
NodeManagerYARN_NODEMANAGER_HEAPSIZE
WebAppProxyYARN_PROXYSERVER_HEAPSIZE
Map Reduce Job History ServerHADOOP_JOB_HISTORYSERVER_HEAPSIZE
配置 Hadoop 守护进程

这部分涉及 Hadoop 集群的重要参数的配置

  • etc/hadoop/core-site.xml
参数取值备注
fs.defaultFSNameNode URIhdfs://host:port/
io.file.buffer.size131072SequenceFiles 中读写缓冲的大小

* etc/hadoop/hdfs-site.xml

用于配置 NameNode：

参数取值备注
dfs.namenode.name.dirNameNode 持久存储命名空间及事务日志的本地文件系统路径。当这个值是一个逗号分割的目录列表时，name table 数据将会被复制到所有目录中做冗余备份。
dfs.hosts / dfs.hosts.exclude允许/排除的 DataNodes 列表。如果有必要，使用这些文件，以控制允许的 datanodes 的列表。
dfs.blocksize268435456在大型文件系统里面设置 HDFS 块大小为 256MB
dfs.namenode.handler.count100在大数量的 DataNodes 里面用更多的 NameNode 服务器线程来控制 RPC

用于配置 DataNode：

参数取值备注
dfs.datanode.data.dirDataNode存放块数据的本地文件系统路径，逗号分割的列表。当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。

* etc/hadoop/yarn-site.xml

用于配置 ResourceManager 和 NodeManager：

参数取值备注
yarn.acl.enabletrue / false是否启用 ACLs。默认是 false
yarn.admin.aclAdmin ACLACL 集群上设置管理员。 ACLs 是用逗号分隔的。默认为 * 意味着任何人。特殊值空格，意味着没有人可以进入。
yarn.log-aggregation-enablefalse配置算法启用日志聚合

用于配置 ResourceManager :

参数取值备注
yarn.resourcemanager.addressResourceManager host:port ，用于给客户端提交 jobs若 host:port 设置，则覆盖 yarn.resourcemanager.hostname 中的 hostname
yarn.resourcemanager.scheduler.addressResourceManager host:port，用于 ApplicationMasters （主节点）和 Scheduler（调度器）通信来取得资源若 host:port 设置，则覆盖 yarn.resourcemanager.hostname 中的 hostname
yarn.resourcemanager.resource-tracker.addressResourceManager host:port ，用于 NodeManagers若 host:port 设置，则覆盖 yarn.resourcemanager.hostname 中的 hostname
yarn.resourcemanager.admin.addressResourceManager host:port ，用于管理命令若 host:port 设置，则覆盖 yarn.resourcemanager.hostname 中的 hostname
yarn.resourcemanager.webapp.addressResourceManager web-ui host:port，用于 web 管理若 host:port 设置，则覆盖 yarn.resourcemanager.hostname 中的 hostname
yarn.resourcemanager.scheduler.classResourceManager Scheduler 类CapacityScheduler （推荐）、FairScheduler（也推荐）或 FifoScheduler
yarn.scheduler.minimum-allocation-mb分配给每个容器请求Resource Manager 的最小内存单位为 MB
yarn.scheduler.maximum-allocation-mb分配给每个容器请求Resource Manager 的最大内存单位为 MB
yarn.resourcemanager.nodes.include-path / yarn.resourcemanager.nodes.exclude-path允许/拒绝的NodeManager 的列表如果有必要，用这些文件来控制列出的允许的 NodeManager

用于配置 NodeManager :

参数取值备注
yarn.nodemanager.resource.memory-mbNodeManager 可用的物理内存定义在 NodeManager 上的全部资源，用来运行容器。
yarn.nodemanager.vmem-pmem-ratiotask 使用虚拟内存的最大比例，可能超过物理内存每个 task 使用的虚拟内存可能超过它的物理内存， 虚拟内存靠这个比率来进行限制。这个比率限制的在 NodeManager 上task 使用的虚拟内存总数，可能会超过它的物理内存。
yarn.nodemanager.local-dirs在本地文件系统里，写入中间数据的地方的路径。多个路径就用逗号进行隔开。多个路径有助于分散磁盘I/O
yarn.nodemanager.log-dirs在本地文件系统里，写入日志的地方的路径。多个路径就用逗号进行隔开。多个路径有助于分散磁盘I/O
yarn.nodemanager.log.retain-seconds10800日志文件在NodeManager 上保存的默认时间（单位为秒），仅仅适合在日志聚合关闭的时候使用。
yarn.nodemanager.remote-app-log-dir/logs在应用程序完成的时候，应用程序的日志将移到这个HDFS目录。需要设置适当的权限。 仅仅适合在日志聚合开启的时候使用。
yarn.nodemanager.remote-app-log-dir-suffixlogs追加到远程日志目录
yarn.nodemanager.aux-services 、 mapreduce.shuffle给 Map Reduce 应用程序设置 Shuffle 服务。

用于配置 History Server (需搬移到其它地方)：

参数取值备注
yarn.log-aggregation.retain-seconds-1保留聚合日志的时间， -1 表示不启用。需要注意的是，该值不能设置的太小
yarn.log-aggregation.retain-check-interval-seconds-1检查聚合日志保留的时间间隔，-1 表示不启用。需要注意的是，该值不能设置的太小

* etc/hadoop/mapred-site.xml

用于配置 MapReduce 应用：

参数取值备注
mapreduce.framework.nameyarn运行框架设置为 Hadoop YARN.
mapreduce.map.memory.mb1536maps 的最大资源.
mapreduce.map.java.opts-Xmx1024Mmaps 子虚拟机的堆大小
mapreduce.reduce.memory.mb3072reduces 的最大资源.
mapreduce.reduce.java.opts-Xmx2560Mreduces 子虚拟机的堆大小
mapreduce.task.io.sort.mb512任务内部排序缓冲区大小
mapreduce.task.io.sort.factor100在整理文件时一次性合并的流数量
mapreduce.reduce.shuffle.parallelcopies50reduces 运行的最大并行复制的数量，用于获取大量的 maps 的输出

用于配置 MapReduce JobHistory Server：

参数取值备注
mapreduce.jobhistory.addressMapReduce JobHistory Server host:port默认端口是 10020.
mapreduce.jobhistory.webapp.addressMapReduce JobHistory Server Web 界面 host:port默认端口是 19888.
mapreduce.jobhistory.intermediate-done-dir/mr-history/tmpMapReduce jobs 写入历史文件的目录
mapreduce.jobhistory.done-dir/mr-history/doneMR JobHistory Server 管理的历史文件目录
3. 监控 NodeManager 的健康状况

Hadoop 提供了一种机制，管理员可以配置 NodeManager 来运行提供脚本定期确认一个节点是否健康。

管理员可以通过在脚本中执行检查来判断该节点是否处于健康状态。如果脚本检查到节点不健康，可以打印一个标准的 ERROR（错误）输出。NodeManager 通过一些脚本定期检查他的输出，如果脚本输出有 ERROR信息，如上所述，该节点将报告为不健康，就将节点加入到 ResourceManager 的黑名单列表中，则任务不会分配到该节点中。然后 NodeManager 继续跑这个脚本，所以如果 Node 节点变为健康了，将自动的从 ResourceManager 的黑名单列表删除，节点的健康状况随着脚本的输出，如果变为不健康，在 ResourceManager web 接口上对管理员来说是可用的。这个时候节点的健康状况不会显示在web接口上。

在etc/hadoop/yarn-site.xml下，可以控制节点的健康检查脚本：

参数取值备注
yarn.nodemanager.health-checker.script.pathNode health script这个脚本检查节点的健康状态。
yarn.nodemanager.health-checker.script.optsNode health script options检查节点的健康状态脚本选项
yarn.nodemanager.health-checker.script.interval-msNode health script interval运行健康脚本的时间间隔
yarn.nodemanager.health-checker.script.timeout-msNode health script timeout interval健康脚本的执行超时时间

如果只是本地硬盘坏了，健康检查脚本将不会设置该节点为 ERROR。但是NodeManager 有能力来定期检查本地磁盘的健康（检查 nodemanager-local-dirs 和 nodemanager-log-dirs 两个目录），当达到yarn.nodemanager.disk-health-checker.min-healthy-disks 设置的阀值，则整个节点将标记为不健康。

4. Slaves File

所有 slave 的 hostname 或者 IP 都保存在etc/hadoop/slaves文件中，每行一个。脚本可以通过etc/hadoop/slaves文件去运行多台机器的命令。他不使用任何基于 Java 的 Hadoop 配置。为了使用这个功能，ssh 必须建立好使用账户才能运行 Hadoop。所以在安装 Hadoop 的时候，需要配置 ssh 登陆。

5. Hadoop Rack Awareness（机架感知）

很多 Hadoop 组件得益于机架感知，给性能和安全性带来了很大的提升，Hadoop 的守护进程调用管理配置的模块，获取到集群 slave 的机架信息，更多的机架感知信息，查看这里 http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/RackAwareness.html。

使用 HDFS 时，强烈推荐使用机架感知。

6. 日志

Hadoop 使用 Apache log4j 作为日志框架，编辑etc/hadoop/log4j.properties文件来自定义日志的配置。

7. 操纵 Hadoop 集群

所有必备的配置都完成了，分发 HADOOP_CONF_DIR 配置文件到所有机器，所有机器安装 Hadoop 目录的路径应该是一样的。

在一般情况下，建议 HDFS 和 YARN 作为单独的用户运行。在大多数安装中，HDFS 执行 “hdfs”。YARN 通常使用“yarn”帐户。

Hadoop 启动

为了启动 Hadoop 集群，你需要启动 HDFS 和 YARN 集群。

第一次使用 HDFS 需要格式化。 作为 hdfs 格式化新分发的文件系统：

[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

作为 hdfs，通过如下命令启动 HDFS NameNode 到指定的节点 ：

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode

作为 hdfs，通过如下命令启动 HDFS DataNode 到每个指定的节点 ：

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode

作为 hdfs，如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置，那么所有的 HDFS 进程都可以通过脚本工具来启动：

[hdfs]$ $HADOOP_PREFIX/sbin/start-dfs.sh

作为 yarn，通过下面的命令启动 YARN，运行指定的 ResourceManager ：

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

作为 yarn，运行脚本来启动从机上的所有 NodeManager：

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager

作为 yarn，启动本地化的 WebAppProxy 服务器。如果想使用大量的服务器来实现负载均衡，那么它就应该运行在它们各自机器之上：

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver

作为 yarn，如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置，那么所有的 YARN 进程都可以通过脚本工具来启动:

[yarn]$ $HADOOP_PREFIX/sbin/start-yarn.sh

作为 mapred，根据下面的命令启动 MapReduce JobHistory Server ：

[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver

Hadoop 关闭

作为 hdfs，通过以下命令停止 NameNode：

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode

作为 hdfs，运行脚本停止在所有从机上的所有 DataNode:

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode

作为 hdfs，如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置，那么所有的 HDFS 进程都可以通过脚本工具来关闭：

[hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh

作为 yarn，通过以下命令停止 ResourceManager:

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager

作为 yarn，运行一下脚本停止 slave 机器上的 NodeManager :

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager

作为 yarn，如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置，那么所有的 YARN 进程都可以通过脚本工具来关闭

[yarn]$ $HADOOP_PREFIX/sbin/stop-yarn.sh

作为 yarn，停止 WebAppProxy 服务器。由于负载均衡有可能设置了多个:

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop proxyserver

作为 mapred，通过以下命令停止 MapReduce JobHistory Server :

[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR stop historyserver

8. Web 界面

当 Hadoop 启动后，可以查看如下 Web 界面：

守护进行Web 界面备注
NameNodehttp://nn_host:port/默认 HTTP 端口为 50070.
ResourceManagerhttp://rm_host:port/默认 HTTP端口为 8088
MapReduce JobHistory Serverhttp://jhs_host:port/默认 HTTP 端口为 19888

例子：词频统计 WordCount 程序

下面是 Hadoop 提供的词频统计 WordCount 程序 示例。运行运行改程序之前，请确保 HDFS 已经启动。

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.net.URI;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.util.StringUtils;

public class WordCount2 {

public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{

static enum CountersEnum { INPUT_WORDS }

private final static IntWritable one = new IntWritable(1);
private Text word = new Text();

private boolean caseSensitive;
private Set patternsToSkip = new HashSet();

private Configuration conf;
private BufferedReader fis;

@Override
public void setup(Context context) throws IOException,
InterruptedException {
conf = context.getConfiguration();
caseSensitive = conf.getBoolean(“wordcount.case.sensitive”, true);
if (conf.getBoolean(“wordcount.skip.patterns”, true)) {
URI[] patternsURIs = Job.getInstance(conf).getCacheFiles();
for (URI patternsURI : patternsURIs) {
Path patternsPath = new Path(patternsURI.getPath());
String patternsFileName = patternsPath.getName().toString();
parseSkipFile(patternsFileName);
}
}
}

private void parseSkipFile(String fileName) {
try {
fis = new BufferedReader(new FileReader(fileName));
String pattern = null;
while ((pattern = fis.readLine()) != null) {
patternsToSkip.add(pattern);
}
} catch (IOException ioe) {
System.err.println(“Caught exception while parsing the cached file '”

  • StringUtils.stringifyException(ioe));
    }
    }

@Override
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
String line = (caseSensitive) ?
value.toString() : value.toString().toLowerCase();
for (String pattern : patternsToSkip) {
line = line.replaceAll(pattern, “”);
}
StringTokenizer itr = new StringTokenizer(line);
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
Counter counter = context.getCounter(CountersEnum.class.getName(),
CountersEnum.INPUT_WORDS.toString());
counter.increment(1);
}
}
}

public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();

public void reduce(Text key, Iterable values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}

public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
GenericOptionsParser optionParser = new GenericOptionsParser(conf, args);
String[] remainingArgs = optionParser.getRemainingArgs();
if (!(remainingArgs.length != 2 | | remainingArgs.length != 4)) {
System.err.println(“Usage: wordcount [-skip skipPatternFile]”);
System.exit(2);
}
Job job = Job.getInstance(conf, “word count”);
job.setJarByClass(WordCount2.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);

List otherArgs = new ArrayList();
for (int i=0; i < remainingArgs.length; ++i) {
if (“-skip”.equals(remainingArgs[i])) {
job.addCacheFile(new Path(remainingArgs[++i]).toUri());
job.getConfiguration().setBoolean(“wordcount.skip.patterns”, true);
} else {
otherArgs.add(remainingArgs[i]);
}
}
FileInputFormat.addInputPath(job, new Path(otherArgs.get(0)));
FileOutputFormat.setOutputPath(job, new Path(otherArgs.get(1)));

System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}

待输入的样本文件如下：

$ bin/hadoop fs -ls /user/joe/wordcount/input/
/user/joe/wordcount/input/file01
/user/joe/wordcount/input/file02

$ bin/hadoop fs -cat /user/joe/wordcount/input/file01
Hello World, Bye World!

$ bin/hadoop fs -cat /user/joe/wordcount/input/file02
Hello Hadoop, Goodbye to hadoop.

运行程序：

$ bin/hadoop jar wc.jar WordCount2 /user/joe/wordcount/input /user/joe/wordcount/output

输出如下：

$ bin/hadoop fs -cat /user/joe/wordcount/output/part-r-00000
Bye 1
Goodbye 1
Hadoop, 1
Hello 2
World! 1

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注鸿蒙）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

input/file02

$ bin/hadoop fs -cat /user/joe/wordcount/input/file01
Hello World, Bye World!

$ bin/hadoop fs -cat /user/joe/wordcount/input/file02
Hello Hadoop, Goodbye to hadoop.

运行程序：

$ bin/hadoop jar wc.jar WordCount2 /user/joe/wordcount/input /user/joe/wordcount/output

输出如下：

$ bin/hadoop fs -cat /user/joe/wordcount/output/part-r-00000
Bye 1
Goodbye 1
Hadoop, 1
Hello 2
World! 1

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注鸿蒙）
[外链图片转存中…(img-N1WuasQv-1713553247487)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84150320
关注
专栏目录
Android Studio 学习笔记-新手入门-（1）第一个案例
07-01
这是一个用android studio开发的小demo,只有一个TextView和一个Button，button实现了点击事件
Apache Hadoop版本详解
09-15
本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。感兴趣的朋友一起看看吧
已饱和，未来程序员真没法再干了？_程序员干不了活(1)，HarmonyOS鸿蒙 基础面试
2401_84181501的博客
04-15 512
是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
HarmonyOS学习路之方舟开发框架—学习ArkTS语言（状态管理 六）
爱吃土豆丝的打工人的博客
09-12 1550
AppStorage是在应用启动的时候会被创建的单例。它的目的是为了提供应用状态数据的中心存储，这些状态数据在应用级别都是可访问的。AppStorage将在应用运行过程保留其属性。属性通过唯一的键字符串值访问。AppStorage可以和UI组件同步，且可以在应用业务逻辑中被访问。AppStorage中的属性可以被双向同步，数据可以是存在于本地或远程设备上，并具有不同的功能，比如数据持久化。
鸿蒙HarmonyOS开发框架—ArkTS语言（状态管理 六）_鸿蒙@storagelink()
2401_84164576的博客
04-12 1421
AppStorage是在应用启动的时候会被创建的单例。它的目的是为了提供应用状态数据的中心存储，这些状态数据在应用级别都是可访问的。AppStorage将在应用运行过程保留其属性。属性通过唯一的键字符串值访问。AppStorage可以和UI组件同步，且可以在应用业务逻辑中被访问。AppStorage中的属性可以被双向同步，数据可以是存在于本地或远程设备上，并具有不同的功能，比如数据持久化。
Elasticsearch 中 analyzer/search_analyzer/ik_max_word/ik_smart 的使用
sinat_24928447的博客
10-12 7395
一、先说几个关键 属性 1，String 类，分为两种： text：可分词，不参与聚合 keyword：不可分词，数据会作为完整字段进行匹配，可参与聚合 2，Numberical 数值类型，分两类： 基本数据类型：long、integer、short、byte、double、float、half_float 浮点数高精度类型：scaled_float（需要制定精度因子，10或100这样，es会把真实值与之相乘后存储，取出时还原） 3，Date 日期类型 ES 可以对日期格式，化为字符串存储...
2024年HarmonyOS鸿蒙最新Apache Hadoop 入门教程_apache hop快速入门(5)，【大牛系列教学
2401_84862354的博客
05-09 333
将会显示 hadoop 脚本的使用文档。
org.apache.hadoop.eclipse_0.18.0.jar
08-09
看清楚版本,想要其他版本的可以私聊我,版本经测试,可以用,请大家放心下载使用
鸿蒙最新Apache Hadoop 入门教程_apache hop快速入门(3)，HarmonyOS鸿蒙开发工程师面试题目
2401_84862306的博客
05-13 983
正如上一节 MapReduce 所提到的那样，Apache Hadoop 受到了 Google 的 GFS 和 MapReduce 的启发，而前者产生了 Apache Hadoop 的分布式文件系统 NDFS (Nutch Distributed File System) ，而后者也被纳入到 Apache Hadoop 作为核心组件之一。Apache Hadoop 的雏形开始于2002年的 Apache 的 Nutch。Nutch 是一个开源 Java 实现的搜索引擎。
Apache Hadoop2.x 安装入门详解 PDF
08-11
本教程将详细讲解Apache Hadoop 2.x的安装过程，帮助初学者快速入门。 一、Hadoop的体系结构 Hadoop的核心由两个主要组件构成：Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是一种分布式文件系统，能...
2024年HarmonyOS鸿蒙最全软考高级之信息系统案例分析七重奏-《3》(1)，腾讯面试gm
2401_84853495的博客
05-08 483
5、配置审计；6、发布管理和交付。
鸿蒙HarmonyOS开发框架—ArkTS语言（状态管理 六）_鸿蒙@storagelink()(2)
2401_84862234的博客
05-12 720
如果你觉得这篇内容对你还蛮有帮助，我想邀请你帮我三个小忙：网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！外链图片转存中…(img-tSUrhLhB-1715448312904)]
Android Studio入门小例子
e891377的专栏
10-23 1316
Android Studio入门小例子 activity_main.xml <?xml version="1.0" encoding="utf-8"?> <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.c...
git使用初级教程
chunlaiqingke的博客
02-24 295
摘自微信公众号https://mp.weixin.qq.com/s?__biz=MzU1NTg0MzMwMg==&amp;mid=2247483677&amp;idx=1&amp;sn=d678bc2a7b3ca42f3beaf45ac521b195&amp;chksm=fbcf6a94ccb8e3821a18896aff00e030f749506176d631981630128abfc6db94...
ElasticSearch之IK中文分词
程序员小强的博客
01-06 6425
1.中文分词背景 中文分词的难点是，不能简单的按照一个个的字分隔，需要根据不一样的上下文，切分，不像英文有空格做分隔。 例如：中华人民共和国国歌 先只有默认的分词器看下效果 GET _analyze { "analyzer": "standard", "text": "中华人民共和国国歌" } 从下图中可以看出，完全是按照一个汉字，一个个的分词的，效果差强人意 2.安装IK中文分词器 ik分词是一款流行的elasticsearch 中文分词器，安装ik分词器版本一定要与所安装es版本一致。 官方
2024年鸿蒙最全Apache Hadoop 入门教程_apache hop快速入门，软件项目经理面试常见问题及答案2024
2401_84872028的博客
05-12 296
然后 NodeManager 继续跑这个脚本，所以如果 Node 节点变为健康了，将自动的从 ResourceManager 的黑名单列表删除，节点的健康状况随着脚本的输出，如果变为不健康，在 ResourceManager web 接口上对管理员来说是可用的。在大型的集群中，这些一般都是在不同的主机上运行。很多 Hadoop 组件得益于机架感知，给性能和安全性带来了很大的提升，Hadoop 的守护进程调用管理配置的模块，获取到集群 slave 的机架信息，更多的机架感知信息，查看这里。
沉淀再出发：ElasticSearch的中文分词器ik
weixin_30337157的博客
10-22 245
沉淀再出发：ElasticSearch的中文分词器ik 一、前言 为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。 二、IK分词器的安装和使用 2.1、安装ik 我们可以从官方github上下载该插件，我们下载对应于我们使用的es的版本的ik,并且...
Android studio开发-第一个入门例子（十分详细）
热门推荐
herr_kun的博客
11-16 26万+
                                                     举个栗子 实现功能：可以通过页面输入改变要显示的字符，然后通过按钮可以实现显示字符的放大功能。最终如下： 一共四个控件：一个text输入，一个text显示，一个输入修改确认按钮，一个放大按钮 步骤： 1、建立项目       file-new-new project 新建一个项目...
鸿蒙笔记--存储
最新发布
ljt2724960661的博客
07-21 600
这一节了解一下鸿蒙中常用存储API，主要有LocalStorage ，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值