Hadoop基础

最新推荐文章于 2023-02-22 11:16:52 发布
最新推荐文章于 2023-02-22 11:16:52 发布
阅读量230 收藏
点赞数
分类专栏： 大数据基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tonyhxhd/article/details/80501429
版权

1. 环境说明
  • 系统：CentOS 6.5
  • 外网： 已链接

  • Hadoop：

    • 版本2.8.1
    • 单节点伪分布
    • root用户下可成功启动dfs服务

    • 工作目录和初始权限

      [root@hadoop000 software]# pwd
/opt/software
[root@hadoop000 software]# ll
total 414612
drwxrwxr-x. 10 root root      4096 May 29 02:52 hadoop-2.8.1
-rw-r--r--.  1 root root 424555111 May 29 01:05 hadoop-2.8.1.tar.gz
[root@hadoop000 software]# ll hadoop-2.8.1
total 152
drwxrwxr-x. 2 root root  4096 Jun  2  2017 bin
drwxrwxr-x. 3 root root  4096 Jun  2  2017 etc
drwxrwxr-x. 2 root root  4096 Jun  2  2017 include
drwxrwxr-x. 3 root root  4096 Jun  2  2017 lib
drwxrwxr-x. 2 root root  4096 Jun  2  2017 libexec
-rw-rw-r--. 1 root root 99253 Jun  2  2017 LICENSE.txt
drwxr-xr-x. 2 root root  4096 May 29 03:55 logs
-rw-rw-r--. 1 root root 15915 Jun  2  2017 NOTICE.txt
-rw-r--r--. 1 root root  1366 Jun  2  2017 README.txt
drwxrwxr-x. 2 root root  4096 Jun  2  2017 sbin
drwxrwxr-x. 4 root root  4096 Jun  2  2017 share
2. 创建hadoop用户，并给予ssh授信。
  • 目的：测试中我们使用root用户，但在开发尤其再生产中更过的只是使用普通用户进行操作，我们创立一个hadoop用户，给予适当权限，进行续续的学习。过程中如有需要则临时切换回root用户。学习初始。

  • 命令：

    
# 清楚root用下的hadoop相关数据

[root@hadoop000 software]# cd /tmp/
[root@hadoop000 tmp]# ll
total 68
drwxr-xr-x. 4 root root 4096 May 29 02:25 hadoop-root
-rw-r--r--. 1 root root    6 May 29 03:55 hadoop-root-datanode.pid
-rw-r--r--. 1 root root    6 May 29 03:55 hadoop-root-namenode.pid
-rw-r--r--. 1 root root    6 May 29 03:55 hadoop-root-secondarynamenode.pid
drwxr-xr-x. 2 root root 4096 May 29 03:56 hsperfdata_root
drwxr-xr-x. 3 root root 4096 May 29 03:55 Jetty_0_0_0_0_50070_hdfs____w2cu08
drwxr-xr-x. 3 root root 4096 May 29 03:55 Jetty_0_0_0_0_50090_secondary____y6aanv
drwxr-xr-x. 3 root root 4096 May 29 03:55 Jetty_localhost_38800_datanode____.je4w6e
drwxr-xr-x. 3 root root 4096 May 29 02:52 Jetty_localhost_56524_datanode____2cxwwt
drwx------. 2 root root 4096 May 28 23:54 keyring-HHuTDE
drwx------. 2 gdm  gdm  4096 May 28 23:54 orbit-gdm
drwx------. 2 root root 4096 May 29 00:01 orbit-root
drwx------. 2 root root 4096 May 28 23:54 pulse-sVqNyeEmgdGT
drwx------. 2 gdm  gdm  4096 May 28 23:54 pulse-VJswktkPFPh8
drwx------. 2 root root 4096 May 28 23:54 virtual-root.mg0ADE
-rw-r--r--. 1 root root    6 May 29 02:25 yarn-root-nodemanager.pid
-rw-r--r--. 1 root root    6 May 29 02:25 yarn-root-resourcemanager.pid
-rw-------. 1 root root    0 May 28 23:44 yum.log
[root@hadoop000 tmp]# kill -9 $(pgrep -f hadoop) #关闭hadoop进程
[root@hadoop000 tmp]# rm -rf hadoop-* hsperfdata*
[root@hadoop000 tmp]# ll
total 48
drwxr-xr-x. 3 root root 4096 May 29 03:55 Jetty_0_0_0_0_50070_hdfs____w2cu08
drwxr-xr-x. 3 root root 4096 May 29 03:55 Jetty_0_0_0_0_50090_secondary____y6aanv
drwxr-xr-x. 3 root root 4096 May 29 03:55 Jetty_localhost_38800_datanode____.je4w6e
drwxr-xr-x. 3 root root 4096 May 29 02:52 Jetty_localhost_56524_datanode____2cxwwt
drwx------. 2 root root 4096 May 28 23:54 keyring-HHuTDE
drwx------. 2 gdm  gdm  4096 May 28 23:54 orbit-gdm
drwx------. 2 root root 4096 May 29 00:01 orbit-root
drwx------. 2 root root 4096 May 28 23:54 pulse-sVqNyeEmgdGT
drwx------. 2 gdm  gdm  4096 May 28 23:54 pulse-VJswktkPFPh8
drwx------. 2 root root 4096 May 28 23:54 virtual-root.mg0ADE
-rw-r--r--. 1 root root    6 May 29 02:25 yarn-root-nodemanager.pid
-rw-r--r--. 1 root root    6 May 29 02:25 yarn-root-resourcemanager.pid
-rw-------. 1 root root    0 May 28 23:44 yum.log




# 创建新用户

[root@hadoop000 tmp]# cd -
/opt/software
[root@hadoop000 software]# useradd hadoop
[root@hadoop000 software]# passwd hadoop 
Changing password for user hadoop.
New password: 
Retype new password: 
passwd: all authentication tokens updated successfully.
[root@hadoop000 software]# id hadoop
uid=501(hadoop) gid=501(hadoop) groups=501(hadoop)
[root@hadoop000 software]# chown -R hadoop:hadoop hadoop-2.8.1



# ssh 授信新用户

[root@hadoop000 ~]$ su - hadoop
Password: 
[hadoop@hadoop000 ~]$ ll .ssh
ls: cannot access .ssh: No such file or directory
[hadoop@hadoop000 ~]$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
.....
.....
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|                 |
|                 |
|   . . .         |
|. . + . S        |
|.+ . . =         |
|o=o   o .        |
|E=.              |
|&Bo              |
+-----------------+
[hadoop@hadoop000 ~]$ cd .ssh
[hadoop@hadoop000 .ssh]$ ll
total 8
-rw-------. 1 hadoop hadoop 1675 May 29 04:37 id_rsa
-rw-r--r--. 1 hadoop hadoop  398 May 29 04:37 id_rsa.pub
[hadoop@hadoop000 .ssh]$ cat id_rsa.pub >> authorized_keys
[hadoop@hadoop000 .ssh]$ ll
total 12
-rw-rw-r--. 1 hadoop hadoop  398 May 29 04:38 authorized_keys
-rw-------. 1 hadoop hadoop 1675 May 29 04:37 id_rsa
-rw-r--r--. 1 hadoop hadoop  398 May 29 04:37 id_rsa.pub
[hadoop@hadoop000 .ssh]$ chmod 600 authorized_keys #按官网改密钥权限为600



# 修改Datenode的启动地址为本地IP

[hadoop@hadoop000 .ssh]$ cd /opt/software/hadoop-2.8.1
[hadoop@hadoop000 hadoop-2.8.1]$ cd etc/hadoop/
[hadoop@hadoop000 hadoop]$ ll slaves 
-rw-rw-r--. 1 hadoop hadoop 10 Jun  2  2017 slaves
[hadoop@hadoop000 hadoop]$ vi slaves
192.168.137.138
：wq
"slaves" 1L, 16C written   
[hadoop@hadoop000 etc]$ cd ../..
[hadoop@hadoop000 hadoop-2.8.1]$  


#修改SecondaryNamenode的启动地址为本机

[hadoop@hadoop000 hadoop]$ vi hdfs-site.xml 
....
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>

    <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>192.168.137.130:50090</value>
    </property>

    <property>
            <name>dfs.namenode.secondary.https-address</name>
            <value>192.168.137.130:50091</value>
    </property>
</configuration>
：wq！



# 保险起见，再此进入/tmp目录杀掉与hadoop有关临时文件，避免冲突

[hadoop@hadoop000 tmp]$ rm -rf /tmp/*hadoop*


#修改 hadoop 临时文件夹为非公用临时文件夹，避免自动清理

[hadoop@hadoop000 hadoop]$ vi core-site.xml 
....
<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop000:9000</value>
    </property>

    <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/software/hadoop-2.8.1/hadoop-tmp</value>
    </property>

</configuration
：wq！



# 格式化hdfs所有服务

[hadoop@hadoop000 tmp]$ hdfs namenode hadoop

/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop000/192.168.137.138
************************************************************/
[hadoop@hadoop000 tmp]$ cd /opt/software/hadoop-2.8.1



# 第一次启动并授信 

[hadoop@hadoop000 hadoop-2.8.1]$ sbin/start-dfs.sh
Starting namenodes on [hadoop000]
hadoop000: starting namenode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-namenode-hadoop000.out
localhost: starting datanode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-datanode-hadoop000.out
Starting secondary namenodes [0.0.0.0]
The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
RSA key fingerprint is 9c:c2:02:1a:66:96:da:a4:ca:59:0e:c5:a7:6c:11:dd.
Are you sure you want to continue connecting (yes/no)? yes
0.0.0.0: Warning: Permanently added '0.0.0.0' (RSA) to the list of known hosts.
0.0.0.0: starting secondarynamenode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-secondarynamenode-hadoop000.out

#确认启动完整

[hadoop@hadoop000 hadoop-2.8.1]$ jps
63953 NameNode
64380 Jps
64269 SecondaryNameNode
64094 DataNode
3. YARN/MapReduce的伪分布式部署
  • 目的：此为Hadoop的重要主件。

  • 命令：

    
# 部署MapReduce

[hadoop@hadoop000 hadoop]$ pwd
/opt/software/hadoop-2.8.1/etc/hadoop
[hadoop@hadoop000 hadoop]$ vi mapred-site.xml
....
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
</configuration>
:wq!


# 部署MapReduce

[hadoop@hadoop000 hadoop]$ vi yarn-site.xml 
...... 
<configuration>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
</configuration>
:wq!


#确认能启动所有hadoop组件

[hadoop@hadoop000 hadoop-2.8.1]$ pwd
/opt/software/hadoop-2.8.1
[hadoop@hadoop000 hadoop-2.8.1]$ sbin/start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [hadoop000]
hadoop000: starting namenode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-namenode-hadoop000.out
hadoop000: starting datanode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-datanode-hadoop000.out
Starting secondary namenodes [hadoop000]
hadoop000: starting secondarynamenode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-secondarynamenode-hadoop000.out
starting yarn daemons
starting resourcemanager, logging to /opt/software/hadoop-2.8.1/logs/yarn-hadoop-resourcemanager-hadoop000.out
hadoop000: starting nodemanager, logging to /opt/software/hadoop-2.8.1/logs/yarn-hadoop-nodemanager-hadoop000.out
[hadoop@hadoop000 hadoop-2.8.1]$ jps
4644 NodeManager
4165 DataNode
4053 NameNode
4534 ResourceManager
4760 Jps
4376 SecondaryNameNode

    看到所有组件都启动成功后，可以在windows端打开UI页面，其中hdfs的端口号为50070，YARN的端口号为8088。 对页面内容的具体解读在后续中进行。
    这里写图片描述

4. 测试hdfs主要命令
  • 目的： hdfs相当于在CentOS中重新部署了一个操作系统，使用hadoop功能，必须将目标文件放置到hdfs这个寄生系统中，于是文件的增删改查是学习hadoop的基础步骤。其中文件内容在hdfs中修改不做描述，无意义。
  • 命令：
# 查看
## 查看目录下的子目录和文件，以为根目录为例
[hadoop@hadoop000 ~]$ hadoop fs -ls /
Found 2 items
drwx------   - hadoop supergroup          0 2018-06-10 04:40 /tmp
drwxr-xr-x   - hadoop supergroup          0 2018-06-10 04:40 /user

##查看母目录下的多层目录和文件， 以根目录为例
[hadoop@hadoop000 ~]$ hadoop fs -ls -R /
drwx------   - hadoop supergroup          0 2018-06-10 04:40 /tmp
drwx------   - hadoop supergroup          0 2018-06-10 04:40 
....
.....
drwxr-xr-x   - hadoop supergroup          0 2018-06-10 04:40 /user
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:03 /user/hadoop

## 查看某个文件的内容
[hadoop@hadoop000 ~]$ hadoop fs -cat /tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1528576803667_0005_conf.xml
....
....
<property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value><source>mapred-default.xml</source><source>job.xml</source></property>
<property><name>fs.s3a.attempts.maximum</name><value>20</value><source>core-default.xml</source><source>job.xml</source></property>
</configuration>


## 查看某个文件最后1k的内容
[hadoop@hadoop000 ~]$ hadoop fs -tail /tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1528576803667_0005_conf.xml
....
....
<property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value><source>mapred-default.xml</source><source>job.xml</source></property>
<property><name>fs.s3a.attempts.maximum</name><value>20</value><source>core-default.xml</source><source>job.xml</source></property>
</configuration>

##查目录下子目录和文件的大小
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -du /
540011  /tmp
0       /user
178     /worldcount
## 某个目录的总大小
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -du -s /
540189  /

## 以为human-readable的形式显示
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -du -s -h /
527.5 K  /

## 查看目录下的**子孙等**目录个数， 文件个数， 以及总大小
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -count /
          15           20             540189 /




# 创建目录/文件
##创建文件夹
[hadoop@hadoop000 ~]$ hadoop fs -mkdir -p /worldcount/input
[hadoop@hadoop000 ~]$ hadoop fs -ls -R /
....
.....
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:40 /worldcount
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:40 /worldcount/input
## 创建文件
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -put - /hallowd ##键盘输入创建hallowd
hallo 
world  ## Crtl+D结束输入
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -cat /hallowd
hallo
world

#将CentOS中目录/文件放到hdfs中去
[hadoop@hadoop000 hdfs-bsp]$ pwd
/home/hadoop/hdfs-bsp
[hadoop@hadoop000 hdfs-bsp]$ ll
total 16
-rw-rw-r--. 1 hadoop hadoop 12 Jun 13 00:44 china
-rw-rw-r--. 1 hadoop hadoop 12 Jun 13 00:44 halloworld.log
-rw-rw-r--. 1 hadoop hadoop 12 Jun 13 00:45 henan
-rw-rw-r--. 1 hadoop hadoop 14 Jun 13 00:45 huixian
## 放一个文件
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -put /home/hadoop/hdfs-bsp/china /worldcount/input/
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -ls -R /worldcount
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:48 /worldcount/input
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 00:48 /worldcount/input/china
## 放整个文件夹
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -put /home/hadoop/hdfs-bsp/ /worldcount/input/
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -ls -R /worldcount
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:49 /worldcount/input
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 00:48 /worldcount/input/china
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:49 /worldcount/input/hdfs-bsp
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 00:49 /worldcount/input/hdfs-bsp/china
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 00:49 /worldcount/input/hdfs-bsp/halloworld.log
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 00:49 /worldcount/input/hdfs-bsp/henan
-rw-r--r--   1 hadoop supergroup         14 2018-06-13 00:49 /worldcount/input/hdfs-bsp/huixian

# 从hdfs获取文件/目录到CentOS
## 从hdfs中传文件到CentOS， 目录类似
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -get /worldcount/input/hdfs-bsp/china  /home/hadoop/hdfs-bsp/china1.log
[hadoop@hadoop000 hdfs-bsp]$ cat /home/hadoop/hdfs-bsp/china1.log
hallo china
## 合并hdfs中某个目录下的文件并送到CentOS中去
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -getmerge -nl /worldcount/input/hdfs-bsp/ /home/hadoop/hdfs-bsp/merge.log
[hadoop@hadoop000 hdfs-bsp]$ cat /home/hadoop/hdfs-bsp/merge.log
hallo china

hallo world

hallo henan

hallo huixian

# 删除hdfs中的文件/目录
## 删除文件
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -rm /worldcount/input/china
Deleted /worldcount/input/china
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -ls -R /worldcount
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:54 /worldcount/input
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:49 /worldcount/input/hdfs-bsp
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 00:49 /worldcount/input/hdfs-bsp/china
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 00:49 /worldcount/input/hdfs-bsp/halloworld.log
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 00:49 /worldcount/input/hdfs-bsp/henan
-rw-r--r--   1 hadoop supergroup         14 2018-06-13 00:49 /worldcount/input/hdfs-bsp/huixian


## 删除目录
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -rm -r /worldcount/input/hdfs-bsp/
Deleted /worldcount/input/hdfs-bsp
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -ls -R /worldcount
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:56 /worldcount/input


# 复制/移动hdfs中的文件/目录
##文件结构
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -ls -R /worldcount/input/hdfs-bsp/
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:08 /worldcount/input/hdfs-bsp/china
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:08 /worldcount/input/hdfs-bsp/china1.log
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:08 /worldcount/input/hdfs-bsp/halloworld.log
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:08 /worldcount/input/hdfs-bsp/henan
-rw-r--r--   1 hadoop supergroup         14 2018-06-13 01:08 /worldcount/input/hdfs-bsp/huixian
-rw-r--r--   1 hadoop supergroup         54 2018-06-13 01:08 /worldcount/input/hdfs-bsp/merge.log
## 移动文件， 目录类似
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -mv /worldcount/input/hdfs-bsp/merge.log /worldcount/input/
## 复制目录， 文件类似
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -cp /worldcount/input/hdfs-bsp/ /worldcount/input/cp-bsp
## 结果
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -ls -R /worldcount/input/
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 01:13 /worldcount/input/cp-bsp
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:13 /worldcount/input/cp-bsp/china
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:13 /worldcount/input/cp-bsp/china1.log
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:13 /worldcount/input/cp-bsp/halloworld.log
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:13 /worldcount/input/cp-bsp/henan
-rw-r--r--   1 hadoop supergroup         14 2018-06-13 01:13 /worldcount/input/cp-bsp/huixian
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 01:13 /worldcount/input/hdfs-bsp
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:08 /worldcount/input/hdfs-bsp/china
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:08 /worldcount/input/hdfs-bsp/china1.log
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:08 /worldcount/input/hdfs-bsp/halloworld.log
-rw-r--r--   1 hadoop supergroup         12 2018-06-13 01:08 /worldcount/input/hdfs-bsp/henan
-rw-r--r--   1 hadoop supergroup         14 2018-06-13 01:08 /worldcount/input/hdfs-bsp/huixian
-rw-r--r--   1 hadoop supergroup         54 2018-06-13 01:08 /worldcount/input/merge.log


# 设置文件/目录的副本个数
## 以为文件为例，设置副本为3。目录类似， with -R
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -setrep  3 /hallowd
Replication 3 set: /hallowd
[hadoop@hadoop000 hdfs-bsp]$ hadoop fs -ls /
Found 4 items
##该文件副本数已经变为3， **为注释
-rw-r--r--   *3* hadoop supergroup         12 2018-06-13 01:32 /hallowd
drwx------   - hadoop supergroup          0 2018-06-10 04:40 /tmp
drwxr-xr-x   - hadoop supergroup          0 2018-06-10 04:40 /user
drwxr-xr-x   - hadoop supergroup          0 2018-06-13 00:40 /worldcount
5. MapReduce使用举例

目的： MapReduce是计算框架，Hadoop中自带了一些计算程序，举例使用
命令：

# 找到案例文件
[hadoop@hadoop000 hadoop-2.8.1]$ pwd
/opt/software/hadoop-2.8.1
[hadoop@hadoop000 hadoop-2.8.1]$ find ./ -name "*example*"
./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.8.1-sources.jar
./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.8.1-test-sources.jar
./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar
./share/hadoop/mapreduce/lib-examples
./lib/native/examples
./etc/hadoop/ssl-server.xml.example
./etc/hadoop/ssl-client.xml.example
# 查看有哪些程序以及使用命令
[hadoop@hadoop000 hadoop-2.8.1]$ yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar
An example program must be given as the first argument. 
Valid program names are: # 使用时先输入程序命，有以下程序
  ....
  pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method. ## 计算pi的
  .....
  wordcount: A map/reduce program that counts the words in the input files.  ## 计算单词数的程序
  .....



# Pi的例子
[hadoop@hadoop000 hadoop-2.8.1]$ yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 
Usage: org.apache.hadoop.examples.QuasiMonteCarlo <nMaps> <nSamples> # 解释需要什么参数
[hadoop@hadoop000 hadoop-2.8.1]$ yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 2 5
Number of Maps  = 2
Samples per Map = 5
Wrote input for Map #0
Wrote input for Map #1
Starting Job
18/06/13 01:56:22 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
18/06/13 01:56:23 INFO input.FileInputFormat: Total input files to process : 2
......
18/06/13 01:56:24 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1528816763742_0001 
### job_数字，数字为按秒计的绝对时间（好像从1970.10.1开始？），可转换
....
## 耗时和结果
Job Finished in 46.943 seconds
Estimated value of Pi is 3.60000000000000000000



# 计算单词频数的程序
[hadoop@hadoop000 hadoop-2.8.1]$ yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount
## 提示需要输入input目录 和 output目录作为参数
Usage: wordcount <in> [<in>...] <out>
[hadoop@hadoop000 hadoop-2.8.1]$ yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /worldcount/input/hdfs-bsp /worldcount/output-wc/
.....
.....
## 计算中没有错误发生
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=62
        File Output Format Counters 
                Bytes Written=42
## 查看结果目录
[hadoop@hadoop000 hadoop-2.8.1]$ hadoop fs -ls /worldcount/output-wc/
Found 2 items
-rw-r--r--   1 hadoop supergroup          0 2018-06-13 02:05 /worldcount/output-wc/_SUCCESS # 标记成功
-rw-r--r--   1 hadoop supergroup         42 2018-06-13 02:05 /worldcount/output-wc/part-r-00000 #结果内容
[hadoop@hadoop000 hadoop-2.8.1]$ hadoop fs -cat /worldcount/output-wc/part-r-00000
china   2
hallo   5
henan   1
huixian 1
world   1

同时我们可以在Web端打开YARN的页面查看工作进程以及结果
这里写图片描述

tonyhxhd
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop中的数据安全与隐私保护策略
weixin_66354126的博客
01-04 484
TDE在数据写入磁盘之前对其进行加密，而应用级加密则允许用户在应用层面控制数据的加密和解密。：数据脱敏是一种保护隐私的方法，它通过对敏感数据进行替换、变形或删除来降低数据泄露的风险。：Hadoop支持基于角色的访问控制（RBAC），可以定义不同角色并分配相应的权限。：最后，需要持续监控系统的安全状态，并根据需要进行调整和维护。：首先，需要明确数据安全和隐私保护的需求，包括哪些数据是敏感的，哪些用户需要访问哪些数据等。首先，需要在Hadoop的配置文件中启用RBAC功能并定义角色和权限。
hadoop 透明加密 kms transparent
热门推荐
既认准这条路，又何必在意要走多久
04-09 1万+
hadoop透明加密  kms 简介　     　Hadoop Key Management Server（KMS）是一个基于HadoopKeyProvider API编写的密钥管理服务器。他提供了一个client和一个server组件，client和server之间基于HTTP协议使用REST API通信。Client是一个KeyProvider的实现，使用KMS HTT
HDFS透明加密 从入门到放弃
lishinho的博客
03-28 3842
这篇文章需要一点hadoop框架的基础，你最好需要知道什么是hadoop，以及需要了解hadoop的文件系统hdfs。如果你不了解的话，我会尝试用简单的原理来解释，希望能对你有用，这期内容可能有些烧脑，可以多读几遍，我也有学习不足的地方，欢迎提问。 目录 一，什么是HDFS 二，什么是透明加密 三，用户如何使用hdfs透明加密功能 四，hdfs如何实现透明加密 一，什么是HDFS h...
SQL Server 2008中的代码安全（八）：透明加密(TDE)
邀月周记
03-17 5568
SQL Server 2008引入透明数据加密（Transparent Data Encryption），即TDE，它允许你完全无需修改应用程序代码而对整个数据库加密。当一个用户数据库可用且已启用TDE时，在写入到磁盘时在页级实现加密。在数据页读入内存时解密。如果数据库文件或数据库备份被盗，没有用来加密的原始证书将无法访问。这几乎是SQL Server2008安全选项中最激动人心的功能了，有了它，
Oracle数据安全解决方案——透明数据加密TDE
changyanmanman的专栏
06-05 2344
转载：http://www.linuxidc.com/Linux/2011-12/48689.htm
hadoop基础
weixin_49415186的博客
01-27 1319
1、大数据的特点 Volume(大量) Velocity(高速) Variety(多样):什么样的数据都能采集 Value (低价值密度)：如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。 2、 Hadoop优势 高可靠性：Hadoop底层维护维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的数据。可随时扩节点或者缩节点 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务
【hadoop基础知识】
最新发布
波波日常工作学习的笔记本
02-22 1116
Hadoop 是一个开源的分布式计算框架，用于解决大数据存储和处理的问题。它基于 Google 的 MapReduce 论文和 Google 文件系统（GFS）的思想，由 Apache 软件基金会开发和维护。Hadoop 的设计目标是能够处理以千万、亿计的数据为基础的应用程序，提供高可靠性、高性能和高可扩展性的数据处理服务。Hadoop 的历史可以追溯到 2003 年，当时 Doug Cutting 和 Mike Cafarella 在开发一个全文搜索引擎的过程中遇到了存储和处理大数据的问题。为了解决这个问
hadoop基础操作
gg_xiajie的博客
06-23 1986
Hadoop基础操作 传送门：hadoop集群搭建 https://blog.csdn.net/gg_xiajie/article/details/118095901 前面写完了hadoop集群的安装，算是初步开始学习了。。。 本章学习下hadoop的一些基本操作。 一、HDFS 启动hadoop之后可以打开hdfs的可视化页面 http://hadoop01:9870/ 可视化的文件系统在 这里是部分数据我练习的时候插入好了的 手动上传文件到hdfs，命令： # 创建文件夹（根目录创建名为input
hadoop基础选择题
weixin_38861839的博客
05-21 6394
1.Hadoop 2.x中，DataNode中默认的块配置的大小是（）MB A 128 B 64 C 256 D 1025 A.正确，Hadoop2.0中，HDFS默认的块大小是128MB，所以，比如2MB,7MB或9MB的文件就认为是小文件；参数由为dfs.block.size定义 B.错误 C.错误 D.错误 2.有关Hadoop系统小文件问题的描述错误的是（） A Hadoop上大量HDFS元数据信息存储在NameNode内存中,因此过多的小文件必定会压垮NameNode的内存
hadoop基础知识
06-15
Hadoop是大数据处理领域的重要...这份资料将帮助你构建扎实的Hadoop基础，为后续的大数据学习和项目实施打下坚实的基础。在实践中不断探索和掌握Hadoop，你将能够驾驭这个强大的大数据平台，解决各种复杂的数据挑战。
hadoop基础入门
07-27
### Hadoop基础入门知识点详解 #### 一、Hadoop概览与背景介绍 **1.1 什么是Hadoop** Hadoop是由Apache基金会维护的一个开源软件框架，它支持使用普通的硬件来构建大规模的数据处理集群。Hadoop的核心优势在于...
大数据中一些常用软件
tonyhxhd的博客
05-21 4232
一. 终端仿真软件SecureCRT 一. 终端仿真软件SecureCRT 介绍： secureCRT是一款支持ssh(ssh1,ssh2)的终端仿真程序，简单的说是windows下登陆unix或者linux的一款软件。他也支持telnet和rlogin协议。SecureCRT是一款用于连接运行包括Unix和Windows或者VMS的理想工具。通过...
Linux常用任务和命令
tonyhxhd的博客
05-21 838
Linux常用任务和命令 Linux常用任务和命令 任务一： 修改主机名称 任务二： 关闭或打开防火墙 任务三： 设置静态IP和DNS 任务三： 查看路径，目录和文件 任务一： 修改主机名称 目的：一方面个人情感和工作有序化，另一方面特定权限也可以按照主机名称授予。 方法：使用root用户修改network文件中的配置。 命令： 登陆root账户，打开...
虚拟机CentOS系统的网络配置
tonyhxhd的博客
05-05 573
本篇解释虚拟机CentOS系统的网络配置，总体思想有两个要点: 一、主机和虚拟机的防火墙需要关闭 原因据说是因为防火墙会把ICMP的数据包给过滤掉了, 导致对方无法响应。ICMP的全称是 Internet Control Message Protocol 。从技术角度来说，ICMP就是一个“错误侦测与回报机制”，其目的就是让我们能够检测网路的连线状况，也能确保连线的准确性，具体作用方式如有...
windows下启动和连接mysql的小问题
tonyhxhd的博客
09-19 296
问题 问题： myqld -initialize 后依然无法启动mysql，没有人任何报错 用第三方工具连接不上，提示Unable to load authentication plugin ‘caching_sha2_password’. 解决 到mysql/server/bin目录下 执行 mysqld --initialize-insecure 然后再运行 net start my...
CentOS部署
tonyhxhd的博客
05-04 277
此篇介绍在windows下使用虚拟机部署Linux系统的CentOS6.x版本。 为何要使用Linux系统而不是Windows系统，作为小白我还不清楚，主要原因据说是Linux批量操作更友好和高效，开源，以及系统更全面，稳定和安全，这里的全面和安全如何理解我还不懂，网上搜索一下一些解释，慢慢体会： https://zhidao.baidu.com/question/650455060325812...
Hadoop基础面试题详解与部署模式
- **单机模式 (Standalone)**: 这是Hadoop最基础的模式，仅在一台机器上运行，不涉及分布式文件系统，而是使用本地文件系统。适合于开发过程中的本地测试，但实际生产环境中很少使用。 - **伪分布式模式 (Pseudo-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值