Hadoop 学习 Ⅰ

Hadoop PartⅠ

一、Hadoop配置

1. 独立模式
2. 伪分布式
3. 完全分布式

• Hadoop目标——处理海量数据
  • 存储
    ·分布式文件系统：HDFS, hadoop distributed file system.
  • 运算
    · mapreduce = map + reduce

二、独立模式

• 没有运行的守护程序，所有程序运行在一个JVM中。适合开发期间运行MapReduce程序，源于他的易于测试和调试。

xuqiao@ubuntu:~$ jps
2298 Jps
xuqiao@ubuntu:~$ hadoop fs -ls /
Found 27 items
drwxrwxrwx   - root root       4096 2019-06-30 14:53 /bin
drwxr-xr-x   - root root       4096 2019-06-30 14:55 /boot
drwxrwxr-x   - root root       4096 2019-06-22 22:09 /cdrom
drwxr-xr-x   - root root       4120 2019-07-02 23:21 /dev
drwxr-xr-x   - root root      12288 2019-07-02 23:18 /etc
drwxr-xr-x   - root root       4096 2019-06-24 09:53 /home
-rw-r--r--   1 root root   39933551 2019-06-30 14:55 /initrd.img
-rw-r--r--   1 root root   39931783 2019-06-30 14:55 /initrd.img.old
drwxr-xr-x   - root root       4096 2019-06-22 22:23 /lib
drwxr-xr-x   - root root       4096 2019-02-10 08:12 /lib64
drwx------   - root root      16384 2019-06-22 22:06 /lost+found
drwxr-xr-x   - root root       4096 2019-06-22 23:01 /media
drwxr-xr-x   - root root       4096 2019-06-22 23:12 /mnt
drwxr-xr-x   - root root       4096 2019-06-30 18:19 /opt
dr-xr-xr-x   - root root          0 2019-07-02 23:21 /proc
drwx------   - root root       4096 2019-07-02 21:41 /root
drwxr-xr-x   - root root        860 2019-07-03 00:05 /run
drwxr-xr-x   - root root      12288 2019-06-30 14:53 /sbin
drwxr-xr-x   - root root       4096 2019-06-23 06:42 /snap
drwxr-xr-x   - root root       4096 2019-06-23 12:52 /srv
-rw-------   1 root root  993244160 2019-06-22 22:06 /swapfile
dr-xr-xr-x   - root root          0 2019-07-02 23:21 /sys
drwxrwxrwt   - root root       4096 2019-07-03 00:10 /tmp
drwxr-xr-x   - root root       4096 2019-07-02 21:32 /usr
drwxr-xr-x   - root root       4096 2019-02-10 08:20 /var
-rw-------   1 root root    8552184 2019-06-27 12:32 /vmlinuz
-rw-------   1 root root    8548088 2019-06-06 16:16 /vmlinuz.old
xuqiao@ubuntu:~$ 

JVM介绍——【Java vitural machine】

JAVA虚拟机，虚构起来的计算机

三、伪分布式

• 守护程序运行在本地主机，模拟一个小规模集群。