Linux查看命令（cat,ls,who）大数据基础

Linux学习

查看系统中所用用户及信息

• cat /etc/passwd

  • /etc/passwd 文件存放的是用户信息.由六个分号组成的7个信息,分别是:

    • 字段	描述
      用户名 （magesh）：	已创建用户的用户名，字符长度 1 个到 12 个字符。
      密码（x）：	代表加密密码保存在 `/etc/shadow 文件中。
      用户 ID（506）：	代表用户的 ID 号，每个用户都要有一个唯一的 ID 。UID 号为 0 的是为 root 用户保留的，UID 号 1 到 99 是为系统用户保留的，UID 号 100-999 是为系统账户和群组保留的。
      群组 ID （507）：	代表群组的 ID 号，每个群组都要有一个唯一的 GID ，保存在 /etc/group文件中。
      用户信息（2g Admin - Magesh M）：	代表描述字段，可以用来描述用户的信息（LCTT 译注：此处原文疑有误）。
      家目录（/home/mageshm）：	代表用户的家目录。
      Shell（/bin/bash）：	代表用户使用的 shell 类型。

• ls /home:直接查看home目录下有多少目录就可以知道当前系统下的用户名

• 查看用户信息:who 查看当前登录用户的账户名

大数据框架之分区，分桶，分片

Hive分区

• 是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。现在最常用的跑T+1数据，按当天时间分区的较多。

• 把每天通过sqoop或者datax拉取的一天的数据存储一个区，也就是所谓的文件夹与文件。在查询时只要指定分区字段的值就可以直接从该分区查找即可。创建分区表的时候，要通过关键字 **partitioned by （column name string）**声明该表是分区表，并且是按照字段column name进行分区，column name值一致的所有记录存放在一个分区中，分区属性name的类型是string类型。

• 当然，可以依据多个列进行分区，即对某个分区的数据按照某些列继续分区。

• 向分区表导入数据的时候，要通过关键字partition（（column name=“xxxx”）显示声明数据要导入到表的哪个分区

• 设置分区的影响

  • 首先是hive本身对分区数有限制，不过可以修改限制的数量；

  • set hive.exec.dynamic.partition=true;
    set hive.exec.max.dynamic.partitions=1000; 
    set hive.exec.dynamic.partition.mode=nonstrict; 
    set hive.exec.parallel.thread.number=264;
    

  • hdfs对单个目录下的目录数量或者文件数量也是有限制的，也是可以修改的；

  • NN的内存肯定会限制，这是最重要的，如果分区数很大，会影响NN服务，进而影响一系列依赖于NN的服务。所以最好合理设置分区规则，对小文件也可以定期合并，减少NN的压力。

Hive分桶

• 在分区数量过于庞大以至于可能导致文件系统崩溃时，我们就需要使用分桶来解决问题

• 分桶是相对分区进行更细粒度的划分。分桶则是指定分桶表的某一列，让该列数据按照哈希取模的方式随机、均匀的分发到各个桶文件中。因为分桶操作需要根据某一列具体数据来进行哈希取模操作，故指定的分桶列必须基于表中的某一列（字段）要使用关键字clustered by 指定分区依据的列名，还要指定分为多少桶

  • create table test(id int,name string) cluster by (id) into 5 buckets .......
    
    insert into buck select id ,name from p cluster by (id)
    

Hive分区分桶区别

• 分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助
• 不同于分区对列直接进行拆分，桶往往使用列的哈希值对数据打散，并分发到各个不同的桶中从而完成数据的分桶过程
• 分区和分桶最大的区别就是分桶随机分割数据库，分区是非随机分割数据库