概观
HDFS是Hadoop的一部分,它具有下载当前名称节点快照的命令。我们可以通过Spark加载图像或对其进行数据摄取,以使其进入Hive以分析数据并验证它如何使用HDFS。
HDFS文件系统元数据存储在名为“FsImage”的文件中。我们在此快照中包含:
整个文件系统命名空间。
地图,块和文件复制。
配额,ACLS等属性
我必须解决的问题如下:
运行该命令以下载映像并生成XML文件。
实现Spark作业以处理并将数据保存在Hive表中。
使用Hive SQL分析一些数据并使用GnuPlot绘制数据。
1.生成HDFS FsImage
FSImage可以生成CSV,XML或分布式格式的图像,在我的情况下,我必须评估块和ACLS ; 因为它们是数组类型的字段,所以它们不能以CSV格式工作。你可以在这里看到更多细节:
Hadoop Hdfs图像查看器
要生成图像,请检查名称节点中的位置:
hdfs getconf -confKey dfs.namenode.name.dir
现在让我们下载图片/tmp。就我而言,正在分析的文件大小为35 GB:
hdfs dfsadmin -fetchImage / tmp
现在需要将其转换为可读格式,在本例中为XML:
hdfs oiv -p XML -i / tmp / fsimage_0000000000000103292 -o fsimage.xml
1.1将文件加载到Spark中并将其保存到Hive表中
我使用Databricks库进行XML,并且它很容易加载,因为它已经将数据转换为数据框。您可以在此处查看所有详细信息:https://github.com/databricks/spark-xml。
我的Hive表的结构如下:
使用分析;
CREATE EXTERNAL TABLE如果不是 EXISTS分析.fsimage_hdfs
(
id string COMMENT '唯一标识号。' ,
type string COMMENT '数据类型:目录或文件,链接等......',
name string COMMENT '目录或文件的名称..',
复制字符串COMMENT '复制号。' ,
mtime string评论'修改日期'。,
atime string评论'上次访问的日期'。,
preferredblocksize string COMMENT '使用的块的大小。' ,
权限字符串COMMENT '使用的权限,用户,组(Unix权限)。' ,
acls string COMMENT '访问权限:用户和组。' ,
阻止字符串COMMENT '大小块',
storagepolicyid string COMMENT '访问策略的ID号。' ,
nsquota string COMMENT '配额名称,如果-1被禁用。' ,
dsquota string COMMENT '空间可用并评估用户/组,如果-1被禁用。' ,
fileunderconstruction string COMMENT '文件或目录仍处于构建/复制状态。' ,
path string COMMENT '文件或目录的路径。'
)
PARTITIONED BY(odate string,cluster string)
行格式SERDE'parquet.hive.serde.ParquetHiveSerDe '
作为 INPUTFORMAT 存储'parquet.hive.DeprecatedParquetInputFormat'
OUTPUTFORMAT'palam.hive.DeprecatedParquetOutputFormat '
LOCATION '/ powerhorse / bicudo / analyze / fsimage_hdfs' ;
在这种情况下,由于还有其他要分析的集群,因此使用ISO标准摄取日和集群名称创建了一个分区。
使用spark-xml库,ut非常容易在文件中创建解析器,读取,修改和保存数据。这是一个加载XML数据的简单示例:
val df = sparkSession。sqlContext。读
。格式(“com.databricks.spark.xml”)
。选项(“rowTag”,“inode”)
。选项(“nullValue”,“”)
。load(pathFsImage)
我还创建了一些示例代码,您可以运行并使用您的映像进行测试:https://github.com/edersoncorbari/scala-lab
1.2使用GnuPlot分析信息和绘图
在这些分析中,我使用SQL和GnuPlot来查看数据。其他一些有趣的工具是:
https://github.com/paypal/NNA...
https://github.com/vegas-viz/...
继续我们的工作批量数据,我们现在可以做一些分析。使用群集中最常用的复制值生成直方图:
SELECT cast(hist .x AS int)AS x,
cast(hist .y AS bigint)y
从
(SELECT histogram_numeric(cast(复制AS DOUBLE),40)AS T0
FROM analyze .fsimage_hdfs
WHERE dataingestao = '2019-01-27'
AND CLUSTER = 'SEMANTIX_NORTH'
AND preferredblocksize <> '')
T1 LATERAL VIEW爆炸(T0)explosion_table AS hist;
您可以使用GnuPlot制作几种类型的图形,请在此处查看更多示例:GnuPlot演示。您需要在直方图中复制输出并将其放在示例文件replication.dat中:
Replication_XReplication_Y
129
13
277975
212602
247204
2139973
217612
224402
3170164
37461229
311038655
31443494
31910188
109267
106492
101719
101207
101318
现在复制下面的代码并运行:
#!的/ usr / bin中/ gnuplot的
重启
明确
设置数据文件分隔符“ t”
设置终端PNG大小1024,768
设置输出“histogram-replication.png”
设置标题“复制集群 - Semantix North”
设置 xlabel “(X)”
设置 ylabel “(Y)”
设置键顶部左水平autotitle columnhead外
情节'复制.d'你1:2 w冲动lw 10
生成的数据如下所示:
GNUPLOT
在这种情况下,大多数数据都使用复制块3.我们可以进行另一次分析,以检查在一周内修改的文件。下面,我使用weekly-changes.dat文件标准化了直方图的输出:
DateN_0Dir_1Files_2
2018-10-0146588.03579.043009.0
2018-10-02135548.04230.0131318.0
2018-10-0395226.04600.090626.0
2018-10-0492728.04128.088600.0
2018-10-05100969.03527.097442.0
2018-10-0677346.03455.073891.0
2018-10-0736326.01711.034615.0
使用GnuPlot:
#!的/ usr / bin中/ gnuplot的
重启
明确
设置数据文件分隔符“ t”
设置终端PNG大小1024,768
设置输出“histogram-weekly-changes.png”
设置标题“目录和文件已更改[10/01 at 10/07] Cluster - Semantix NORTH”
设置 xlabel “(X)”
设置 ylabel “(Y)”
设置键顶部左水平autotitle columnhead外
设置 xtic旋转-45比例0
将 ytics 设置为nomirror
设置样式填充实线边框-1
设置 boxwidth 0 .5相对
设置样式数据直方图
设置样式直方图rowstacked
使用2:xtic(1)ti col,' u 3 ti col ''' u 4 ti col 绘制'weekly-changes.dat'
生成的数据如下所示:
图片标题
我将留下一些可能有用的其他查询:
- 将Unix时间戳转换为ISO。
SELECT date_format(from_unixtime(cast(mtime / 1000 AS bigint)),'yyyy-MM-dd')
来自 fsimage_hdfs LIMIT 10 ;
- 检查所用块的大小并将字节转换为GB。
SELECT权限,
count(1)AS totalfiles,
轮(总和(铸造(preferredblocksize AS DOUBLE))/ 1024/1024/1024,2)AS sizegb
FROM fsimage_hdfs
在哪里 odate = '2019-01-22'
和 cluster
= 'SEMANTIX_NORTH'
GROUP BY权限限制 10 ;
- 在特定日期修改的文件。
SELECT count(*)FROM fsimage_hdfs WHERE odate = '2018-12-22'
和 cluster
= 'SEMANTIX_NORTH'
AND date_format(from_unixtime(cast(mtime / 1000 AS bigint)),
'yyyy-MM-dd')= '2019-01-22' ;