Hadoop ecosystem自己的理解

最新推荐文章于 2020-12-08 09:55:01 发布

sinat_19371493

最新推荐文章于 2020-12-08 09:55:01 发布

阅读量537

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/sinat_19371493/article/details/39640289

版权

5 篇文章 0 订阅

订阅专栏

Avro : 一种在hadoop cluster上跑的文件格式，能比其他文件格式速度来得快.
Pig : 数据分析脚本，相当于SAS或者python的功能.
HDFS : 一个在hadoop上的文件系统。可以用Linux相关命令去执行。例如：hadoop fs -ls /projects/VWM/user hadoop fs -rm -r /projects/VWM/user
YARN : 新版本的hadoop
Sqoop : 用来操作数据库。可以从数据库读数据到hadoop或者从hadoop导入数据到数据库。
. sqoop export --connect 'jdbc:sqlserver://172.20.7.252;username=hudson_test;password=test@me;database=Test_Bcp' --table PA_SECURITY --export-dir hdfs://172.20.9.42:8020/projects/vwm/output/views/peer_activity.db_publishing.PA_SECURITY/PA_SECURITY_TEST_SMALL.csv --direct --input-fields-terminated-by "|" -m 2.
-m 表示分成两份做map-reduce