Hadoop
Chang Tienhao
盛意以山河,山河不及你
展开
-
大数据学习第五篇之Hue集成HDFS
接上篇我们继续:一、配置Hue访问HDFS外部系统访问HDFS只能使用httpfs的方式,不能使用HDFS默认自带的WebHdfs方式,但Ambari安装的HDFS并没有默认安装hadoop-httpfs,所以这里需要先安装hadoop-httpfs1. 安装hadoop-httpfs yum install hadoop-httpfs cd /etc/init.d ln -...原创 2020-03-20 22:20:29 · 385 阅读 · 0 评论 -
Knox SSO对于http请求的处理流程
以在浏览器中请求https://bigdata-master:8443/gateway/hdp_ui/webhdfs/v1/tmp?op=LISTSTATUS为例SSOCookieProvider负责从http请求的cookie中读取hadoop-jwt,如果cookie中不存在hadoop-jwt,会重定向http请求至sso.authentication.provider.url(即ht...原创 2020-02-14 10:17:55 · 748 阅读 · 0 评论 -
Hive 表的创建
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必...原创 2020-02-13 10:39:38 · 346 阅读 · 0 评论 -
Hadoop学习第二篇之HDP集群搭建
1、登陆Ip+8080 admin/admin ,这都是默认的端口号和账户密码修改默认端口号#change client portvim /etc/ambari-server/conf/ambari.propertiesclient.api.port2、输入集群名字3、选择版本建议默认4、输入上篇文章中自制的源路径#第一个框框如果不知道自己系统是什...原创 2019-12-17 18:06:59 · 390 阅读 · 0 评论 -
Hadoop 学习第一篇之Ambari部署。
1、HDP 2、Ambari ...原创 2019-12-17 17:49:52 · 242 阅读 · 0 评论