大数据
文章平均质量分 88
纯码农
诚,待人以诚,做事以诚
展开
-
【大数据】Hadoop在呼唤Hive(附一键部署Hive脚本)
汝之观览,吾之幸也!本文主要讲解Hive部署到Hadoop集群并使用,结尾附一键部署Hive脚本原创 2022-09-30 18:18:01 · 1375 阅读 · 14 评论 -
【大数据】Hive的出生(懒着写MapReduce程序)
汝之观览,吾之幸也!本文主要讲解Hive的基本概念与架构,学习了Hadoop知道了MapReduce,那么在实际运用中如果慢慢写MapReduce程序也是可以的,但是太麻烦了,也比较费时间,所以大佬们就开始用其他方式代替了,基本的SQL大家都会的,那么大佬设计出Hive,通过Hive的HQL转换为MapReduce,这样就省去写MapReduce的步骤了。原创 2022-09-26 21:44:36 · 157 阅读 · 0 评论 -
【工具】Datax的基本概念(初识ETL工具)
ETL全称为Extract Transform Load,是一种数据仓库技术,其中三个英文单词分别对应三个数据处理操作的中文名称:抽取(Extract)、转换(Transform)以及加载(Load)。因此,ETL的实际含义是将数据经过抽取、清洗转换之后加载到数据仓库的过程。原创 2022-09-15 22:17:36 · 1516 阅读 · 1 评论 -
【大数据】统一打包的名词备忘录
汝之观览,吾之幸也!本文章主要统计大数据方面的名词概念,不至于一上来就看到那么多技术名词晕头转向。随时更新。原创 2022-09-13 13:29:21 · 892 阅读 · 8 评论 -
【大数据】HDFS、Hive、FTP的内网间的相互传递(附脚本获取数据)
汝之观览,吾之幸也!本文讲解生产中会遇到的问题,一般集群都部署在外网,如果集群部署在内网,那么怎么同步之前的Hive数据到外网,或者两个内网间怎么同步Hive数据,本文主要以shell脚本演示。...原创 2022-08-30 22:18:11 · 1297 阅读 · 11 评论 -
【大数据】搭建Hadoop集群(附一键部署脚本)
汝之观览,吾之幸也!本文主要讲解Hadoop运行环境的搭建(三台虚拟机),一键脚本部署,全自动化,不再需要按照文档一个一个进行配置,脚本执行后就可登录hadoop集群。原创 2022-08-21 17:11:00 · 1702 阅读 · 13 评论 -
【大数据】兵马未动,修改网络、主机名先行
汝之观览,吾之幸也!接上一篇,本文主要讲的是配置虚拟机的网络与主机名称。原创 2022-08-13 17:52:16 · 106 阅读 · 4 评论