大数据
文章平均质量分 84
大数据开发,大数据知识
登峰~
java开发工程师 、大数据开发
展开
-
大数据组件整理
一、组件apache hadoop:是一个用Java编写的Apache开源框架 1、hdfs: Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统。 2、mapreduce:hadoop自带计算框架。 3、yarn:YARN 资源管理器cdh: CDH是Cloudera的100%开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建hive :Apache Hive ™ 数据仓库pig: Apache Pig是一个用于分析大型数据集的平台,其中包括用原创 2022-04-20 16:21:21 · 11135 阅读 · 1 评论 -
如何快速学习,再短时间内成为高手
一、选择目标领域,并完全了解这个概念将需要学习的概念写在纸上,尽可能的去熟悉这个概念。1、一定要将自己脑海的语言组织出来并反应在书面上2、如果写不出来再回去看哪里不懂二、向别人复述这个概念向身边人复述一遍你所学习到的知识,如果没有,就只好假装自己是一个老师(脑洞少女的日常),向学生复述这个概念,记住,尽量使用简单的语言,这一步是为了让你更好的融入自己的理解。在复述时,一定会在所难免的会卡住,或者结巴,叙述不完整。这时候,恭喜你,喜提知识概念薄弱点。这时候,将这些薄弱点重新学习巩固一遍,直到真正理..原创 2022-01-13 15:41:39 · 119 阅读 · 0 评论 -
hadoop框架介绍
hadoop介绍 apache hadoop软件是一个使用简单编程模型跨计算机群分布式处理大型数据集的框架。能够从单个服务器扩展到数千台机器,每一台机器都可以提供本地计算和存储。hadoop本身不是依靠硬件来提供高可用,而是设计用于检测和处理应用层的故障,因此在计算机集群上提供高可用服务每一台机器都容易出现故障。apache hadoop 模块1、hadoop common 支持其他 Hadoop 模块的通用实用程序。2、Hadoop 分布式文件系统 (HDFS™) 一种分布式文件系统,可提供对应原创 2022-04-20 17:15:35 · 4435 阅读 · 0 评论 -
hive使用,及语法
hive1、 /bin/hive2、 /bin/beelinebeenline> ! connect jdbc:hive2://youduk3:10000使用hive1、与hdfs 文件映射。1)创建映射文件touch test.txtvim test.txt1,allen,342,tom,223,acat,454,ali,215,afe,552、上传文件到hdfs//创建个临时目录hadoop dfs -mkdir -p /test///上传文件到临时目录h原创 2022-01-24 10:28:43 · 1435 阅读 · 0 评论 -
hive 安装教程
hive原创 2022-01-20 10:13:20 · 3872 阅读 · 1 评论