![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 70
czx33859066
这个作者很懒,什么都没留下…
展开
-
大数据分析之Hive学习
一、课前准备 ●安装并配置好Hadoop, 保证Hadoop集群是正常启动的。 ●在Hive的安装目录下启动,执行bin/hive。 二、Hive简介 1.Hive是什么? ●基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据 ●Hive把HDFS中结构化的数据映射成表。 ●Hive通过把HiveSQL进行解析和转换, 最终生成-系列基于hadoop的map/reduce任务, 通过执 行这些任务完成数据处理。 2.Hive与传统数据库的比较 Hive的优势 ●把海量原创 2021-07-19 16:54:14 · 421 阅读 · 0 评论 -
Hadoop概述及shell操作
一、Hadoop概述 1.hadoop生态圈 2.hadoop的组成 Hadoop由三个模块组成:分布式存储HDFS、分布式计算MapReduce、资源调度引擎Yarn 3.HDFS:块级别的分布式文件存储系统 1) NameNode (nn) :存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等 2) DataNode(dn): 在本地文件系统存储文件块数据,以及块数据的校验和。 3) Seconda..原创 2021-07-16 16:14:20 · 214 阅读 · 0 评论 -
Hadoop 学习环境部署
1.准备环境 Linux系统,准备root和hadoop两个用户 把hadoop、hive、jdk等包上传到linux系统目录下 2.关闭selinux 在linux下,切换到root用户 su - root 进入 vim /etc/selinux/config把SELINUX=disabled 3.切换到hadoop用户,配置免密登陆(解决多次登录,多个集群,要多次输入用户密码的问题) cd 进入hadoop用户的家目录 ssh-keygen -t rsa [输入完后连按...原创 2021-07-16 16:00:53 · 254 阅读 · 5 评论 -
大数据分析之环境部署
目录 一、需要准备的软件 VMware Xshell6 Xftp6 CentOS7系统 hadoop(服务器上) jdk(服务器上) hive(服务器上) 二、安装vmware并配置网络 1.安装vmware 安装过程中,以下两项可以取消掉 2.配置vmware网络步骤 三、安装CentOS 7操作系统 新建虚拟机器 2.编辑虚拟机 3.安装CentOS7操作系统 调整日期和时间 软...原创 2021-07-15 22:00:02 · 381 阅读 · 1 评论 -
windows 7指定kettle的jdk版本
Kettle安装 1)把pdi-ce-8.1.0.0-365.zip右击解压到当前文件夹 如图: 2)将data-integration文件夹剪切到d:盘下 3)右击D:\data-integration文件夹下的Spoon.bat以管理员身份运行 到此安装完成 注意:第一次启动需要一定的时间,耐心等待。 PS:如果有多个版本的JDK,则右键编辑Spoon.bat 增加set PENTAHO_JAVA_HOME=C:\Program File...原创 2021-04-19 15:27:02 · 528 阅读 · 0 评论