大数据平台(hadoop/hb/hive/zk...)
大数据平台搭建开发
平常心19-3-21
一起学习,因为渴望明天
展开
-
Hadoop生态圈(七)Hive之HQL操作讲解
今天来初步学习一下hive的操作主要内容包括:-hive的访问方法;HQL创建数据库、表和视图的方法4.3 Hive的数据类型介绍Hive的基本数据类型Hive的集合数据类型应用HiveQL完成以下操作创建数据库①创建数据库hivehive> create database hive;查看hive下已有的数据库:hive>Show databases;...原创 2019-04-02 11:28:34 · 392 阅读 · 0 评论 -
Hadoop生态圈(六)安装包分享(Hadoop、JDK、hive、mysql.jar、hbase、zookeeper)
网盘链接:https://pan.baidu.com/s/1WxDn5TBkNYeZ1UwvGGfSMA提取码:z621如果出现问题,请及时留言。安装包都是现在常用版本的安装包。原创 2019-04-02 11:19:15 · 183 阅读 · 0 评论 -
Hadoop生态圈(五)Hive的安装部署过程(大赛整理)
今天来分享一下,18年12月份参加大赛整理的Hive安装部署过程,希望对大家能有帮助,如有写的不对的地方,还请大家留言交流。Hive的安装方式介绍: Hive是一个客户端工具,它的安装不分伪分布式还是分布式,通常只需要在主节点上安装Hive即可。Hive根据元数据存储和访问方式不同,分为以下三种安装方式: (1) 内嵌模式:元数据保存在内嵌的derby中,只允许一个会话连接。(2) 本地模...原创 2019-04-02 11:11:01 · 218 阅读 · 0 评论 -
Hadoop生态圈(二)超详细hadoop完全分布式搭建教程
1.今天分享一下之前搭建hadoop完全分布式时整理的干货,话不多说。2.来看一下搭建规划(1) Hadoop分布式集群规划机器名(hostname) 机器IP 用途 描述:node1 192.168.1.xxx 主节点 64位CentOS7,jdk1.8node2 192.168.1.xxx 从节点1 64位CentOS7,jdk1.8node3 192.168.1.xxx 从节点...原创 2019-03-28 20:43:58 · 504 阅读 · 1 评论 -
Hadoop生态圈(一)超详细带讲解hadoop伪分布式搭建,包会!
今天分享一下我之前安装伪分布式整理的干货。安装过程(采用和完全分布式集群一样的步骤):【建议】安装部署Hadoop,使用linux的管理员root用户登录。1.关闭防火墙使用root用户登录,打开命令行终端:点击左上角-》应用程序-》收藏-》终端查看防火墙状态:systemctl status firewalld关闭防火墙: systemctl stop firewalld关闭防火...原创 2019-03-28 20:49:05 · 1314 阅读 · 0 评论 -
Hadoop生态圈(三)Zookeeper完全分布式搭建
1 实验描述本实验要求完成3个节点的ZooKeeper集群的安装部署2 实验步骤在/usr/local目录下解压ZooKeeper安装包 tar zxvf zookeeper-3.4.6.tat.gz mv zookeeper-3.4.6 zk //换为短名配置环境变量 在/etc/profile文件中配置ZooKeeperexport ZK_HOME=/usr/local...原创 2019-03-28 21:50:32 · 242 阅读 · 0 评论 -
Hadoop生态圈(四)超详细Hbase完全分布式搭建!
1. 实验描述本实验要求完成3个节点的HBase集群的安装2. 实验步骤HBase三种安装模式:1.单机模式、伪分布式和完全分布式,本实验演示3个节点的HBase集群的安装部署过程:2.安装HBase集群前提条件:1. 已安装好并启动Hadoop集群; 2.已安装好并启动ZooKeeper集群。在apache官网下载HBase安装包,进行解压安装: 安装包已经存放到/shar...原创 2019-03-28 21:57:37 · 1537 阅读 · 2 评论 -
Spark原理
Spark的体系架构:主从架构:主节点:Master作用:接收客户端发送的数据处理的请求,将数据处理任务分配给Worker执行从节点:Worker作用:执行数据处理任务通过浏览器查看spark运行状态:http://主节点主机名:8080Spark架构相关的术语(1) Driver(2) SparkContext(3) Cluster Manager(4) Wo...原创 2019-05-15 11:00:59 · 177 阅读 · 0 评论