大数据生态安装
文章平均质量分 93
大数据生态安装
桃橙柳
这个作者很懒,什么都没留下…
展开
-
OpenTsdb安装使用
OpenTsdb安装使用一、简介二、安装准备1.操作环境2.hadoop生态部署3.安装gnuplot4.下载opentsdb安装包1.解压安装包2.编译3.执行创建hbase表脚本4.配置5.在build目录下创建jaas.conf6.在build目录下创建启动脚本start_tsdb.sh7.启动8.集群高可用四、初步验证1.插入数据2.web页面查看3.查询数据一、简介OpenTSDB是一个时间序列数据库,由一个 Time Series Daemon (TSD) 和一系列命令行实用程序组成。与Op原创 2021-04-20 19:28:02 · 2839 阅读 · 0 评论 -
azkaban安装使用
azkaban安装使用一、安装1.准备工作2.配置2.1软件配置一、安装1.准备工作下载软件源码:https://github.com/azkaban/azkaban或是https://github.com/azkaban/azkaban/releases下载插件源码https://github.com/azkaban/azkaban-plugins下载的.zip包,则安装环境中需要在root用户下安装unzip,用于解压,命令如下:yum -y install unzip本文选择的软件原创 2021-03-10 11:39:24 · 2483 阅读 · 0 评论 -
sqoop安装使用
sqoop安装使用一、安装1.准备工作2.配置2.1解压2.2配置环境变量2.3配置sqoop2.4加入mysql驱动包二、使用1.数据导入1.1导入数据到hdfs1.1.1全量导入(1)全表导入,--table子句:(2)数据子集导入①--where子句:②按需导入--query子句③--column子句1.1.2增量导入1.1.2.1 Append方式1.1.2.2 LastModify方式1.1导入数据到hbase1.1.11.1.2.3 增量更新导出一、安装1.准备工作下载地址:官网:htt原创 2020-12-31 20:33:25 · 524 阅读 · 0 评论 -
Linux虚拟机用xshell连接不上解决方式
Linux虚拟机用xshell连接不上解决方式问题解决方案问题问题:Linux虚拟机用xshell连接不上然后直接用VMware里打开该虚拟机,在终端中运行ifconfig可以发现该台虚拟机ip没了或者说是网卡没了解决方案按顺序运行以下命令:#停止NetworkManagersystemctl stop NetworkManager#禁用NetworkManagersystemctl disable NetworkManager#启动网卡服务service network start原创 2020-12-17 10:20:11 · 905 阅读 · 0 评论 -
tmpfs探索与虚拟机扩容
tmpfs探索与虚拟机扩容一、tmpfs1. tmpfs简介2.参考资料进行更改二、扩容(1)方案一1)单纯扩大某一硬盘容量①LVM方式:1.开始分区:fdisk /dev/sda2.此时使用lsblk命令查看:3.使用命令partprobe刷新,再查看:4.创建物理卷pvcreate /dev/sda4(此步骤可省略)5.查看已有卷组 vgdisplay 得到卷组名为 centos6.添加 sda4 到 centos 卷组中 vgextend centos /dev/sda47.查看需要被扩容的文件路径原创 2020-10-26 16:43:09 · 1527 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一(Nginx负载均衡篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一(Nginx负载均衡篇)十三、Nginx负载均衡1.Nginx安装环境2.编译3.启动测试4.nginx实现kylin集群的负载均衡全文请看:https://blog.csdn.net/tktttt/article/details/108578804大数据集群搭建安装包:https://download.csdn.net/download/tktttt/12879318大数据集群搭建安装包2:https://do原创 2020-10-09 10:30:04 · 243 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十(kylin集群搭建篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建八(kylin集群搭建篇)十二、kylin集群搭建1.配置2.启动验证2.1启动2.2验证3.文档叙述3.1Kylin 集群模式部署3.2任务引擎高可用3.3配置CuratorScheculer进行任务调度4.帮助理解4.1 Job Scheduler4.1.1 为什么需要Job Scheduler ?4.1.2 kylin中有哪些调度程序?4.1.3 不同的作业调度程序有什么区别?全文请看:https://blog.csdn.ne原创 2020-10-09 10:27:55 · 221 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建九(Hive拓展客户端篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建九(Hive拓展客户端)十一、Hive拓展客户端1.准备工作2.配置变量3.验证全文请看:https://blog.csdn.net/tktttt/article/details/108578804大数据集群搭建安装包:https://download.csdn.net/download/tktttt/12879318大数据集群搭建安装包2:https://download.csdn.net/download/tktttt/12原创 2020-10-09 10:25:13 · 103 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建八(Hadoop客户端节点篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建八(Hadoop客户端节点篇)九、hadoop集群客户端节点全文请看:https://blog.csdn.net/tktttt/article/details/108578804大数据集群搭建安装包:https://download.csdn.net/download/tktttt/12879318大数据集群搭建安装包2:https://download.csdn.net/download/tktttt/12879355九、h原创 2020-09-24 10:55:59 · 103 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建七(Hadoop扩容缩容篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建七(Hadoop扩容缩容篇)八、Hadoop集群动态扩容、缩容1.动态扩容1.1准备工作:1.2添加datanode1.3datanode负载均衡服务1.4添加nodemanager2.动态缩容2.1添加退役节点2.2刷新集群2.3停止进程八、Hadoop集群动态扩容、缩容1.动态扩容1.1准备工作:克隆一台虚拟机,也可以是全新的(只要安装了jdk即可,可以参考最初的虚拟机安装部分);在新的虚拟机上修改hostname为no原创 2020-09-23 16:33:57 · 379 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(Kylin篇)
@TOC八、Kylin搭建1.安装下载相应适配版本的安装包:官网地址上传到新建文件目录/usr/local/kylin下,并解压:tar -zxvf apache-kylin-3.1.0-bin-hbase1x.tar.gz2.配置环境变量vi /etc/profile#加入以下内容export KYLIN_HOME=/usr/local/kylin/apache-kylin-3.1.0-bin-hbase1x#path后添加export PATH=$PATH:$KYLIN_HOME原创 2020-09-22 10:15:06 · 379 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建五(Hive篇)
虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建(五、Hive篇)七、Hive安装配置1.准备工作2.安装hive七、Hive安装配置1.准备工作在前文基础上,继续安装MySQL数据库包下载:官网地址下载rpm类型安装包(注意版本选择),例如本文选择的:mysql-community-common-5.7.31-1.el7.x86_64.rpmmysql-community-libs-5.7.31-1.el7.x86_64.rpmmysql-community-cli原创 2020-09-21 15:19:26 · 244 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建四(Hbase篇)
虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建(四、Hbase篇)五、Hbase集群搭建1.安装解压2.环境变量配置3.文件配置六、启动Hbase1.启动zookeeper2.启动Hadoop2.1格式化HDFS2.2启动HDFS2.3启动YARN2.4Hadoop启动校验3.Hbase启动4.问题五、Hbase集群搭建官网下载合适的hbase版本,要求能与上面安装的zookeeper、hadoop版本兼容安装hbase之前必须要保证的是三台服务器的时间保持同步,推荐使用nt原创 2020-09-21 15:16:30 · 205 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建三(zookeeper篇)
虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建(三、zookeeper篇)四、Zookeeper集群搭建1.下载安装zookeeper安装包2.文件配置3.启动测试四、Zookeeper集群搭建1.下载安装zookeeper安装包zookeeper版本需要能与Hadoop版本兼容创建文件夹,将安装包上传至此并解压:mkdir /usr/local/zookeepertar -zxvf 安装包名如tar -zxvf zookeeper-3.4.14.tar.gz之后原创 2020-09-21 15:13:08 · 138 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建二(Hadoop篇)
虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建三、搭建Hadoop集群1.hadoop安装2.配置修改3.克隆并配置其他虚拟机4.启动测试5.可能遇到的问题在前文的基础继续进行三、搭建Hadoop集群此处集群搭建我们不按host映射来,直接使用的ip1.hadoop安装首先,在/usr/local目录下创建hadoop文件夹,之后将hadoop安装到这里,安装之后进入hadoop文件夹:cd /root #进入/root文件夹mkdir hadoop原创 2020-09-21 15:10:54 · 421 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)
虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建(一、虚拟机篇)一、虚拟机安装Centos71.准备工作2.centos7安装过程3.关闭防火墙(关键)二、安装jdk1.卸载镜像自带jdk2.安装自己的jdk3.配置多机器间免密登录一、虚拟机安装Centos71.准备工作使用软件:VMware Workstation;该软件的安装一直下一步就行。下面开始阐述镜像的安装:可以直接去官网下载一个需要的镜像,本文操作时选择的是CentOS-7-x86_64-DVD-2003.iso原创 2020-09-21 15:06:44 · 228 阅读 · 0 评论 -
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建
虚拟机+Zookeeper+Hadoop+Hbase+hive+kylin+nginx集群搭建,本文详细的从自身搭建时遇到的问题出发讲述了虚拟机安装、jdk安装、zookeeper、Hadoop、hbase、hive、kylin、nginx安装与配置、集群设置等方面的内容,作为学习路上的参考原创 2020-09-14 20:34:06 · 1697 阅读 · 0 评论