Toroidals
不患人之不能,而患己之不勉
展开
-
Flink、Spark、Hive集成Hudi
版本:0.13.1版本:flink-1.15.2spark版本:3.3.2Hive版本:3.1.3Hadoop版本:3.3.4。原创 2023-09-14 09:46:19 · 725 阅读 · 1 评论 -
oracle centos7安装Oracle12(附oracle所有版本安装包)
环境: centos 7 Oracle12c 配置环境安装依赖yum -y install binutils.x86_64 compat-libcap1.x86_64 gcc.x86_64 gcc-c++.x86_64 glibc.i686 glibc.x86_64 glibc-devel.i686 glibc-devel.x86_64 ksh compat-libstdc++-33 libaio.i686 libaio.x86_64 libaio-devel.i686 lib原创 2023-04-12 17:37:47 · 870 阅读 · 0 评论 -
4. Hive-3.1.3安装部署(带hiveserver2)
Hive-3.1.3、hiveserver2安装部署原创 2022-07-21 22:18:05 · 1416 阅读 · 0 评论 -
1. centos7虚拟机基础环境部署
centos7虚拟机基础环境部署原创 2022-07-21 22:46:00 · 541 阅读 · 0 评论 -
5. clickhouse 单节点多实例部署
clickhouse 单节点多实例部署原创 2022-07-21 17:49:10 · 1110 阅读 · 0 评论 -
3. Hadoop-3.1.3伪分布式安装部署
Hadoop伪分布式安装部署并运行自带例子原创 2022-07-21 21:21:17 · 977 阅读 · 0 评论 -
7. KETTLE-9.3.0 centos安装部署
Linux centos7安装部署KETTLE-9.3.0,整合hive整合mysql+job测试原创 2022-07-19 16:13:56 · 4812 阅读 · 3 评论 -
2. zookeeper-3.4.10伪分布式安装部署
zookeeper-3.4.10 伪分布式安装部署原创 2022-07-18 00:17:05 · 376 阅读 · 0 评论 -
8. sqoop-1.4.7安装部署
sqoop-1.4.7安装部署原创 2022-07-26 17:08:59 · 781 阅读 · 0 评论 -
9. seatunnel-incubating-2.1.2安装部署
seatunnel原创 2022-07-28 10:11:18 · 1577 阅读 · 0 评论 -
centos8 Ambari-2.7.6.3+HDP-3.3.1离线安装详细教程(附安装包)
centos8离线安装Ambari-2.7.6.3+HDP-3.3.1详细教程(附安装包)原创 2023-01-16 09:49:46 · 4399 阅读 · 25 评论 -
Ambari 2.7.5+HDP3.1.5离线安装详细教程(附安装包)
一.准备工作系统:centos7.6(推荐使用:redhat7、redhat-ppc7、ubuntu14、ubuntu16、ubuntu18)Ambari版本: 2.7.5HDP版本:3.1.5主机:系统 ip 主机名称 主机名 内存 Ambari server mysql httpd服务 centos7.6 192.168.112.143 cluster01.toroidal.comcluster01 8G √ √.原创 2022-02-22 11:23:26 · 3431 阅读 · 0 评论 -
cdh6.2.1完全离线安装教程
一.准备工作系统:centos7.6cdh版本:6.2.1主机:系统 ip 主机名称 主机名 内存 cm server mysql httpd服务 centos7.6 192.168.112.138 cluster01.toroidal.comcluster01 8G √ √ centos7.6 192.168.112.133 cluster02.toroidal.comcluster02 4G ...原创 2021-09-16 15:14:38 · 1052 阅读 · 0 评论 -
搭建伪分布式zookeeper-3.5.9
# 切换到zookeeper目录下cd /opt/software/zookeeper-3.5.9-bin# 修改配置文件#拷贝一份配置文件cp conf/zoo_sample.cfg conf/zoo01.cfg# 编辑 zoo01.cfgvim conf/zoo01.cfg# 修改dataDir=${ZOOKEEPER_HOME}/data/2181/dataDirclientPort=2181# 添加dataLogDir=${ZOOKEEPER_HOME}/log/2.原创 2021-09-15 11:18:30 · 181 阅读 · 0 评论 -
canal-1.1.5+mysql8+kafka安装部署
环境:centos7canal-1.1.5mysql-8.0.2kafka-2.1.0+cdh6.2.11. 简介:canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。基于.原创 2021-06-22 08:48:57 · 691 阅读 · 0 评论 -
CDH6.2.1集成flink(flink on yarn或Flink-Standalone服务)
目录一:环境准备二:下载安装包1. Flink-shaded包2. flink1.10.2 源码包3. maven配置文件三:编译flink-shaded版本1. 解压tar包2. 解压文件后目录结构3. 修改pom文件4. 开始编译四:编译Flink1.10.2源码1. 解压tar包2. 执行编译3. 等待编译成功4. 打包编译好的文件五:制作parcel包1. 下载git开源制作parcel包的项目2. 修改配置文件 flink-parcel.properties3原创 2021-06-16 19:39:30 · 1842 阅读 · 10 评论 -
clickhouse-20.9.5.5集群安装部署教程(配置用户名密码)
环境:centos原创 2021-06-15 18:30:54 · 810 阅读 · 0 评论 -
分布式搭建-10 Flink三种模式安装教程
2. Flink集群安装Flink支持多种安装模式local(本地)——单机模式,一般不使用standalone——独立模式,Flink自带集群,开发测试环境使用yarn——计算资源统一由Hadoop YARN管理,生产测试环境使用2.1. 伪分布环境部署Flink程序需要提交给Job ClientJob Client将作业提交给Job ManagerJob Manager负责协调资源分配和作业执行。 资源分配完成后,任务将提交给相应的Task ManagerTask Manage原创 2021-01-26 16:15:21 · 361 阅读 · 0 评论 -
分布式搭建-9 Docker安装
# 1、yum 包更新到最新 yum update# 2、安装需要的软件包, yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的 yum install -y yum-utils device-mapper-persistent-data lvm2# 3、 设置yum源yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo#原创 2021-01-12 15:30:15 · 135 阅读 · 0 评论 -
linux ubuntu jdk安装教程
1.先从官网下载jdk jdk官网下载地址2.将下载的jdk拷贝至linux系统,先放在linux桌面即可3.在/usr/lib下新建目录jvm命令:sudo mkdir -p /usr/lib/jvm注:在普通用户下即可,不用提升至root用户4.将下载的jdk解压到/usr/lib/jvm下命令:sudo tar -zxvf /home/qy/桌面/jdk-8u161-linux-x64...原创 2018-03-14 12:25:45 · 726 阅读 · 0 评论 -
CentOS7.6离线安装MySql
https://blog.csdn.net/wangkai_123456/article/details/87603464转载 2020-01-02 20:47:56 · 334 阅读 · 0 评论 -
linux离线安装python、pip、复制其它python环境教程
Python下载 官网:https://www.python.org/downloads/ 下载依赖包 通过修改联网机yum配置,在使用yum install xxx 的时候直接将这些依赖保存在指定目录中,而不是直接删除,便于后面将这些依赖包拷贝到离线服务器中。具体操作如下:vim /etc/yum.confcachedir=/var/cache/yum # yum in...原创 2019-12-19 11:01:47 · 3027 阅读 · 1 评论 -
-bash: yum: command not found (不能使用yum命令,离线安装yum)
普通用户sudo免密码 vim /etc/sudoers//首行加入 dcadmin为用户名dcadmin ALL=(root)NOPASSWD:ALL 查看Linux版本信息 lsb_release -a 查看有无yum安装包 ,有的话卸载: 查看:sudo rpm -qa |grep yum卸载:sudo rpm -aq|grep yum|xarg...原创 2019-12-18 15:46:13 · 7776 阅读 · 1 评论 -
qperf测试网络带宽(linux离线安装+测试教程)
环境:CentOS 6.4 (查看系统版本命令: lsb_release -a)1.下载qperf官方下载地址:https://pkgs.org/download/qperf不建议下载通用版本,安装起来问题和依赖超级多比较麻烦,直接下载自己系统版本对应的,我下载的是centos6的二进制文件2.下载依赖:下载qperf软件包的时候可以...原创 2019-08-21 16:19:44 · 3029 阅读 · 1 评论 -
hadoop集群版本兼容问题
选择自己要下载的hadoop版本,以及对应的cdh5的办版本,然后其它组件全部选择cdh5对应的版本即可集群组件cdh5下载地址:https://archive.cloudera.com/cdh5/官方下载地址:http://archive.apache.org/dist/比如我选择的是hadoo版本是hadoop-2.5.0并且cdh5的版本选择的是cdh5.3.6,那么其...原创 2019-08-14 15:50:32 · 1028 阅读 · 0 评论 -
hive实例化schema报错: Failed to get schema version.
具体报错:Metastore connection URL: jdbc:mysql://hm02:3306/hive?createDatabaseIfNotExist=trueMetastore Connection Driver : com.mysql.cj.jdbc.DriverMetastore connection User: hiveorg.apach...原创 2019-01-31 14:24:35 · 14360 阅读 · 6 评论 -
Hadoop-2.7.6双namenode配置搭建(Hadoop)高可用集群部署教程
配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程。Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ,本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。配置Hadoop文件需要修改的...转载 2018-06-28 17:13:02 · 1493 阅读 · 0 评论 -
Sqoop1.99.7从mysql导入数据到hdfs报错:Exception: Job Failed with status:3
1.问题:sqoop上传数据到hdfs报错:Exception: Job Failed with status:32015-05-08 14:29:12 CST: RUNNING - 84.47 %2015-05-08 14:29:22 CST: RUNNING - 84.47 %2015-05-08 14:29:32 CST: RUNNING - 84.47 %2015-05-08 14:...原创 2018-06-28 13:12:51 · 1208 阅读 · 0 评论 -
分布式搭建-1 Hadoop搭建
环境: 1.主机配置 主机1 主机2 主机3 系统 Centos7 Centos7 Centos7 内存 4G 2G 2G ...原创 2019-08-16 14:06:06 · 256 阅读 · 0 评论 -
分布式搭建-2 Zookeeper搭建
1.下载zookeeper-3.4.5-cdh5.10.0.tar.gz 下载地址:http://zookeeper.apache.org/2.上传文件解压3.切换目录到:opt/modules/zookeeper-3.4.5/conf1.复制配置文件cp conf/zoo_sample.cfg zoo.cfg开始配置zoo.cfgtickTime=2...原创 2019-08-16 16:03:16 · 140 阅读 · 0 评论 -
分布式搭建-3 HBase搭建
环境:1..版本选择参考: hadoop集群版本兼容问题hadoop-2.5.0hive-0.13.1spark-1.2.0hbase-0.98.6flume-ng-1.5.0jdk-8u161-linux-x64.tar.gz组件分布:...原创 2019-08-27 17:27:46 · 254 阅读 · 0 评论 -
分布式搭建-4 kafka搭建
环境:1..版本选择参考: hadoop集群版本兼容问题hadoop-2.5.0hive-0.13.1spark-1.2.0hbase-0.98.6flume-ng-1.5.0jdk-8u161-linux-x64.tar.gz ...原创 2019-08-29 14:57:10 · 166 阅读 · 0 评论 -
分布式搭建-5 Flume搭建
环境:1..版本选择参考: hadoop集群版本兼容问题hadoop-2.5.0hive-0.13.1spark-1.2.0hbase-0.98.6flume-ng-1.7.0jdk-8u161-linux-x64.tar.gz下载地址:ht...原创 2019-09-24 09:51:54 · 389 阅读 · 0 评论 -
分布式搭建-6 Mysql安装
一.在线安装mysql1.修改yum源 为阿里源1.更改yum源为阿里。首先备份 /etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2.、下载新的CentOS-Base.repo 到/etc/yum.r...原创 2019-09-24 11:13:54 · 331 阅读 · 1 评论 -
分布式搭建-7 Hive安装
(一)Hive 概述:参考: hive下载hive-0.13.1hadoop下载及版本选择1.解压tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz -C /opt/modules/cd /opt/modules/mv hive-0.13.1-cdh5.3.6/ hive-0.13.12.配置cd /opt/...原创 2019-09-28 20:28:07 · 207 阅读 · 0 评论 -
分布式搭建-7 hue安装
Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。hue下载地址:http://gethue.c...原创 2019-10-02 14:48:04 · 341 阅读 · 0 评论 -
ubuntu安装配置eclipse+hadoop开发环境(十分详细)+WordCount实例
我的环境:系统平台:Ubuntu14.04TLS(64位)Hadoop环境:Hadoop2.8.3Eclipse:Neon.2 Release(4.6.2)Eclipse插件:hadoop-eclipse-plugin-2.8.3.jar1.先确保已安装了jdk和hadoop,没有的可参考以下两篇文章,已经安装的跳过此步骤ubuntu jdk安装教程ubuntu搭建hadoop-2.8.3(伪分布...原创 2018-03-17 19:30:01 · 4453 阅读 · 2 评论