- 博客(17)
- 收藏
- 关注
RSS订阅原创 http方式内网搭建CDH6.3.2与部分组件优化
为了保证CM正常简单安装，将需要安装的几台机器的root密码设置相同，本文中使用的四台机器的root密码一致，都为“pwd”，如果密码不相同，可以执行命令 passwd 进行修改，修改成功后重启系统。Cloudera Manager (简称CM)用于管理CDH6集群，可进行节点安装、配置、服务配置等，提供Web窗口界面提高了Hadoop配置可见度，而且降低了集群参数设置的复杂度。JDK1.8+是CM依赖的关键，所以每台机器都必须安装全局的JDK1.8+，并配置环境变量。2、 选择免费版本的CDH 继续。
2023-07-24 14:08:51
455
原创 mysql主从搭建
安装使用普通用户(本次安装统一使用mysql用户)，安装包使用mysql-5.7.35-el7-x86_64.tar.gz解压版安装。
2023-07-24 14:08:03
131
原创 altas2.1.0编译、安装、集成CDH6.3.2
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VgO8mcVw-1690178742185)(C:\Users\Second\AppData\Roaming\Typora\typora-user-images\image-20220811162129164.png)]获取编译之后的apache-atlas-2.1.0-bin.tar.gz，所在目录apache-atlas-2.1.0/distro/target/。建立sorl collection。
2023-07-24 14:06:54
130
原创 DolphinScheduler3.1.7离线手册
点击项目管理->工作流->工作流定义，进入工作流定义页面，点击“创建工作流”按钮，进入工作流DAG编辑页面，如下图所示：工具栏中拖拽填写“节点名称”，“描述”，“脚本”字段；“运行标志”勾选“正常”，若勾选“禁止执行”，运行工作流不会执行该任务；选择“任务优先级”：当 worker 线程数不足时，级别高的任务在执行队列中会优先执行，相同优先级的任务按照先进先出的顺序执行；超时告警（非必选）：勾选超时告警、超时失败，填写“超时时长”，当任务执行时间超过超时时长，会发送告警邮件并且任务超时失败。
2023-07-24 14:05:23
761
原创 DolphinScheduler3.1.7集成SAP HANA
源码地址：GitHub - apache/dolphinscheduler at 3.1.7-release个人fork gitee地址：DolphinScheduler:Gitee)后端代码更改项：修改项1:DataSourceConstants.java路径：dolphinscheduler-common/src/main/java/org/apache/dolphinscheduler/common/constants/DataSourceConstants.java public clas
2023-07-24 14:04:18
315
2原创 离线自动化部署CDH
离线CDH集群自动化部署工具离线CDH集群安装与部署的自动化脚本工具，简单支持「离线一键装机」。脚本将对系统配置做出一定修改，使用前请务必确认当前服务器无其他人员、任务使用，以免造成不必要的麻烦，建议提前使用测试服务器或虚拟机测试体验。一、Features已实现的自动化功能(仅支持Redhat/CentOS系列)：Usage: init_ssh|install_softs|init_...
2022-05-10 17:43:00
49
原创 centOS7 磁盘扩容（2T以上）
centOS7 磁盘扩容1.安装parted分区工具yum install -y parted2.查看服务器分区情况#fdisk -l 或者 lsblk找到新增磁盘名称 例如/dev/sdb3.对新增磁盘进行分区# parted /dev/sdb(parted) mklabel gpt 设置分区类型为gptyes/no yes(parted)mkpart extended 0...
2022-03-01 16:36:00
84
原创 hdfs小文件合并
HDFS small file merge1.hiveSettingsThere are 3 settings that should be configured before archiving is used. (Example values are shown.)hive> set hive.archive.enabled=``true``;``hive> set hi...
2022-03-01 16:00:00
78
原创 kafka-eagle-2.0.5安装指南
kafka eagle 安装文档环境介绍 ：kafka 三台 版本：2.2.1+cdh6.3.2 管理：ZKkafka-eagle-bin-2.0.5.tar.gz安装包准备官网 :http://download.kafka-eagle.org/百度云链接：https://pan.baidu.com/s/12wyPvcN_F7fZKPjZ-nHRsw 提取码：yrfq --来自百度...
2021-07-02 11:39:00
42
原创 关于sparksql中设置自定义自增列的相关要点（工作共踩过的坑-1）
小白终于进入了职场，从事大数据方面的工作！分到项目组了，搬砖的时候遇到了一个这样的问题。要求：用spark实现oracle的存储过程中计算部分。 坑：由于报表中包含了一个ID字段，其要求是不同的区域拥有不同的区域ID，且ID在数据库表中的属性为主键。Oracle的存储过程中采用的是自定义序列，采用发号的形式实现ID唯一且符合区域特性。 填坑过程：方法一：sql.functions ...
2019-08-21 17:57:00
72
原创 hive安装
Hive的安装和使用 我们的版本约定： JAVA_HOME=/usr/local /jdk1.8.0_191 HADOOP_HOME=/usr/local/hadoop HIVE_HOME=/usr/local/hive 离线安装Mysql...
2019-04-26 16:35:00
34
原创 Spark单点安装、 使用sparkshell
Spark分布式安装Spark安装注意：需要和本机的hadoop版本对应前往spark选择自己相对应的版本下载之后进行解压命令：tar –zxf spark-2.4.0-bin-hadoop2.6.tgz –C /usr/local配置spark分布式，修改两个主要配置文件 spark-env.sh.template slaves.templateslaves 留存备份命令：c...
2019-04-26 16:34:00
40
原创 zookeeper集群
基于hadoop集群搭建zookeeper集群Filezilla上传zookeeper压缩包到主节点安装zookeeper到/usr/local目录命令：tar –zxf zookeeper3.4.tar.gz /usr/local更名命令： mv zookeeper3.4 zookeeper配置zookeeper 复制zoo_sample.cfg成副本zoo.cfg命令：cp ...
2019-04-26 16:33:00
31
原创 Hbase集群搭建
日志______2019.1.24Hbase分布式搭建注意：hbase的使用基于hadoop，开启以及关闭需要注意顺序，由于我是的是自带的zookeeper，说以开启关闭顺序应如下启动：hadoop>>hbase关闭：hbase>>Hadoop相关命令: start-all.sh开启hadoop stop-all.sh 关闭hadoop ...
2019-04-26 16:32:00
38
原创 hadoop环境搭建
日志_____2019.1.23实验集群环境搭建三台阿里云服务器公网ip内网ip120.79.63.130 node2172.17.17.58112.74.50.240 主节点master172.17.17.7939.108.232.147 node1172.16.50.183通过filezi...
2019-04-26 16:31:00
34
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人