大数据
文章平均质量分 57
大数据相关知识
SeniorCollector
这个作者很懒,什么都没留下…
展开
-
FlinkCDC实时读取PostgreSQL
wal_level必须更改,其它参数选着性更改,如果同步表数量超过10张建议修改为合适的值。2.新建用户并且给用户复制流权限(例如在navicat中操作)1.更改配置文件postgresql.conf。一、准备(PG版本为9.6.24)原创 2023-09-08 23:27:10 · 1616 阅读 · 1 评论 -
Hadoop运行环境搭建(一)
Hadoop运行环境搭建之模板虚拟机环境准备(1)1)准备一台模板虚拟机hadoop100,虚拟机配置要求如下: 注:本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明,系统为最小化安装模板虚拟机:内存4G,硬盘50G,安装必要环境,为安装hadoop做准备[root@hadoop100 ~]# yum install -y epel-release[root@hadoop100 ~]# yum install -y psmisc nc net-t...原创 2021-04-12 19:23:11 · 194 阅读 · 0 评论 -
Hadoop运行环境搭建(四)
一、集群配置1)集群部署规划 注意:NameNode和SecondaryNameNode不要安装在同一台服务器 注意:ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。 hadoop102 hadoop103 hadoop104 HDFS NameNode ...原创 2021-04-13 09:20:20 · 164 阅读 · 0 评论 -
Hadoop运行环境搭建(三)
一、编写集群分发脚本xsync集群分发脚本1)需求:循环复制文件到所有节点的相同目录下2)需求分析:(a)rsync命令原始拷贝:rsync -av /opt/module root@hadoop103:/opt/(b)期望脚本: xsync要同步的文件名称(c)说明:在/home/fang/bin这个目录下存放的脚本,fang用户可以在系统任何地方直接执行。3)脚本实现(a)在/home/fang/bin目录下创建xsync文件[fang@h...原创 2021-04-12 21:06:35 · 150 阅读 · 0 评论 -
Hadoop运行环境搭建(二)
一、克隆虚拟机1)利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop1042)修改克隆机IP,以下以hadoop102举例说明[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33IPADDR=192.168.100.1023)修改克隆机主机名,以下以hadoop102举例说明[root@hadoop100 ~]# hostnamectl --static原创 2021-04-12 20:40:52 · 109 阅读 · 0 评论 -
Hadoop运行环境搭建(五)
一、配置历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:1)配置mapred-site.xml[fang@hadoop102 hadoop]$ vim mapred-site.xml在该文件里面增加如下配置。<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>hadoop...原创 2021-04-13 13:13:48 · 218 阅读 · 0 评论