自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

十色花的博客

包含大数据各类知识

  • 博客(8)
  • 资源 (2)
  • 收藏
  • 关注

原创 yarn资源调度参数配置(内存,cpu)

Hadoop  YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。ResourceMan...

2018-10-25 11:05:11 1423

原创 kafka manger最方便的安装教程,与cdh中的kafka绝配

一、kafka-manager 功能简介1.管理多个kafka集群2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)3.选择你要运行的副本4.基于当前分区状况进行5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topi...

2018-10-23 19:45:44 303

原创 mysql快速备份脚本

     mysqldump常用于MySQL数据库逻辑备份。 1、各种用法说明     A. 最简单的用法:mysqldump -uroot -pPassword [database name] > [dump file]     上述命令将指定数据库备份到某dump文件(转储文件)中,比如:mysqldump -uroot -p123 test > te...

2018-10-18 11:50:38 2750

原创 mysql误删数据后快速回滚

binlog2sql快速回滚首先,确认你的MySQL server开启了binlog,设置了以下参数:[mysqld]server-id = 1log_bin = /var/log/mysql/mysql-bin.logmax_binlog_size = 1000Mbinlog-format = row如果没有开启binlog,也没有预先生成回滚SQL,那真的无法快速回滚了。...

2018-10-18 11:49:17 11513 1

原创 centos7安装mariadb

1、安装MariaDB安装命令yum -y install mariadb mariadb-server安装完成MariaDB,首先启动MariaDBsystemctl start mariadb设置开机启动systemctl enable mariadb接下来进行MariaDB的相关简单配置mysql_secure_installation首先是设置密...

2018-10-18 11:46:56 151

原创 cdh集群中添加新主机

1、新加机器环境配置首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python。2、上传cloudera-manager文件到/opt目录,修改agent配置文件:vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.iniserver...

2018-10-17 17:30:40 7904 3

原创 如何备份mysql数据

MySQL备份数据的方式在MySQl中我们备份数据一般有几种方式 热备份 温备份 冷备份 热备份指的是当数据库进行备份时, 数据库的读写操作均不是受影响  温备份指的是当数据库进行备份时, 数据库的读操作可以执行, 但是不能执行写操作  冷备份指的是当数据库进行备份时, 数据库不能进行读写操作, 即数据库要下线 MySQL中进行不同方式的备份还要考虑存储...

2018-10-16 17:19:49 239

原创 centos7中mysql更改数据目录

一、配置mysql首先启动mysqlservice mysqld start设置密码及安全规则mysql_secure_installation这一步骤我只修改了密码,其它安全规则根据需求修改修改配置文件(这里我修改的为/home目录下)datadir=/home/mysqlsocket=/home/mysql/mysql.sock # For advice ...

2018-10-03 02:57:41 1006

已经配好的canal包,解压即可完美使用

实时抽取mysql数据到kafka的工具canal,此处已经配置好,解压稍微修改即可使用。

2018-12-21

配置过得canal包,直接解压,稍微修改一下即可用

基于实时抽取mysql的binlog日志到kafka的组件,已经配好,稍微修改即可使用。

2018-12-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除