快速将大数据(超过1T)导入mysql库

1、源数据超过1T,且都是sql文件,文件大小不等,有的文件大于100G 2、硬件环境:一台liunx服务器,8核32G+5块1T的磁盘(a,b,c,d,e单块磁盘最大写入速度30M/S) 3、mysql版本为5.6 4、要求:24小时内将数据全部导入 问题分析:       考虑到导入...

2018-12-23 16:04:26

阅读数 1465

评论数 0

kafka适用哪些离线同步场景

一、源端为大量小文件,合并为一个大文件存储到hdfs       a)为什么要把小文件合并为大文件 大量的小文件同步到hdfs,对namenode的压力非常大,生成环境是不会允许如此使用集群的。        b)为什么选kafka producer可以将文件内容转成消息发送到topic,...

2018-08-01 17:25:28

阅读数 728

评论数 0

idea远程调试namenode

1、在hadoop-env.sh增加如下配置#hadoop远程debug配置 #远程调试NameNode export HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,s...

2018-04-20 10:42:24

阅读数 222

评论数 0

Hbase 1.2 HA配置

在网上看到很多博客都说要配置backup-masters,实际上是不用配置的。1、配置Hbase集群使用自带的zookeeper还是另外的zookeeper集群,我使用的是自己单独搭建的zookeeper集群,配置如下hbase-env.sh # Tell HBase whether it sho...

2018-04-03 21:04:27

阅读数 75

评论数 0

hive 启动metastore服务自动建表报Specified key was too long; max key length is 767 bytes

查看/tmp/${user}/hivemetastore.log日志,发现报错的表的create语句的主键字段的长度为256, 从报错提示来看,就是说主键太长了,查看hivemeta库的其他表的字符类型,发现为UTF-8, 这就很明白了,为什么报错?因为256*3=768>767。 查...

2018-03-30 11:51:44

阅读数 41

评论数 0

提示
确定要删除当前文章?
取消 删除