mysql
文章平均质量分 67
zfszhangyuan
目前专注于大数据领域,希望能安身立命!
展开
-
mysqldump备份成压缩包
可以直接应用mysqldump直接将mysql数据库中的表或者整个数据库备份成压缩格式的包原创 2016-09-12 10:05:45 · 8932 阅读 · 0 评论 -
scala实战之spark读取mysql数据表并存放到mysql库中编程实例
今天简单讲解一下应用spark1.5.2相关读取mysql数据到DataFrame的接口以及将DF数据存放到mysql中接口实现实例。通过这段代码可以实现从mysql关系型数据库中直接读取数据转化成DataFrame参与到sparksql的分析当中这个意义是非常重大的,因为我们日常应用sparksql进行数据分析时经常会用到一些配置表,而这些配置定义表都是存在关系型数据库中,所以以后不用担心了。另外这里还实现了DataFrame结果回写到mysql数据库中,虽然官方的spark源码的写入有些奇葩,设定的原创 2016-09-20 11:05:19 · 17947 阅读 · 1 评论 -
mysql备份之主从和主主
今天来讲一下mysql服务器的主从备份环境的搭建和配置(主主其实是主从演变而来,即两台机器互为主从关系:你配了从服务器同步主服务器的日志文件,同时也配置了主服务器同步从服务器的日志文件,这样就形成了主主,即你无论在那台机器操作相应的数据变化都会映射到另外一台机器上)原创 2016-09-08 08:56:15 · 4520 阅读 · 0 评论 -
mysql备份之mysqldump
我们知道mysql的容灾策略常见的有以下几种:1、设置mysql的主从备份,主服务器用于对外提供数据服务,从服务只用与同步主服务器的数据,当主服务器挂了,磁盘坏道或者故障,从服务器可以接替主服务器继续进行工作。(当然我们可以设置主主:即两台都可以做主服务器都可以写,同时备份各自的数据)2、利用mysql自带的工具mysqldump备份,你可以备份单个表,有选择的备份多个表,也可以备份全库,他的速度要比直接用navicat转载成sql文件要快很多,一般我的做法是每日备份核心表,每周备份全库3、开启mys原创 2016-09-07 15:17:54 · 4164 阅读 · 0 评论 -
mac pro 安装mysql并且配置my.cnf(添加默认字符集utf8,数据存放路径,修改已经建好的表的默认字符集等)
mac pro 安装mysql并且配置my.cnf(添加默认字符集utf8,数据存放路径等)并且对相关问题的解决方案。原创 2016-09-19 19:10:54 · 22199 阅读 · 2 评论 -
scala实战之spark源码修改(能够将DataFrame按字段增量写入mysql数据表)
在上一篇博文中,我们可以简单的应用官网的给出的一些接口提取mysql数据表中的数据到spark中,也可以将spark的运行结果存入mysql中。但是我们会发现spark将其DF存入mysql的时候,无论你选择什么模式:jdbcDF.write.mode(SaveMode.Overwrite).jdbc(url,"zfs_test",prop)jdbcDF.write.mode(SaveMode.Append).jdbc(url,"zbh_test",prop)结果都是会重建这个表。这样一来这个表之原创 2016-09-23 11:26:31 · 7662 阅读 · 2 评论