mysql
文章平均质量分 60
空着这扇窗
朝着梦想努力
展开
-
MYSQL数据库间同步数据
环境要求:Windows 操作系统需要MySQL 3.23.15以后的版本。假设数据库A为主机,数据库B为从机(A向B提供同步服务,即B中的数据来自A)A机器:IP=10.10.151.166B机器:IP=10.10.151.156下面看单向同步的配置步骤:1 在机器A中建立一个新的数据库,sql语句:[sql] view plain转载 2017-05-31 15:48:01 · 473 阅读 · 0 评论 -
多台服务器mysql数据库数据同步
Mysql多机同步技术研究总结假定有三台Mysql服务器,他们的IP地址分别为:192.168.1.8192.168.1.88192.168.1.188在192.168.1.8的安装目录下找到my.ini文件,在该文件的最后加上:server-id=1log-bin#asyntest1是我用来试验的数据库名称,到时候要换成你的数据库名字binlog-do-d原创 2017-05-31 17:08:07 · 2905 阅读 · 0 评论 -
mysql查询优化
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或3.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 可以在num上设置默认值0,确保表中原创 2017-06-29 11:20:25 · 272 阅读 · 0 评论 -
kafka->spark->streaming->mysql(scala)实时数据处理示例
开发环境windows7 64、intellij idea 14.1.5、Spark-1.5.2、Scala 2.0.4、java1.7、maven3.05将spark中的assembly包引入即可使用local模式运行相关的scala任务,注意不要使用scala2.11,非要使用的话先用这个版本的scala编译一遍spark哈代码部分pom文件先附上pom转载 2017-06-09 10:53:38 · 849 阅读 · 0 评论 -
使用Flume将MySQL表数据实时抽取到hadoop
一、为什么要用到Flume 在以前搭建HAWQ数据仓库实验环境时,我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS,然后用HAWQ的外部表进行访问。这种方式只需要很少量的配置即可完成数据抽取任务,但缺点同样明显,那就是实时性。Sqoop使用MapReduce读写数据,而MapReduce是为了批处理场景设计的,目标是大吞吐量,并不太关心低延时问题。就像实验中所做的转载 2017-07-10 11:34:02 · 1305 阅读 · 0 评论