从Mysql某一表中随机读取n条数据的SQL查询语句

从 Mysql 表中随机读取数据不难,方法还挺多的,但是如果要考虑效率,得到一个快速的高效率的方法

随机获得Mysql数据表的一条或多条记录有很多方法,下面我就以users(userId,userName,password……)表(有一百多万条记录)为例,对比讲解下几个方法效率问题:


  1. select * from users order by rand() LIMIT 1
    执 行该sql语句,老半天没有反应,最后被迫手动停止执行,怎个伤人了得啊!后来我查了一下MYSQL手册,里面针对RAND()的提示大概意思就是,在 ORDER BY从句里面不能使用RAND()函数,因为这样会导致数据列被多次扫描,导致效率相当相当的低!效率不行,切忌使用!

  2. SELECT * FROM users AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(userId) FROM `users`)-(SELECT MIN(userId) FROM users))+(SELECT MIN(userId) FROM users)) AS userId) AS t2 WHERE t1.userId >= t2.userId ORDER BY t1.userId LIMIT 1
    执行该sql语句,用时0.031s,效率没说的,相当的给力!心里那个爽啊,紧接着,我把”LIMIT 1“改为了”LIMIT 100“ 随机取一百条记录,用时0.048,给力吧。可是就在此时问题出现了,发现结果好像不是随机的?为了验证结果,又执行了N次,真不是随机的, 问题出现在”ORDER BY t1.userId“这里,按userId排序了。随机取一条记录还是不错的选择,多条就不行了啊!

  3. SELECT * FROM users WHERE userId >= ((SELECT MAX(userId) FROM users)-(SELECT MIN(userId) FROM users)) * RAND() + (SELECT MIN(userId) FROM users) LIMIT 1
    执行该sql语句,用时0.039s,效率太给力了!接着我就把”LIMIT 1“改为了”LIMIT 10000“,用时0.063s。经过多次验证,哥对灯发誓,结果肯定是随机的!
    结论:随机取一条或多条记录,方法都不错!

  4. 通过sql获得最大值和最小值,然后通过php的rand生成一个随机数randnum,再通过SELECT * FROM users WHERE userId >= randnum LIMIT 1,获得一条记录效率应该还可以,多条应该就不行了。

  5. 结论:方法1效率不行,切忌使用;随机获得一条记录,方法2是相当不错的选择,采用JOIN的语法比直接在WHERE中使用函数效率还是要高一些的,不过方法3也不错;随机获得多条记录,方法3没说的!

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
可以使用Flink的JDBC连接器来读取MySQL数据,并使用Flink SQL数据进行分析和转换,然后再使用JDBC连接器将结果写入另一个MySQL表中。 以下是一个简单的示例代码: ```java //创建Flink环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); //创建MySQL连接器 JdbcConnectionOptions connectionOptions = JdbcConnectionOptions.builder() .withUrl("jdbc:mysql://localhost:3306/mydatabase") .withDriverName("com.mysql.jdbc.Driver") .withUsername("myuser") .withPassword("mypassword") .build(); JdbcCatalog catalog = new JdbcCatalog("mycatalog", connectionOptions); tableEnv.registerCatalog("mycatalog", catalog); //读取MySQL数据 String sourceTable = "mytable"; String sql = "SELECT * FROM " + sourceTable; Table source = tableEnv.sqlQuery(sql); //SQL分析并转换 String resultTable = "result"; sql = "SELECT col1, col2, col3 FROM " + sourceTable + " WHERE col1 > 10"; Table result = tableEnv.sqlQuery(sql); //写入MySQL表 JdbcOutputFormat jdbcOutputFormat = JdbcOutputFormat.buildJdbcOutputFormat() .setDBUrl("jdbc:mysql://localhost:3306/mydatabase") .setDrivername("com.mysql.jdbc.Driver") .setUsername("myuser") .setPassword("mypassword") .setQuery("INSERT INTO myresulttable (col1, col2, col3) VALUES (?, ?, ?)") .finish(); DataStream<Row> dataStream = tableEnv.toAppendStream(result, Row.class); dataStream.addSink(new JdbcOutputSinkFunction(jdbcOutputFormat)); //执行任务 env.execute("MySQL to MySQL"); ``` 需要注意的是,在写入MySQL表时,需要使用JdbcOutputFormat和JdbcOutputSinkFunction来实现。其中,JdbcOutputFormat需要设置数据库连接信息和写入语句,JdbcOutputSinkFunction将Table转换为DataStream后,再使用JdbcOutputFormat将数据写入MySQL表中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值