php一次处理200万条数据库,mysql - php随机生成200万条记录中有很多重复的

我在mysql优化的时候，随便建立了一张临时表，生成200W条数据，但是不明白，生成的记录中有重复的，而且还比较多，不解

在此谢谢诸位了

$conn=new mysqli("localhost","root","","test");

$conn->query("set names utf8");

function str_rand($num){

$str="abcdefghijkmnpqrstuvwxyz0123456789";

$return_str="";

for($i=0;$iprepare($sql);

for($i=1;$i<=2000000;$i++){

$title=str_rand(rand(3,30));

$author=str_rand(rand(3,20));

$keywords=str_rand(rand(10,100));

$descrition=str_rand(rand(30,255));

$mysqli_stmt->bind_param("issss",$i,$title,$author,$keywords,$descrition);

$res=$mysqli_stmt->execute();

}

$mysqli_stmt->close();

$conn->close();

备注：执行时间过长，肯定超过了php的最大执行时间，修改了配置文件，插入的数据中，100条以后的记录中，比如查询title='xxx'的字段，能查询出1.4W多条

回复内容：

我在mysql优化的时候，随便建立了一张临时表，生成200W条数据，但是不明白，生成的记录中有重复的，而且还比较多，不解

在此谢谢诸位了

$conn=new mysqli("localhost","root","","test");

$conn->query("set names utf8");

function str_rand($num){

$str="abcdefghijkmnpqrstuvwxyz0123456789";

$return_str="";

for($i=0;$iprepare($sql);

for($i=1;$i<=2000000;$i++){

$title=str_rand(rand(3,30));

$author=str_rand(rand(3,20));

$keywords=str_rand(rand(10,100));

$descrition=str_rand(rand(30,255));

$mysqli_stmt->bind_param("issss",$i,$title,$author,$keywords,$descrition);

$res=$mysqli_stmt->execute();

}

$mysqli_stmt->close();

$conn->close();

备注：执行时间过长，肯定超过了php的最大执行时间，修改了配置文件，插入的数据中，100条以后的记录中，比如查询title='xxx'的字段，能查询出1.4W多条

PHP的rand()采用的是伪随机算法，其产生的数据是有规律的。

给你一张真随机产生的数据分布图和一张PHP rand()产生的数据分布图，结果一目了然。

真随机：结果均匀分布

PHP rand()：有明显条纹(规律性)

而用mt_rand()就不存在这样的问题

php7的random_int()会比mt_rand()再好一些

如果需要产生无重复的随机数列，一般是预先生成一个连续的数列，存到一个list里面。然后通过伪随机算法获取index，取出数值；或者写一个洗牌方法打乱该连续数列，通过伪随机算法控制洗牌，然后顺序读取。

当然，伪随机算法最重要的还是种子的选择。种子的来源最常用的当然是当前时间戳。也可以有其他的方式，这些网上很多关于随机数种子的文章，可以去看看。

引用PHP手册中对mt_rand()函数的介绍：

很多老的 libc 的随机数发生器具有一些不确定和未知的特性而且很慢。PHP 的 rand() 函数默认使用 libc 随机数发生器。mt_rand() 函数是非正式用来替换它的。该函数用了 » Mersenne Twister 中已知的特性作为随机数发生器，它可以产生随机数值的平均速度比 libc 提供的 rand() 快四倍。

你需要把rand()换成mt_rand()，另外可以使用GUID来生成唯一数据。

本文原创发布php中文网，转载请注明出处，感谢您的尊重！