如何快速生成2000万行数据

最新推荐文章于 2023-07-25 11:37:59 发布
最新推荐文章于 2023-07-25 11:37:59 发布
阅读量2.1k 收藏
点赞数
分类专栏： Linux Config/Shell/Tools

原文：http://bbs.chinaunix.net/thread-4124034-1-1.html

文本三个要求

1，字符串长度为16  
2，字符串只能包含大小写字母和数字（随机的）
3，要求生成2000万行的TXT文本

想通过shell完成，不知最快需要多久

生成的部分文本：

    hISzOp0nkN9d2Amg
    Ztv3RtSMDXjjxqBa
    hyGpHQjO7qw0kMEL
    1Rbx0t4Rsha8OpI4
    QQiZTaLrVOuL7fbH
    wpVEjkVyhHJKFYbg
    5HGXesXmx8eJs1cF
    mTtRyMbwSUfRqIjz
    g0lJnydsFLwZ4MwY
    b7zWqdRQpvmsew8a
    spxYyPDaYb7mBpr1
    qgYakerzuTshVgo4
    k0cOnDR8HLCYOoRS

shell命令： 

tr -dc A-Za-z0-9 < /dev/urandom |fold -w 16 |head -20000000 >file


ishouyong
关注
专栏目录
【Java实践】用java代码快速造顺番数据1到2000万行
weixin_40580074的博客
04-29 263
[01] 开发说明 [02] 代码实现 [03] 参考出处 [01] 开发说明 着手的项目在做性能测试，需要大量数据从1到2000w的顺番。 如果是用Excel的公式做的话1万条很简单，但是2000万条的话立马选择狗带了。 vb没学过也不会用，刚好学过java，可以试着写段代码。 【开发要求】： 出力txt文档格式，从1开始到2000万。16位数一行，且数字左侧补0。 0000000000000001 0000000000000002 0000000000000003 ... 00000000199999
用java代码生成一千万条数据记录，存放到txt文件中
weixin_43303023的博客
06-21 1103
package demo; import java.io.BufferedWriter; import java.io.FileWriter; import java.util.UUID; public class test02 { public static void main(String[] args) { try { FileWriter w = new FileWriter("D:/1.txt"); BufferedWriter bw= new BufferedWriter(w
Java千万级别数据生成文件思路和优化
chensiwu7100的博客
07-17 374
一年前写过一个百万级别数据库数据生成配置xml文件的程序，程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去。 程序刚开始设计的时候说的是最多百万级别数据，最多50W数据生成到一个xml文件里面去，所以在做测试的时候自己也只是造了100W的数据并没有做...
生成1000万行7位数字文件（编程珠玑）
weixin_33976072的博客
02-09 201
生成1000万行7位数字文件（编程珠玑） 今天看《编程珠玑》排序的问题。输入是一个千行文件。每行是7位数字。而且无反复。搜索了下。没有现成的数据集，所以简单用python生成了下。尽管简单！ 思路：顺序生成，然后shuffle。 #!/usr/bin/python f = ope...
如何快速生成1-1000w的数字到txt文件中
qq_37941471的博客
08-24 3144
方法一：使用Excel表 1. 在A列的第一行输入：1 2. 点击1的方格，选择上方栏目的“编辑”—>“填充”—>“序列” 3. 按照以下方式填写：终止值为10000000，点击“确定”，表格则会自动会按照升序的方式填写1000w的数字 4. 最后一步：另存为文件为“.txt”格式，点击存储，会提示格式不对，点击确定即可。 方法二：使用shell脚本输出 #!/bin/bash for ((i=1;i<=10000000;i++)) do echo "$i" >> .a
千万行csv大文件快速导入mysql
qq_43644046的博客
02-08 6747
最近尝试csv文件导入，因为之前太菜就用普通图形窗口导入，但是速度很慢，于是做了总结：目前我这里一共两种方法：一.图形化图形化界面，找到电脑左下角的开始，找到wokbench 这个可视化软件，没有的是当初安装mysql没有下载他的可视化捆绑程序，自己可以百度解决。 运行程序后，进入root 在下图空白处右键，Create schema建立新的数据库 然后找到刚刚建立的数据库左侧角标点击展开，在Table上鼠标右键，选择Table Data Import Wizard. 选择csv文件路径,然后点击next
Oracle中如何用一条SQL快速生成10万条测试数据
12-22
本文将深入探讨如何利用一条SQL语句在Oracle中快速生成10万条测试数据，这对于数据库管理员和开发人员来说是一项极为实用的技能。 ### 核心知识点：使用SQL生成大量测试数据 #### 1. **理解ROWNUM和CONNECT BY ...
oracle快速生成上千万条测试数据
小小马里奥的博客
02-18 1649
话不多说直接上代码 insert into student (ID,XM,ZJH,ZL,DJSJ,XYSJ) select rownum as ID, dbms_random.string('x',2) as XM, trunc(dbms_random.value(100000000000000000,999999999999999999))...
Oracle快速生成大量测试数据
Nero Zhang的博客
10-16 8698
最近有个小模块，是在灾备机之间拷贝备份数据，同时把相关的数据表也拷贝到目标系统上。 这里涉及到一个问题：Oracle表空间达到上限之后怎么处理？ 一般来说，将表空间设置为自增，不限制最大容量可以满足大部分需求。但是，即便是表空间不设置上限，数据文件的大小也是会有最大值的，这是因为Oracle 数据文件最多可以包含 4194303 个 Oracle 数据块，通常数据块大小为8KB，也就是说，文件...
arcgis快速生成图框_arcgis图框的制作
weixin_32842805的博客
12-30 8936
ArcGIS问题：图框的制作1、打开所有文档，包括出图的掩膜文件。2、设置好出图比例尺和页面大小。3、在出图范围外画框，在Drawing-drawarectangle,右键-属性-设置内图廓的宽度为0.5mm，sizeandposition设置左下角距离页边距的距离大于1cm,如设置为1.5cm,然后调整图框的范围、大小。4、点击dataFrame图框，右键-属性-设置外图廓(副图廓宽度...
Linux 脚本产生指定的大文件
最新发布
qq_60271706的博客
07-25 3180
编写一个程序实现随机产生字符串写到一个文件里，一行里必须有50个字符，产生100万行的一个文本文件。产生100万行：for循环；产生随机字符串的命令（mkpasswd）一行里必须有50个字符，如何控制？for，while循环。脚本：big_file.sh big_file.py。产生一个大文件使用重定向：>>随机产生字符串：random。随机产生的字符应该有那些？使用python编写脚本。使用shell编写脚本。
遇到海量数据时，用JAVA如何在几分钟处理完30亿个数据？
uuqaz的博客
05-17 4394
一、场景说明 现有一个10G文件的数据，里面包含了18-70之间的整数，分别表示18-70岁的人群数量统计，假设年龄范围分布均匀，分别表示系统中所有用户的年龄数，找出重复次数最多的那个数，现有一台内存为4G、2核CPU的电脑，请写一个算法实现。 23,31,42,19,60,30,36,........ 二、模拟数据 Java中一个整数占4个字节，模拟10G为30亿左右个数据， 采用追加模式写入10G数据到硬盘里。 每100万个记录写一行，大概4M一行，10G大概2500行数据。 pack
Python本地生成MySQL百万级测试数据
Keep going!
05-31 3255
由于学习需要，需要生成MySQL的百万级测试数据
html在线看万行文件,Directory
weixin_35212670的博客
06-02 150
Directory类用来维护索引目录中的索引文件，定义了创建、打开、删除、读取、重命名、同步(持久化索引文件至磁盘)、校验和(checksum computing)等抽象方法。索引目录中不存在多级目录，即不存在子文件夹的层次结构(no sub-folder hierarchy)。其子类如下图所示，另外下图中只列出了Lucene7.5.0的core模块中的子类，在其他模块，比如在misc模块中还有很...
java几万行数据_java如何复制几百万行的Excel数据？自动拆成多个表？
weixin_30647489的博客
02-13 129
一只甜甜圈好吧，我先理顺一下问题，方便阅读……excel表总共有a,b,c,d四列，其中a,b,c列是存储的数据，d列是表示该行数据要复制的次数，第一行是表头。还有，你说的表是数据库的表还是excel表？更新可以看一下Apache POI这个工具库，专门操作office文档用的。如果只是一次性使用的话，那就不用考虑那么多了，用POI读取excel文档到内存，然后在程序里实现数据复制，再把复制后的数...
shell 生成2000万行的TXT文本
qazhyb1234的专栏
02-10 1505
文本三个要求 1，字符串长度为16   2，字符串只能包含大小写字母和数字（随机的） 3，要求生成2000万行的TXT文本  想通过shell完成，不知最快需要多久 生成的部分文本： hISzOp0nkN9d2Amg Ztv3RtSMDXjjxqBa hyGpHQjO7qw0kMEL 1Rbx0t4Rsha8OpI4 QQiZTaLrVOuL7fbH
利用SQLServer2000与Windows2000Datacenter构建分布式数据仓库
在这个案例中，Microsoft自身就是这个解决方案的受益者，其数据仓库每天能处理超过200万个客户记录，使用有限数量的服务器和硬件设备，包括运行Datacenter Server的八台服务器、Advanced Server的两台服务器，以及...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值