Python 生成测试数据的常用第三方库整理

伪数据(Fake Data)

什么是伪数据?顾名思义,亦即假数据,是在真实产品数据无法使用的情况下,产生的接近于产品环境的数据,多用于开发和测试。

正如早前在 CSDN 发布的文章 《想学 pandas 数据分析吗?为你快速生成一份测试数据》 一样,当遇到这样的一个问题时,“使用 Pandas 计算学生成绩相似的 10 个学生”,我们可以采集真实的数据,也可以使用模拟的测试数据,但如果模拟数据是手工造的话,就比较费时费力了,可能会出现诸如“王小明1,王小明2,王小明3”这样的姓名列表。

好在,Python 中有很多第三方库,可以很方便地造出用于测试的伪数据,而且有些还支持中文 。

Python 伪数据生成常生第三方库整理

这里整理了比较常用的伪数据生成第三方库,包括有:

  • fake2db - Fake database generator.
  • faker - A Python package that generates fake data.
  • mimesis - is a Python library that help you generate fake data.
  • radar - Generate random datetime / time.
  • lipsum - is a simple Lorem Ipsum generator library which can be used in your Python applications.

接着,再来看看这些库的极简使用。

fake2db

这是一个可以给数据库填充伪数据的 Python 库,所支持数据库包括 sqlite, mysql, postgresql, mongodb, redis, couchdb.

安装 fake2db
pip install fake2db
使用 fake2db
--rows argument is pretty clear :) integer

--db argument takes 6 possible options : sqlite, mysql, postgresql, mongodb, redis, couchdb

--name argument is OPTIONAL. When it is absent fake2db will name db's randomly.

--host argument is OPTIONAL. Hostname to use for database connection. Not used for sqlite.

--port argument is OPTIONAL. Port to use 
  • 1
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Python 爬虫常用第三方库有很多,以下是其中比较常用的一些: 1. requests:用来发送 HTTP/1.1 请求,可以模拟浏览器向网站发送请求并获取响应。使用简单,功能强大,支持 HTTP/HTTPS 协议。 2. BeautifulSoup:用来解析 HTML/XML 文档,可以快速从网页中提取所需的信息。使用简单,支持多种解析器。 3. Scrapy:一个基于 Python 的开源网络爬虫框架,可以用来抓取网页、提取数据、处理数据等。功能强大,支持分布式爬取。 4. Selenium:用于自动化测试和网页爬取的工具,可以模拟浏览器操作,获取动态生成的内容。支持多种浏览器,可以通过插件扩展功能。 5. PyQuery:是 jQuery 库的 Python 实现,可以用来解析 HTML/XML 文档,并使用类似 jQuery 的语法来查询和操作文档中的元素。 6. Pymongo:是 MongoDB 的 Python 驱动程序,可以用来连接 MongoDB 数据库,并进行数据的读写操作。 7. Pillow:Python 图像处理库,可以用来打开、创建、保存各种图像文件,并进行图像处理、编辑等操作。 8. Pytesseract:是 Google 开发的 OCR(Optical Character Recognition)引擎,可以用来识别图片中的文字。 9. Pandas:Python 数据分析库,可以用来处理和分析各种数据,支持数据清洗、转换、合并、分组、统计等操作。 以上是常用的一些 Python 爬虫第三方库,具体使用需要根据自己的需求选择。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值