数据自动采集器

        数据自动采集器（Data Scraper）是一种自动化工具，用于从互联网上提取数据并将其转换为有用的信息。这些工具通常使用Web爬虫程序来提取数据，其目的是帮助用户节省时间和精力。数据自动采集器可以从互联网上的各种网站和应用程序中提取数据，包括电子商务网站、社交媒体、论坛、新闻网站等。它可以帮助用户采集有用的数据，如产品定价、销售趋势、客户反馈等，并将其存储为结构化数据或导出到其他应用程序中。数据自动采集器为企业和研究人员提供了极大的便利和效率，帮助他们快速获得所需的数据并做出决策。

 

        最近试着帮一位同事制作了一个批量数据采集器，同事因每天需要完成领导交代的按手机号查询对应业务使用情况，整个手机号约100个，后期仍会有增、删、改的情况，每个手机号对应4个业务，人工查询一次需要花费约10秒，每次手工查完约花费1个小时。采用自动采集的方式，整个时间缩短为5分钟以内，且不需要人工干预。

设计思路：

功能1：平台账号登录，由于考虑后期可能会更换不同权限账号，该功能是必须的。

功能2：文件读取，将文件中的手机号通过正则的方式全部读取出来，并计算需要查询的数量 。

功能3：日期选择，需求是按手机号，按业务和时间点查询。

功能4：根据文件手机号，日期和4个条件依次查询对应的结果，由于数据量较大，此处需要采用多线程的方法，防止应用在采集过程中出现不响应。

功能5：将功能4中的查询结果显示在tableWidget中，采用viewport().update()可增加采集进度的效果，类似进度条的功能。