已爬取数据的清洗与存储

4月12日

实现了招聘信息的爬取功能之后，我们需要把爬取到的数据进行数据清洗与数据库存储。首先，整理获得的数据，将少数不规整的无效信息去除；其次，优化数据的表现形式，将不同格式的数据处理成统一的形式；然后，设计数据库表的存储形式，并在数据库中建立表；最后，通过Scrapy框架的数据管道连接数据库，将处理好后的数据存储至数据库中。

数据清洗：

数据清洗指的是通过程序将数据文件中可识别的错误发现并纠正，处理无效值和缺失值，并提供数据一致性。对于此次项目从招聘网站中获取的信息，我们需要去除不规整的无效数据，再将不同格式的数据处理成统一的形式。

我对通过爬取获得的数据进行观察与分析，有些网页的数据项不齐全，在处理过程中无法获取到该条招聘信息完整的数据；有些数据由于网页信息的展示不规整，爬取到的数据项错位，对于这些无效或是错误的数据，我们应该将其去除。对此，通过在存储数据之前进行的判断，确定数据的有效项目数是否齐全，跳过无效或是错误数据的存储，代码体现在数据管道的存入过程中。

由于从各个网页中获取到的数据表现形式不一，我经过如下分析与处理，优化数据的表现形式，保证数据的一致性。

• 从网页中获取的head_count项数据都是以字符串的形式表现的，且有些数据条目中没有确切的量，而在数据库中使用int型存储将会有更好的比较与筛选效果。所以，我将head_count项的数据进行处理，去除无关的字符，并将数字部分转换成int类型，其中“若干人”用-1来存储表示。实现代码如下：

head_count = q('.j_info div div span::text').extract()[0]
head_count = head_count.replace('人', '').replace('若干', '-1')
item['head_count'] = head_count

• 对于address数据项，项目中只需要获取企业所在的城市，而有些数据会标注出某个城市具体的区，这些属于无用信息，甚至会影响到我们后面的搜索查询，所以我们需要将区的信息去除；另外，有些