洗数据的那些坑

     最近爬虫爬来好多数据，清洗入库过程中遇到一些小磕磕绊绊，现总结一下。

一、JSON字符串格式的数据

      

      1.首先解析json字符串，并提取出相应字段，但每个json文本的字段不一定全都有，提取字段值时会出现因找不到key值而报错，此时可以用python的三元表达式，解析提取代码如下：

      

     2.将解析提取字段插入数据库，发现数据库的数据是乱码，解析数据和数据库编码不同导致，因此需要在入库时用MySQLdb.escape_string()函数进行强制编码：

     

      3.插入数据时报错：ValueError: Invalid \escape: line 1 column 35442 (char 371)，这是因为解析字段中含有单引号，反斜杠等不用转义的特殊符号，解决办法有（1）删除特殊符号；（2）用其它符号进行替换，入库后再替换回来；（3）待发现。。。。

      如果进行删除或是替换，需要现在数据库中查找出来，查找反斜杠需要加2条反斜杠进行转义；但是替换时只需要加一根反斜杠；单引号查找和替换一样，加一根反斜杠；直接将单引号替换为空或是中文的单引号。

     (1)select  content from tem_company where content like '%\\\%'; 

     (2)update tem_company set content = replace(content,'\\','/');

     (3)update  tem_company set content = replace(content,'\'','') ;

 

 

 

     

      

 

 

    

 

转载于:https://www.cnblogs.com/kkdaddd/p/7910174.html