爬取js包里数据的处理（处理为json）

步骤

 数据在client开头的js包里面，直接对这个包的url发送请求

之后观察返回的数据，并不能直接使用.json转化成json，因为它返回的包括js代码里面的fun这个函数部分。

 对于这个返回对象，自己并没有查找到它是什么对象，或者是有什么具体的方法能够让他返回需要的数据。

直接采取最简单的办法，全部转化成字符串，再对字符串进行操作，主要是进行切片，距离json数据只差一点多余的部分，最后再转化成json：

text_data=response.text
str_data=str(text_data)
#切片删除不需要的部分
str_data=str_data[5:-1]
#再转化成json数据
json_data=json.loads(str_data)
html_data=json_data['data']
books_data=html_data['books']

之后对内容进行遍历，构造每一行数据，再写入文件就可以。

结果：

总结：

1需要找到数据的位置

2处理json数据的时候如果response对象使用.json失败的话，可以直接转化成字符串用正则表达式或者别的字符串的操作。

代码：

导包：