python 爬取 js渲染_python 爬取世纪佳缘,经过js渲染过的网页的爬取

#!/usr/bin/python

#-*- coding:utf-8 -*-

#爬取世纪佳缘

#这个网站是真的烦，刚开始的时候用scrapy框架写,但是因为刚接触框架,碰到js渲染的页面之后就没办法了,所以就采用一般的爬虫了

#js渲染过的数据，可能在网页源码里面没有数据，需要js异步请求提取数据，然后展示，所以爬取这类的数据，只需要找到js发送请求的url就行了

#js发送的请求可能是post(比如这个例子)或者是get(比如豆瓣电影剧情的排行榜),所以要看好是什么请求

import sys

import json

#from lxml import etree

import urllib

import urllib2

reload(sys)

sys.setdefaultencoding("utf-8") #设置默认的编码格式,把Unicode格式转换成汉字写到文件里面的时候需要用到,要配合decode("unicode_escape")使用

class shiji():

def __init__(self):

self.page = 1 #初始化页面的第几页

self.filename = open("sj.json","w") #打开文件用于写入数据

def parse_page(self):

url = "http://search.jiayuan.com/v2/search_v2.php?" #初始url的前半段,加上后半段发送的是post请求

headers = {"User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}

formdata = {

"sex":"f",

"key":"",

"stc":"1:11,2:20.25,3:160.170,23:1",

"sn":"default",

"sv":"1",

"p":self.page, #每次数据js异步提取数据的时候只有p变化了,p对应于当前页面是第几页

"f":"select",

"listStyle":"bigPhoto",

"pri_uid":"170633820",

"jsversion":"v5"

}

data = urllib.urlencode(formdata)

request = urllib2.Request( url ,data = data , headers = headers)

response = urllib2.urlopen(request)

# print response.info().get('Content-Encoding') #这会打印出服务器返回数据的压缩方式,如果未有压缩则返回None

js = response.read() #返回的response.read()是json格式的,但是首和尾多了一段字符串"##jiayse##"和"##jiayse##",所以下面就处理一下

#print type(js) #字符串类型

js = js.replace("##jiayser##","").replace("//","") #字符串里很牛X的一个函数replace()

#print js

content = json.loads(js) #字典类型(这个字典是大字典,key只有isLogin、count、pageTotal、userInfo，其中userInfo是每个人的资料)

self.parse_person(content['userInfo']) #调用parse_person函数处理大字典的ueerInfo(还是字典类型的),即每个人的资料

# print type(content['userInfo'])#字典类型

def parse_person(self,userinfo):

for i in range(len(userinfo)):

form = {"昵称":userinfo[i]['nickname'],"年龄":userinfo[i]['age'],"内心独白":userinfo[i]['shortnote']} #把要爬取的数据写成一个字典

#print form

#print type(form)

#不能把dict和list类型直接写入文件, 把字典写入json文件的时候要把字典转换成json字符串才行(json.dumps(form))

#decode("unicode_escape")表示把unicode格式转换成汉字,但用一个这竟然还不行!还要加上上面的import sys... , 真麻烦

form = json.dumps(form).decode("unicode_escape")

self.filename.write(form+"\n") #写入文件

if self.page <10: #这里随便写self.page,只要不超过页面加载的范围就行

self.page+=1

self.parse_page() #自加一之后在调用parse_page()函数进行换页,然后接着爬

if __name__ == "__main__":

sj = shiji()

sj.parse_page() #调用parse_page()函数开始爬取

写这个爬虫浪费了一天的时间。。。我是真的菜。

错误总结：

关于unicode编码转汉字的方法以及UnicodeEncodeError: 'ascii' codec can't encode characters in position问题:

https://www.cnblogs.com/technologylife/p/6071787.html

http://blog.sina.com.cn/s/blog_64a3795a01018vyp.html

把dict写入文件的时候碰见的报的typeError的解决办法: http://blog.csdn.net/guoweish/article/details/47106263

另外加一篇ubuntu vim撤销操作的博客 http://blog.sina.com.cn/s/blog_7e9efc570101ays3.html

收获:这次的收获还可以，解决了很多没见过的bug，第一次爬取js渲染的网页的数据，值得记得的是：(1).js渲染过得网页怎么找数据来源(f12 network XHR 找是post请求还是get请求)，(2)字符串的强大替换函数replace，(3)字典写入文件怎么处理 (先转换成json的字符串再写入)，(4)unicode转汉字怎么处理(import sys + decode("unicode_escape"))