python爬取猫眼影评并保存为文本文件

写在前面

第一次写博客。。记录下自己学习python的过程。

这是一个标题

1：用到的包

import requests
import json
import time
import sys

2：构造URL

#构造url
    urls = []
    movieID = '1375'#这个是《活着》的电影ID
    for i in range(100):
        urls.append('https://m.maoyan.com/mmdb/comments/movie/' + movieID + '.json?v=yes&offset=' + str(i*15) + '&limit=20&ts=0')
#其实一行代码就能解决。。我太菜了

3：读取网页

def get_data(url,headers):
    r = requests.get(url,headers = headers)
    #r.encoding = r.apparent_encoding
    #如果r.status_code = 200说明能够获取网页数据
    if r.status_code == 200:
        #print(r.status_code)
        return r.text
    else:
        print('error')
        return None

4：获取json数据

def parse_data(html):
    #获取json数据，如果出了验证码则返回错误信息
    try:
        data = json.loads(html,encoding = 'utf-8').get('cmts')
        #处理json数据防止乱码
        non_bmp_map = dict.fromkeys(range(0x10000,sys.maxunicode + 1),0xfffd)
        comments = []
        #获取json数据中的'content'值
        for i in range(len(data)):
            comments.append(data[i]['content'].translate(non_bmp_map) + '\n')
        #time.sleep(0.5)
        return comments
    except Exception as e:
        print('无法获取json数据，请检查是否出现验证码！')

5：解决编码错误

#对于包含特殊字符的数据，调用sys进行处理
non_bmp_map = dict.fromkeys(range(0x10000,sys.maxunicode + 1),0xfffd)
#再对特殊字符串进行处理，如下
name.translate(non_bmp_map)
#不这样做的话会报编码错误

6：保存为txt

def save_data(urls,headers):
    for url in urls:
        try:
            html = get_data(url,headers)
        except Exception as e2:
            print(e2)
        comments = parse_data(html)
        #影评保存为文本文件
        for item in comments:
            with open('yingping.txt','a',encoding = 'utf-8') as y:
                y.write(item)
                y.close()
            #print(item)
        #爬的太快了要停顿一下，不然为出现验证码
        time.sleep(1)

7：主函数

if __name__ == '__main__':
    #构造url
    urls = []
    movieID = '1375'
    for i in range(100):
        urls.append('https://m.maoyan.com/mmdb/comments/movie/' + movieID + '.json?v=yes&offset=' + str(i*15) + '&limit=20&ts=0')
    #设置请求头
    headers = {
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
	}
    #如果文件不存在,则创建文件;如果文件存在,则清空文件内容
    with open('yingping.txt','wt',encoding = 'utf-8') as y:
        y.close()
    try:
        save_data(urls,headers)
    except Exception as e1:
        print(e1)

完整代码

import requests
import json
import time
import sys

def get_data(url,headers):
    r = requests.get(url,headers = headers)
    #r.encoding = r.apparent_encoding
    #如果r.status_code = 200说明能够获取网页数据
    if r.status_code == 200:
        #print(r.status_code)
        return r.text
    else:
        print('error')
        return None

def parse_data(html):
    #获取json数据，如果出了验证码则返回错误信息
    try:
        data = json.loads(html,encoding = 'utf-8').get('cmts')
        #处理json数据防止乱码
        non_bmp_map = dict.fromkeys(range(0x10000,sys.maxunicode + 1),0xfffd)
        comments = []
        #获取json数据中的'content'值
        for i in range(len(data)):
            comments.append(data[i]['content'].translate(non_bmp_map) + '\n')
        #time.sleep(0.5)
        return comments
    except Exception as e:
        print('无法获取json数据，请检查是否出现验证码！')

def save_data(urls,headers):
    for url in urls:
        try:
            html = get_data(url,headers)
        except Exception as e2:
            print(e2)
        comments = parse_data(html)
        #影评保存为文本文件
        for item in comments:
            with open('yingping.txt','a',encoding = 'utf-8') as y:
                y.write(item)
                y.close()
            #print(item)
        #爬的太快了要停顿一下
        time.sleep(1)

if __name__ == '__main__':
    #构造url
    urls = []
    movieID = '1375'
    for i in range(100):
        urls.append('https://m.maoyan.com/mmdb/comments/movie/' + movieID + '.json?v=yes&offset=' + str(i*15) + '&limit=20&ts=0')
    #设置请求头
    headers = {
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
	}
    #如果文件不存在,则创建文件;如果文件存在,则清空文件
    with open('yingping.txt','wt',encoding = 'utf-8') as y:
        y.close()
    try:
        save_data(urls,headers)
    except Exception as e1:
        print(e1)

结果

很好，没有出现乱码！

爬了有300条就这样了。。

写在后面

第一次写博客，不得不说，是一次很有意义的尝试呢。