Python项目实战-爬取猫眼电影

如何学习Python爬虫，爬虫的难点其实并不在于爬虫本身。而是各种各样的反爬虫措施。下面以一个小案例分享一下，带你们领略一下python的魅力。

爬取《悲伤逆流成河》猫眼信息，项目源码分享：

'''
在学习过程中有什么不懂得可以加我的
python学习交流扣扣qun，934109170
群里有不错的学习教程、开发工具与电子书籍。
与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。
'''
import requests
from fake_useragent import UserAgent
import json
import pymongo

#保存到数据库
clien=pymongo.MongoClient(host='填写数据库IP')
db=clien.The_cat_s_eye_essay
coll=db.eye_essay

#创建一个随机生成user-aengt的对象
ua=UserAgent()

#提取我们要的短评
def parse_json(json):
    if json:
        items=json.get('cmts')
        i=0
        for item in items:
            data={
                'ID':item.get('nickName'),
                '短评':item.get('content'),