猫眼top前100电影爬取demo（正则初试）

import json
import requests
import re

def get_one_page(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?<a.*?title="(.*?)".*?<img.*?alt.*?src="(.*?)".'
                         '*?</p>.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer">(.*?)</i>.*?fraction">'
                         '(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    for item in items:
        yield {
            'index':item[0],
            'title':item[1],
            'image':item[2],
            'actor':item[3].strip()[3:],
            'time':item[4],
            'score':item[5]+item[6]
        }

def write_to_file(content):
    with open('result.txt','a',encoding='utf-8') as f:
        f.write(json.dumps(content,ensure_ascii=False) + '\n')
        f.close()

def main(number):
    url = 'https://maoyan.com/board/4?offset=' + str(number)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

for i in range(10):
    main(i * 10)

def get_one_page(url):

 首先获取页面信息（这里通过尝试，并没有网页没有对爬虫进行限制），定义了一个函数

requests库简单应用

https://www.cnblogs.com/ronghe/p/9159686.html

这里参考上丄博客；

1，requests.get("http://www.baidu.com")

使用基本get请求，获取网页内容，返回一个Response对象

>>> print(type(requests.get("http://www.baidu.com")))
<class 'requests.models.Response'>

接下来对于这个对象进行处理：Response 对象包含服务器返回的所有信息，也包含请求的 Request 信息

r.status_code

HTTP 请求的返回状态码

返回请求状态码，这里200为返回正常 

r.text

HTTP 响应内容的字符串形式，即：URL 对应的页面内容

r.encoding    为预计编码方式 r.apparent_encoding   为实际网页编码方式

通过响应属性里面的r.text   HTTP 响应内容的字符串形式，即：URL 对应的页面内容

得到我们想要的原网页代码信息。 

异常处理（防止程序直接崩溃掉）

异常处理格式：

try:
    程序部分
expect Exception as 异常名称:
    异常处理部分

这里异常一般定义在循环里边，对于循环体进行异常处理，跳出此次循环接着进行下次循环

def parse_one_page(html):

yield 这里是个生成器。

其次获取网页源代码后，进行提取需要的数据

这里使用正则表达式，依据网页源码进行对比，将需要的数据放在（）里，进行数据提取。

这里正则需要与源码进行比对，否则会出错：

这里源码进行比对

def write_to_file(content):

 这里写入文件，

遗留问题：

写入的时候只能使用‘a‘的方式进行写入，其他方式会出现问题，具体后续补加。

写入分别写入排名，标题，图片链接，主演上映时间与评分

问题遗留：

所有的代码具体问题后续补加，这里先贴代码以及简单思路。