Python爬取猫眼TOP100榜单

前言

最近python的学习有所停滞，就在昨天写了一个爬取猫眼电影TOP100的榜单，参考了网上一些大神的例子，现在就写下我自己学习的代码，供大家参考，网上大神大多数使用了_正则表达式 _，再此我就不在使用正则表达式。

正文

先附上猫眼TOP100榜单的首页网址：http://maoyan.com/board/4?offset=0
在这个网站中，总共是100条数据，每页10条。

#导入库依赖包
#python版本是3.7
import requests
from lxml import etree   #解析网页数据
import time  #时间上稍作延迟，模拟人为收集数据
class MaoYan(object):
    '''下载猫眼电影TOP100榜'''
    def __init__(self):
        '''初始化'''
        self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134'}

    def getOnePage(self,url):
        '''获取网页源码'''
        html = requests.get(url,headers=self.headers)
        return html
   
    '''解析网页数据'''
    def parseOnePage(self, text):
        html = etree.HTML(text)
        #电影名
        names = html.xpath('//p[@class="name"]//text()')
        #主要演员
        stars = html.xpath('//p[@class="star"]//text()')

        for item in range(len(names)):
             yield{
                'names':names[item],
                'stars':stars[item].strip()
             }
    @staticmethod
    def write2File(content):
        with open(r'G:\猫眼.txt', 'a', encoding='utf-8') as f:
            f.write(str(content) + '\n')
            #print(jsons.dumps(content, ensure_ascii=True))

if __name__ == '__main__':

    maoyan = MaoYan()

    for offSet in range(10):#循环爬取10页

        time.sleep(1)#时间上停顿一秒

        urls = 'http://maoyan.com/board/4?offset={}'.format(offSet * 10)
        html = maoyan.getOnePage(urls)
        text = maoyan.parseOnePage(html.text)

        for item in text:
            maoyan.write2File(item)
            print(item)

网站的每一页的网址说明

第一页是：http://maoyan.com/board/4?offset=0
第二页是：http://maoyan.com/board/4?offset=10
第三页是：http://maoyan.com/board/4?offset=20
规律就是offset后边的数字每次➕10。

注意事项

需要注意的是在进行json字典转换的时候，很多人写的是

jsons.dumps()

转换,但是我写了这个，转换出来的不是正常的汉字字符，类似于\u25a2 这样的字符，所以我在

 f.write(str(content) + '\n')

直接用了str()转换。保存的文件是.txt。不知道上面的原因是啥，知道的小伙伴可以下方留言交流。

爬取效果

总共是100条数据

后记

这个代码是完整的代码，可以拿来练手，不规范的地方希望小伙伴指正。转载请注明出处，虽然我也是边学编写，尊重劳动成果。同一篇文章在简书上也有发布。