爬虫笔记【豆瓣图书TOP250和猫眼电影TOP100】

参考视频：Python网络爬虫与信息提取北京理工大学【嵩天】
requsts库
BeautifulSoup库
正则表达式

图片

周二珂女神的头像

import requests
url = 'http://tvax2.sinaimg.cn/crop.12.0.1218.1218.180/71e28d79ly8fn19fotj2qj20yi0xu0w9.jpg'
r = requests.get(url)
with open('chloe.jpg','wb') as f:
	f.write(r.content)
	

豆瓣评论

《了不起的盖茨比》

import requests
from bs4 import BeautifulSoup
 r= requests.get('https://book.douban.com/subject/25708359/comments/')
 demo = r.text  
 soup = BeautifulSoup(demo,'html.parser') 
 pattern = soup.find_all('p','comment-content')
 for item in pattern:
	print(item.string)

豆瓣评论总分

《小王子》

import re
import requests
from bs4 import BeautifulSoup

sum = 0

url='https://book.douban.com/subject/1084336/comments/'
r = requests.get(url)
r.encoding='utf-8'
#第一个是string，第二个是解析器，一般推荐用lxml
soup = BeautifulSoup(r.text,'lxml')
#第一个是tag,第二个是attrs,返回满足该条件的列表
pattern = soup.find_all('p','comment-content')
for item in pattern:
    print(item.string)
#第一个是要找的内容，第二个是原串，第三个是为了在多行的情况下也能正常查找出来，返回的也是列表
p = re.findall('<span class="user-stars allstar(.*?) rating"',r.text,re.S)
for star in p:
    sum += int(star)
print(sum)

4.寻找所有a标签，其中link是tag

for link in soup.find_all('a'):
	print(link.get('href'))
	print（link['href']）

5.模拟浏览器发送信息

kv = {'user-agent':'Mozilla/5.0'}
r = requests.get(url,headers = kv)

6.显示通用语言

r.encoding = 'utf-8'

7.检测查询状态,正常则返回200

r.status_code

8.BeautifulSoup的5五种基本元素
①Tag
②Name
③Attributes
④NavigableString
⑤Comment

tag = soup.a
tag.attrs['class']
tag.name
tag.string
tag.parent

9.遍历：上行，下行，平行

①children,decendents   #下行
②parents    #上行
③next_siblings,previous_siblings  #平行

10.html内容更加友好的显示

soup.a.prettify()

11.如果要表示一个空的代码块，可以使用pass语句

def do_nothing():
	pass

12.正则查找

re.findall(pattern,string)   #pattern是匹配串，string是原串，返回所有符合要求的列表
re.search(pattern,string)    #同上，但是search只提取第一个符合要求的内容
re.sub(str1,str2)            #用str2替换str1并返回替换后的内容

猫眼电影TOP100

from bs4 import BeautifulSoup
import requests

def get_url(url, k):
    try:
        headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) '
                                 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
            }
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        demo = r.text
        r.encoding = 'utf-8'
        soup = BeautifulSoup(r.text, 'html.parser')
       
        pattern = soup.find_all('dd') # tag attrs 匹配对应的标签 然后返回bs4类型

        for item in pattern:
            print(k, end=" ")
            k += 1
            print(item.a.attrs['title'], end=" ")
            tt = item.find_all('i')
            print(tt[1].string,end="")
            print(tt[2].string)

    except:
        print("http error!")

if __name__ == "__main__":
    k = 1
    print("——————————猫眼TOP100电影——————————")
    print("排名 电影名 评分")
    for i in range(10):
        url = 'http://maoyan.com/board/4?offset='+str(i*10)
        get_url(url, k+i*10)

截止2020年1月4日的结果

——————————猫眼TOP100电影——————————
排名 电影名 评分
1 霸王别姬 9.5
2 肖申克的救赎 9.5
3 罗马假日 9.1
...
99 千与千寻 9.3
100 海上钢琴师 9.3

豆瓣图书TOP250

from bs4 import BeautifulSoup
import requests

def get_url(url, k):
    try:
        kv = {'User-Agent':'Mozilla/5.0'}
        r = requests.get(url,headers = kv)
        r.raise_for_status()
        demo = r.text
        soup = BeautifulSoup(demo, 'html.parser')
        pattern = soup.find_all(name='div',attrs={"class":"pl2"} ) 
        score = soup.find_all(name='span', attrs={"class": "rating_nums"})
        for item, s in zip(pattern, score):
            print(k, end=" ")
            k += 1
            print(item.a.attrs['title'], end=" ")
            print(s.string)

    except:
        print("http error!")

if __name__ == "__main__":
    k = 1
    print("——————————豆瓣TOP250书籍——————————")
    print("排名 书名 评分")
    for i in range(10):
        url = 'https://book.douban.com/top250?start='+str(i*25)
        get_url(url, k+i*25)

截止2020年1月4日的结果

——————————豆瓣TOP250书籍——————————
排名 书名 评分
1 追风筝的人 8.9
2 解忧杂货店 8.5
3 小王子 9.0
...
248 来不及说我爱你 8.0
249 中国大历史 8.3
250 寻羊冒险记 8.2