Web搜索技术python爬虫学习记录

python数据爬取学习全记录

pycharm的安装

一开始我是用的anaconda里的spider来编写，但是电脑本身又装了python3.9，anaconda中是3.7，在配置环境的时候总容易搞糊涂，所以还是采用了pycharm来编写。
安装配置参考链接：https://www.runoob.com/w3cnote/pycharm-windows-install.html

request模块学习

1、 获取网页代码

import requests
url = "http://www.baidu.com"
html = requests.get(url)
print(html)

运行得：

出现报错：返回值200 <respond [200]>
解决：
添加解决头参数User-Agent

2、 User-Agent
参考：https://blog.csdn.net/qq_44503987/article/details/104929111
（1） F12查看想要获取的网页代码，本机自带Microsoft edge如下
黄框内表示浏览器发送的各种请求，任意点开一个，可以看到左边的扩展栏，点击蓝框标头，可以在下方找到User-Agent
找到头参数后，修改代码如下：

import requests
url = "http://www.baidu.com"
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'}
html = requests.get(url, headers=headers)
print(html)

但是此时还会出现报错：返回值200 <respond [200]>
这时还需修改print为html.text，即：

import requests
url = "http://www.baidu.com"
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'}
html = requests.get(url, headers=headers)
print(html)
print('***')
print(html.text)

运行得到结果：

beautifulsoup学习

通过以下文档学习基本用法，感受该函数的功能：
https://cuiqingcai.com/1319.html
https://blog.csdn.net/kikaylee/article/details/56841789
https://www.jianshu.com/p/8bb16b577a9f
通过以上的学习，可以学习到如何抓取网页代码中标签中的内容

反爬虫与反反爬虫

1、 反爬虫
反爬虫的常见手段大概有以下这些：
（1） 不返回网页，如不返回内容和延迟网页的返回时间
不返回网页是一种比较传统的反爬虫手段，也就是网站对爬虫请求返回
404 或者长时间不返回数据。
由于正常人在一般情况下不会短时间内访问大量网站，所以网站会根据IP 的访问量进行一定的封杀。
session 中会存储特定用户的属性和配置信息，当用户在 web 页面之间来回跳转时，session 的变量不会丢失，而如果一个 session 的访问量过大，也可能会遭到封杀。
当然，正如在第二部分提到的，User-Agent 识别也是一种最基础的封杀手段。
（2） 返回数据非目标网页，如返回错误页，返回空白页和爬取多页时间均返回同一页
很多时候，我们虽然能够爬取目标网站，但是爬虫返回的很可能是一个假的数据，比如返回空白页，或者返回的数据与网站显示的不一样等
（3） 增加获取数据的难度，如登录才可查看和登录时设置时间
最直接的就是将页面中的内容设置为登录后才可查看，然后可以在登录界面加入图形验证码等手段增加反爬难度

2、 反反爬虫
（1）修改请求头User-Agent
（2）增加爬虫时间间隔
利用Time库完成

import time
for i:
    spider(i) 
    # 这 里 是 一 段 伪 代 码， spider(i)是 具 体 的 爬 虫 代 码
time.sleep(10)

（3）使用代理
为了避免单个 IP 多次爬取导致被封，还可以使用 IIP 代理，示例如下：

import requests

link = "http://www.baidu.com"
proxies = {'http': 'http://xxx.xxx.xxx.xxx'} # 可 以 通 过 搜 索 引 擎 搜 索 的 方 式 自 行 获 取IP代 理 池
response = requests.get(link, proxies=proxies)

在做老师给的案例以及作业时，页相应出现过很多次3xx以及4xx，在仔细看了老师给的以上资料后，加入了User_Agent以及headers后有效解决了问题，虽然在作业中，一旦爬取一次后，就有很大可能接下来出现页响应412的错误，但是只要等待几分钟后又可继续爬取。

学习案例——爬取豆瓣电影榜单top250

可以参考一下链接以加强理解：
https://www.pianshen.com/article/7397136077/
https://blog.csdn.net/qq_39226755/article/details/83684361
https://www.jianshu.com/p/8a460be5a26e
https://blog.csdn.net/xing851483876/article/details/80578998

1、 直接通过print展示电影名称

import requests 
from bs4 import BeautifulSoupdef 
get_movies():
    headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'}
    movie_list = []
    for i in range(0, 10):       #range（）创建一个整数列表 0 1 2 .....9
        link = 'https://movie.douban.com/top250?start=' + str(i * 25)   #一页只能展示出25个电影，所以每25个重新显示一次
        #print(link)
        r = requests.get(link, headers=headers, timeout=10)     #得到网页代码
        #print(r.text)
        print(str(i + 1), "页 响 应 状 态 码:", r.status_code)     #页响应状态码200表示OK客户端请求成功
        soup = BeautifulSoup(r.text, "lxml")                     #将html解析为对象进行处理，全部页面转变为字典或者数组
        #print(soup)
        div_list = soup.find_all('div', class_='hd')             #查找所有class属性为hd的div标签
        #print(div_list)
        for each in div_list:
            movie = each.a.span.text.strip()                     #获取class属性为hd的div标签的a标签的第一个span标签的文本
            movie_list.append(movie)
    return movie_list
get_movies()print(get_movies())

运行结果：
可以看到每一页抓取的页响应状态都是200，表示抓取正常。
最后输出movies_list[]

2、 输出结果到txt文件，并加入电影具体信息

import requests
from bs4 import BeautifulSoup import json

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:58.0) Gecko/20100101 Firefox/58.0'}

# 筛选信息
def get_top(url):
    respose = requests.get(url, headers=headers)
    soup = BeautifulSoup(respose.text, 'lxml')
    nums = soup.select('em')
    titles = soup.find_all('div', class_='hd')
    actors = soup.find_all('p', class_='')
    links = soup.select('ol li div a')
    rating_nums = soup.find_all('span', class_='rating_num')
    evaluate_numbers = soup.find_all('div', class_='star')
    evaluates = soup.find_all('span', class_='inq')
    # 将信息放进字典中
    for num, title, link, actor, rating_num, evaluate_number, evaluate in zip(nums, titles, links, actors, rating_nums,
                                                                              evaluate_numbers, evaluates):
        data = {  # 获取节点文本
            '排行': num.get_text(),
            '电影名字': title.get_text().split('\n')[2],
            '链接': link.get('href'),
            '导演人员': actor.get_text().strip(),
            '评分': rating_num.get_text().strip(),
            '评价人数': evaluate_number.get_text().split('\n')[4],
            '评价内容': evaluate.get_text()
        }
        print(data)
        # 写入文件
        file = open(r'D:\web_homework_1\douban.txt', 'a', encoding='utf-8')
        for k, v in data.items():
            s2 = str(v)
            file.write(k + ' ')
            file.write(s2 + ' ')
            file.write('\n')
        file.close

if __name__ == '__main__':
    # 多页爬取
    for i in range(11):
        urls = {'https://movie.douban.com/top250?start={}&filter='.format(i * 25)}
        # 遍历
        for url in urls:
            get_top(url)

运行结果
注意：因为写入文件时设置的参数是a而不是w，所以每次写入并不会覆盖上一次的结果，会接着上一次的结果重复写入，可以通过在文件名命名时加入time使得每次输出文件名不同。具体应用见作业。

txt文件：

作业——爬取b站某搜索关键词的的1000个视频数据

代码

#引入库
import requests
from bs4 import BeautifulSoup
import json
import time

#设置hesders反爬虫，还可以在后面加Host参数，但是本次作业中没有用到也可以
headers = {
'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 52.0.2743.116Safari / 537.36Edge / 15.15063'
 }
 

#抓取网址
#以下代码中的网址https://search.bilibili.com/video?keyword=%E5%B1%B1%E6%B2%B3%E4%BB%A4&order=totalrank&duration=0&tids_1=0&page=1
#表示搜索山河令后按综合排序的第一页
#如下示代码，修改page后的数字可以获取不同页的网页代码，依次解析，逐个分析即可获取想要数据。
#（1）若想要限制视频时长，可以修改duration的值，0表示全部时长，1表示10分钟以下，2表示10-30分钟，3表示30-60分钟，4表示60分钟以上。
#（2）若想限制视频分区，可以修改tids_1的值，0表示全部分区，1表示动画，13表示番剧，167表示国创，3表示音乐，129表示舞蹈，4表示游戏，36表示知识，188表示数码，160表示生活，211表示美食，217表示动物，119表示鬼畜，155表示时尚，202表示资讯，5表示娱乐，181表示影视，177表示纪录片，23表示电影，11表示电视剧。
#（3）若想修改排序方式，则修改order的值：
#order=totalrank   综合排序
#order=click        点击量
#order=pubdate      最新发布
#order=dm            弹幕数
#order=stow         收藏量

# 筛选信息
def get_top():
    movie_list = []
    for i in range(0, 50):
     link = 'https://search.bilibili.com/video?keyword=%E5%B1%B1%E6%B2%B3%E4%BB%A4&order=totalrank&duration=0&tids_1=0&page=' + str(i+1) # 共依次得到50页视频的网址
     # print(link)
     r = requests.get(link, headers=headers, timeout=10) #获取网页代码

#通过页响应状态码判断是否抓取正常
     #print(r)
     print(str(i + 1), "页 响 应 状 态 码:", r.status_code)

#美化抓取的网页代码方便解析
     soup = BeautifulSoup(r.text, 'lxml')
          #print(soup)


#抓取关键字段以备后续获取数据
     uptimes = soup.find_all('span', class_='so-icon time') #上传时间
     # print(time)
     #print(time.get_text())
 
     upnames = soup.find_all('a', class_='up-name') #up主
     #for i in range(0, len(upnames)):
     #print(upnames[i].get_text())
 
     titles = soup.find_all('a', class_='title') #视频标题
     #print(titles)
     #for i in range(0, len(titles)):
     # print(titles[i].get_text())
 
     links = soup.find_all('a', class_='title') #视频链接
     #for i in range(0, len(links)):
     # print(links[i].get('href'))
     #print(links.get('herf'))
 
     watch_nums = soup.find_all('span', class_='so-icon watch-num') #播放量
     #for i in range(0, 20):
     # print(watch_nums[i].get_text())
 
     subtitle_numbers = soup.find_all('span', class_='so-icon hide') #弹幕数
 
     #numbers = range(1, 21)
     #pages = range(1, 51)
 
     evaluates = soup.find_all('div', class_='des hide') #简介
 

#引入时钟
#得到时间tim1和tim2。
#tim1作为数据更新时间显示在输出的Txt文件内，%Y %m %d %H %M %S分别表示年月日时分秒要注意这里的%H %M %S之间不能用：连接，用_连接即可。
#tim2用作文件命名，因为获取1000条数据有可能卡时间超过1分钟，所以为了避免输出多个文件，仅取到以时为单位命名即可
     tim1 = time.strftime('%Y-%m-%d %H_%M_%S', time.localtime(time.time()))
     tim2 = time.strftime('%Y-%m-%d %H', time.localtime(time.time()))
 
 
    # 将信息放进字典中
     for uptime, title, upname, link, watch_num, subtitle_number, evaluate in zip(uptimes, titles, upnames, links, watch_nums, subtitle_numbers, evaluates):
         data = {
             #'页数': page,
             #'序号': number,
             '视频名字': title.get_text(),
             'up主': upname.get_text(),
             '链接': link.get('href'),
             '弹幕数': subtitle_number.get_text(),
             '播放量': watch_num.get_text(),
             '上传时间': uptime.get_text(),
             '简介': evaluate.get_text()
         }
         print(data)
         # 写入文件
         fname = 'D:/web_homework_1/' + tim2 + r'result.txt'
         file = open(fname, 'a', encoding="utf-8")
         file.write('****************' + 'tip:以下视频数据更新时间为' + ' ' + tim1 + '**************************')
         file.write('\n\n\n')
         for k, v in data.items():
         s2 = str(v)
         file.write(k + ' ' + ':' + ' ')
         file.write(s2 + ' ')
         file.write('\n')
         file.close

 
     return 0
 
 get_top()
 
 
'''
import time
tim = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
print(tim)
'''

运行结果：

txt文件：