爬虫学习（第一天）--------爬取豆瓣小说

        这是作者第一次写博客，对一个小白来说，写博客的目的是简单的，那就是记录下自己学习的过程，帮助自己回忆所学。也许多年后回首，看着这些曾经的博客，回想下自己的初心，也是极不错的。

        由于作者是浙江考生，有点python基础，所以话不多说，直接开始复盘第一次学习的过程。

一.准备

pip install requests  
pip install lxml
pip install os

        前两个库对于我们初学者说是非常方便的，也比较好理解。第三个库算是可有可无，如果你不想手动创建文件夹，可以使用这个库。

import os
n = input("请输入要创建的文件夹：")
new_path = r'C://Users/asus/Desktop/'+str(n)
if os.path.exists(new_path):
    print("该文件夹已存在！")
else:
    os.mkdir(r'C://Users/asus/Desktop/'+str(n))
    print("创建成功！")

        以上代码是一段判断存在和创建文件夹的简单代码，当然复制的时候记得修改路径。

        P.S：python代码其实很好记，基本就是你知道这个单词的意思，就知道这段语句大致是什么用。比如说    os.path.exists  直译就是路径上存在，显然就是判断文件夹是否存在。  再比如说  os.mkdir   把函数名拆开，mk不就是make，dir不就是directory，合起来就是创造文件。

二.框架

import request
from lxml import etree
# 导包

url = ''        # 输入要爬取的网页

headers = {
           'User-Agent': ''     # 输入浏览器的代理
          }


params = {}     # 输入需要请求的网页的负载

response = requests.get(url=url, headers=headers, parama=params)   # 用get方法对目标发起请求
res = response.text  # 获取网页源码

tree = etree.HTMl(res)   # 将获取的源码转化为_Element对象

element = xpath('')  # 通过xpath筛选出所需要的代码信息

        这个框架是最基本的，只适用于简单网页的爬取。现在大部分的主流网站都不可能会让你轻易的获取他的信息，会设置有各种反爬措施。

         就比如说某安吧，源码里明晃晃的摆明了告诉你，有反爬措施。当然，某安的反爬措施还算蛮友好的。设置个cookie就能爬取。哎，不扯别的了，接着复盘。哦，再提一嘴儿，不习惯xpath的可以选择去用beautifulsoup或者选择正则表达式，总之方法很多，适合自己最好。当然作者后续可能会写一点关于这两个库的实战使用。

三.实战前夜

1.kfc名称+地址的获取

        以下是kfc的官网地址

url = 'http://www.kfc.com.cn/kfccda/index.aspx'

        然后在网页最下方的导航栏点击餐厅查询

        进入以下界面后，在搜索框随意输入想要查询地区的名字。比如我输入的是宁波，会跳出以下信息，餐厅名称和餐厅地址就是我们所需要爬取的信息

           接着鼠标右键网页点击查看网页源代码，或者按快捷键Ctrl+U，或者按F12查看源码。在跳出来的界面找到网络选项点击，有的浏览器可能是一个WiFi的标识。

            接着会出现以下界面，然后直接刷新网页。

             然后你会看到一堆构成网页的元素

             然后点击清除网络日志，快捷键是Ctrl+L，这样更方便看到新接收的文件信息

             然后再次在搜索框里输入宁波，点击搜索，就会看到接收到以下文件，点击

            点击后可以发现，要爬取的网页的路径就是这个请求URL，请求的方式是POST，请求标头可接受的是text和json，以及代理的名称，每个人的代理可能都不一样，

接着点击负载

 

         这些参数就是要写入params的参数，写入的方式为字典

         okey，有了以上信息，我们就可以请求得到网页源码了，代码如下

url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,                     
                  'like Gecko) Chrome/116.0.0.0 Sa'
                  'fari/537.36 Edg/116.0.1938.76'
}
params = {
        'cname': '',
        'pid': '',
        'keyword': '宁波',
        'pageIndex': '1',
        'pageSize': '10'
    }
res = requests.post(url=url, headers=headers, params=params).json()
print(res)

         运行后结果如下        可以看到我们请求后得到的是一个字典，既然是字典我们就可以直接进行数据处理，而不用使用xpath获取对应代码了

        既然我们已经能够获取第一页的内容，那么我们该如何实现自动翻页呢？其实很简单，只要用for循环，修改params里的pageIndex的键值即可

        另外，我们可以使用time这个库来缓冲，防止点击过于频繁导致封IP

        完整代码如下

import requests
import time


url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,             
                  'like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.76'
            }
a = input()
for i in range(1, 2):
    params = {
        'cname': '',
        'pid': '',
        'keyword': str(a),
        'pageIndex': str(i),
        'pageSize': '10'
    }
    res = requests.post(url=url, headers=headers, params=params).json()
    print(res)
    a = res["Table"]
    print(a[0]['rowcount'])
    b = res['Table1']
    for j in b:
        print('商店名称：' + j['storeName'] + '商店地址：' + j['addressDetail'])
        time.sleep(2)

2.xpath的运用

        这里我就介绍一下xpath路径的获取方法，其他不做过多介绍

        比如说我要获取按省份这三个字

        我们可以用  这个工具点击按省份三字，就会自动在源码里标出这三个字所在的区块

         接着鼠标右击这一行源码，再点击复制

           选择复制Xpath即可获取

[//*[@id="container"]/div[1]/div[2]/div/div[1]/div[1]/div/div[1]/a[1]]

        div[1]代表第一个区块，在html源码里，索引的第一位是而不是0

        但是这仅仅是定位到按省份这三字的区块位置，想要得到这三字还需要在后面加上text()

[//*[@id="container"]/div[1]/div[2]/div/div[1]/div[1]/div/div[1]/a[1]/text()]

        这样就可以获取到了

        

        那么如果我们想要获取的不是文本，而是里面的网址呢

         我们可以这样写，定位操作和上面一样

[//*[@id="container"]/div[1]/div[2]/div/div[1]/div[1]/div/a/@href]

四.爬取豆瓣小说实战

import requests
import time
from lxml import etree
import os
import csv
from fake_useragent import UserAgent
url = 'https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4'
headers = {
        'User-Agent': str(f'{UserAgent().random}')
}


def get_text(n):
    params = {
        'start': str(n * 20),
        'type': 'T'
    }
    res = requests.get(url=url, headers=headers, params=params).text
    print("第" + str(n+1) + "页获取成功")
    return res


def set_dic():  # 新建文件夹
    n = input("请输入要创建的文件夹：")
    new_path = r'C:/Users/27652/Desktop/' + str(n)
    if os.path.exists(new_path):
        print("该文件夹已存在！")
    else:
        os.mkdir(r'C:/Users/27652/Desktop/' + str(n))
        print("创建成功！")
    return new_path


def standing_format(a):  # 修正格式
    for i in range(len(a)):
        if '\n' in str(a[i]):
            a[i] = str(a[i]).replace('\n', '')
        if ' ' in str(a[i]):
            a[i] = str(a[i]).replace(' ', '')
    return a


def write_img(u, n):
    for x in range(0, len(u)):
        img_url = str(u[x])
        img_name = n[x]
        r = requests.get(url=img_url, headers=headers).content
        with open(str(path) + '/' + img_name + '.jpg', 'wb+') as fp:
            fp.write(r)
        print(img_name + '爬取成功！')


def write_csv(s):
    with open('novel', 'w', newline='', encoding='utf-8_sig') as f:
        writer = csv.DictWriter(f, fieldnames=['name', 'detail', 'score', 'content', 'price'])
        writer.writeheader()
        writer.writerows(s)
    print("写入完成！")


def get_item(source):
    tree = etree.HTML(source)
    book_list = []
    book_dict = {}
    url1 = tree.xpath('//ul[@class = "subject-list"]/li/div[@class = "pic"]/a/img/@src')  # 获取一整页图片的路径
    name = tree.xpath('//ul[@class = "subject-list"]/li/div[@class = "info"]/h2/a/text()')  # 获取一整页书名
    detail = tree.xpath('//ul[@class = "subject-list"]/li/div[@class = "info"]/div[@class = "pub"]/text()')
    # 获取详细信息
    score = tree.xpath('//ul[@class = "subject-list"]/li/div[@class = "info"]/div["star clearfix"]/span/text()'
                       )  # 获取评分
    content = tree.xpath('//ul[@class = "subject-list"]/li/div[@class = "info"]/p/text()')  # 获取内容
    price = tree.xpath('//ul[@class = "subject-list"]/li/div[@class = "info"]/div[@class = "ft"]/div'
                       '[@class = "cart-actions"]/span/a/text()')  # 获取价格
    time.sleep(2)
    book_dict['name'] = standing_format(name)
    book_dict['img'] = standing_format(url1)
    book_dict['detail'] = standing_format(detail)
    book_dict['score'] = standing_format(score)
    book_dict['content'] = standing_format(content)
    book_dict['price'] = standing_format(price)
    book_list.append(book_dict)
    return book_list


if __name__ == '__main__':
    path = set_dic()
    Number = int(input("请输入要获取前几页："))
    Book_list = []
    for y in range(Number):
        Source = get_text(y)
        new_Book_list = get_item(Source)
        # print(Book_list)
        Book_list += new_Book_list
        # print(Book_list)
    # print(Book_list)
    new_list = []
    b = Book_list  # 遍历Book_List
    for i in range(Number):
        write_img(b[i]['img'], b[i]['name'])
        for j in range(len(Book_list[i]['price'])):
            Dict = {'name': b[i]['name'][j], 'detail': b[i]['detail'][j], 'score': b[i]['score'][j],
                    'content': b[i]['content'][j], 'price': b[i]['price'][j]}
            new_list.append(Dict)
        print(new_list)
        write_csv(new_list)

        以上使用了fake_useagent库，这个库还是蛮好用的，可以随机获取一个代理。

五.总结

        这篇文章最后的代码呢是作者第一次接触爬虫后写的，如果有错误欢迎大家指正。说一下遇到的困难吧，虽然有些已经记不大清楚了。这篇代码我可以说是写了蛮久的，大概有三四天，我考虑过是否是自己太愚笨，但其实不然。我想除了真的天赋异禀的人之外，大部分人可能都和我一样，会改了又改。写代码过程中呢，xpath的路径卡了我还是蛮久的，因为当时我还不知道可以直接复制，一直在自己写，一直出错。还有就是用函数封装，我个人是先把主体写好，再用函数封装，虽然耗的时间多，但胜在封装的时候不会出错。还有就是写入csv吧，找了教程试了半个多小时才搞定。嗯，大致就这些吧。

        还有些题外话想说，作者是大一新生，加入了工作室，上了课，但是半个学期来我的感受是编程还是蛮吃自学的，因为课上的时间毕竟有限，很多时候教你的只是想让你知道有这么个东西，真正该怎么用还是得靠自己慢慢上机磨。好了，大致就这么多。