Python爬虫学习-新华书店书本数据定向爬虫（实例）

在学习了半个月python基础知识以及相关的爬虫基础技术后，尝试学以致用，本次决定使用requests、BeautifulSoup来对新华书店（https://www.xhsd.com）小说类书本商品信息进行爬取。

1. 爬虫的构建思路进行分析:

将代码分为4块；

• 第一块构建函数getHTMLText(），该函数的作用是通过requests来获取到页面的信息；
• 第二块构建fillList()，该函数是利用BeautifulSoup来提取出我们需要的信息；
• 第三块构建函数printList()，该函数是将信息进行打印；
• 第四块就是主函数，对上面三个方法进行合理使用。

2. 爬虫代码的编写

首先，我们先写好整体的框架：

第一步，导包

import requests
import bs4

第二步，创建函数

def getHTMLText():
	pass
def fillList(demo):
	pass
def printList(fllist):
	pass
if __name__ == '__main__':
	pass

第三步，补充相关函数
对getHTMLText()进行构建：

def getHTMLText(url1):
#获取网页地址url1
    try:
    #使用try来抛出错误，避免程序异常导致停止
        kv = {'user-agent': 'Mozilla/4.0'}
        #设置浏览器的类型，进行迷惑
        r=requests.get(url1,headers=kv)
        r.raise_for_status()
        #通过.raise_for_status()来抛出连接异常
        r.encoding=r.apparent_encoding
        #设置字符编码
        demo=r.text
        return demo
        #返回页面所有的信息demo
    except:
        print("爬取失败")

对fillList(demo)进行构建：

def fillList(demo):
	soup = BeautifulSoup(demo, 'html.parser')
	#对获取到的页面信息进行html解析
    for li in soup.find('ul',class_='shop-search-items-img-type').children:
    #对书本信息放置的li标签进行ul的下行遍历，soup.find('ul',class_='shop-search-items