开始爬虫之旅的第三天

1.爬虫利器-Beautiful Soup 4的语法

（1）bs4语法是什么？

        BeautifulSoup，就是一个第三方的库，使用之前需要安装

        pip install bs4

##############################

pip进行安装，默认是从国外安装，所以需要将pip源BeautifulSoup，就是一个第三方的库，使用之前需要安装配置永久国内源

#############################

windows配置方式：

        （1）打开文件资源管理器
            在地址栏中输入 %appdata%
        （2）手动创建一个文件夹叫做  pip
        （3）在pip的文件夹里面新建一个文件  pip.ini
        （4）文件中写如下内容
            [global]
            index-url = http://pypi.douban.com/simple
            [install]

            trusted-host=pypi.douban.com

####################################################

    linux配置方式：
        （1）cd ~
        （2）mkdir .pip
        （3）vi ~/.pip/pip.conf
        （4）编辑内容和windows的内容一模一样
    pip install bs4   pip install lxml

##################################################

bs4是什麽？

        它的作用是能够快速方便简单的提取网页中指定的内容，给我一个网页字符串，然后使用它的接口将网页字符串生成一个对象，然后通过这个对象的方法来提取数据

lxml是什麽？
        lxml是一个解析器，也是下面的xpath要用到的库，bs4将网页字符串生成对象的时候需要用到解析器，就用lxml，或者使用官方自带的解析器  html.parser

<------------------------------------------------------------------------------------------------------------->

bs4语法学习

    通过本地文件进行学习，通过网络进行写代码

（1）根据标签名进行获取节点,只能找到第一个符合要求的节点 

（2）获取文本内容和属性
        属性
            soup.a.attrs   返回一字典，里面是所有属性和值
            soup.a['href'] 获取href属性
         文本
           soup.a.string
           soup.a.text
           soup.a.get_text()
     【注】当标签里面还有标签的时候，string获取的为None，其他两个获取纯文本内容
 （3）find方法
            soup.find('a')
            soup.find('a', class_='xxx')
            soup.find('a', title='xxx')
            soup.find('a', id='xxx')
            soup.find('a', id=re.compile(r'xxx'))
            【注】find只能找到符合要求的第一个标签，他返回的是一个对象
  （4）find_all
            返回一个列表，列表里面是所有的符合要求的对象
            soup.find_all('a')
            soup.find_all('a', class_='wang')
            soup.find_all('a', id=re.compile(r'xxx'))
            soup.find_all('a', limit=2)   提取出前两个符合要求的a
  （5）select
            选择，选择器 css中  
                常用的选择器
                标签选择器、id选择器、类选择器
            层级选择器
                div h1 a      后面的是前面的子节点即可
                div > h1 > a  后面的必须是前面的直接子节点
            属性选择器
                input[name='hehe']
            select('选择器的')   
            【注】返回的是一个列表，列表里面都是对象
            【注】find find_all select不仅适用于soup对象，还适用于其他的子对象，如果调用子对象的select方法，那么就是从这个子对象里面去找符合这个选择器的标签

      

 

########################代码---网页：http://www.shicimingju.com/book/点击打开链接

import urllib.request
import urllib.parse
from bs4 import BeautifulSoup
import time

# 给我一个url，返回一个请求对象
def handle_request(url):
	headers = {
		'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
	}
	return urllib.request.Request(url=url, headers=headers)

def parse_first_page(url):
	request = handle_request(url)
	# 发送请求，获取响应
	content = urllib.request.urlopen(request).read().decode('utf8')
	time.sleep(2)
	# 使用bs解析内容,生成soup对象
	soup = BeautifulSoup(content, 'lxml')
	# print(soup)
	# 查找所有的章节链接对象
	a_list = soup.select('.book-mulu > ul > li > a')
	# print(ret)
	# print(len(ret))
	# 打开文件
	fp = open('三国演义.txt', 'w', encoding='utf8')
	# 遍历所有的a对象
	for oa in a_list:
		# 取出这个a的内容
		title = oa.string
		# 取出a的href属性
		href = 'http://www.shicimingju.com' + oa['href']

		print('正在下载%s......' % title)
		# 向href发送请求，直接获取到解析之后的内容
		neirong = get_neirong(href)
		print('结束下载%s' % title)
		time.sleep(2)
		string = '%s\n%s' % (title, neirong)
		# 将string写入到文件中
		fp.write(string)

	fp.close()

def get_neirong(href):
	# 向href发送请求，获取响应，解析响应，返回内容
	request = handle_request(href)
	content = urllib.request.urlopen(request).read().decode('utf8')
	# 生成soup对象，提取章节内容
	soup = BeautifulSoup(content, 'lxml')
	# 找包含章节内容的div
	odiv = soup.find('div', class_='chapter_content')
	neirong = odiv.text
	return neirong

def main():
	url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
	# 解析第一个页面，返回所有的章节列表
	chapter_list = parse_first_page(url)

if __name__ == '__main__':
	main()