爬虫思路---原始版

爬虫scraper是一个批量搜集Web上信息的一个脚本。

或许最开始接触爬虫都是从‘批量下载’开始，最简单的爬虫就可以完成对一个网站一些信息的下载，当然学习之前最感兴趣的可能就是图片。

只要是重复动作，都可以自动化处理，自动化是学习计算机语言的最根本原因。

当然也包括重复性点击右键>另存为……

最简单的爬虫，比如一个可以下载网站图片的爬虫，下载内涵段子到本地txt文件的爬虫，搜集商品网站各种商品价格的爬虫（这三只爬虫都是同一个原理，是最基本的思路）等，所做的工作就是：

1. 了解网页的结构，把需要的信息在网页上找出来；
2. 把找出来的信息，从网络服务器上下载到本地；
3. 对下载好的信息，也就是所谓收集到的数据，进行处理。

所有网页上呈现的信息都是按照一定标准来呈现的，也就是说网页上的信息都是有规律的—有一个固定的结构。爬虫就是找到所需信息在网页上存储的规律，然后机器就可以运行了。

抓取糗事百科段子的爬虫（终于是个能用了………）；按照上面的思路，通过程序语言来实现。写程序之前，要先想好需要进行的步骤，程序语言很讲逻辑。可见算法的重要程序；学过基础语法，就不停的写案例吧。一直看书，很难看进去，越看效率越低，程序确实是一个实践性很强的工作。

写爬虫，先导入需要用到的库；

import requests
from bs4 import BeautifulSoup

requests 是下载网页数据的库，requests.get(url) 方法可以获取把网页的全部信息，然后在用BeautifulSoup 解析获取的信息，筛选出实际需要的。

先写完成一项工作所需要的工作，然后自动化。

构建获取段子的函数。

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36'
}
def get_joke(url):
    web_data = requests.get(url,headers = headers)
    soup = BeautifulSoup(web_data.text,'lxml')
    jokes = soup.select('div.content > span')
    for joke in jokes:
        temp = joke.get_text().strip()
        a = temp + '\n---------------------------------------hahahhahahah-------------------------------------------------------\n'
        file = open('C:\\Users\\Administrator\\Desktop\\test\\jokes.txt', 'a', encoding='utf-8')
        file.write(a)
        file.close()

注意：

• 自动化抓取需要模拟浏览器的行为，否则服务器端会有相应限制，因此这里需要构建一个User-Agent，关于这些浏览器的参数，在Chrome浏览器里F12，里面有关于浏览网页中，所有的参数，解析网页也是通过Chrome解析。

• BeautifulSoup 解析，通过css selector 通过对标签的属性进行选择，核心就是观察所需元素在网页里的位置，需要事先熟悉一下Html的结构，以及一些常见的标签。核心，就是找到要找的元素的唯一性，把它选出来。

• 把找出来的数据从内存写入文件中，Windows的txt文件和Python 处理的编码不一样，因此encoding='utf-8' 一定要加上，不然写入文件时候会报错，而且写入的文件如果是中文，可能出现乱码。

写完获取一个网页的，然后就是对其他网页进行处理了，这里核心是，获取其他网页的url，还是那句话，具有相同布局结构的网页里元素的结构也是一样的，这些网页的url也是有规律的，根据这些规律写一个包含多个网页url的列表。然后在遍历这个列表就可以了。

url = ['https://www.qiushibaike.com/text/page/{}/'.format(x) for x in range(1,14)]

def get_more_jokes():
    for x in url:
        get_joke(x)
        print('----------this page has done...')

注意：

• url列表用列表解析式写；

• 在这个函数里会调用之前那个函数，因此之前那个函数写完，要先测试一下，确保正确。

最后，执行第二个函数就可以得到结构了。

get_more_jokes()

结果是看了一下午内涵段子……..