用Python写爬虫入门篇（二）

简介

最近在学习python，这几篇博文用于个人记录总结，不正之处还望大佬指出。（适合学习过python的同学）
用Python写爬虫入门篇（一）
用Python写爬虫入门篇（二）
用Python写爬虫入门篇（三）
以下介绍下如何用爬虫抓取静态网页，用以熟悉整个爬取过程。

我的运行环境

系统版本：Windows10
Python版本：Python3.7
IDE：IDEA(因为平时主要用JAVA就没安PyCharm了)
（安装适合自己的环境即可）

爬取思路

1. 确定爬取地址与目标数据
2. 用头文件模拟浏览器访问
3. 用requesty请求页面（需要下载包 --pip install requests）
4. 用BeautifulSoup工具分析页面（需要下载包 --pip install beautifulsoup4）
5. 最后将数据存入相应文件

爬取实例：

我们以 https://blog.csdn.net/ 为例，假设爬取图中的标题与标题的URL地址

右键选择 “查看网页源代码（V）”在源代码中找到目标数据

由图可知，目标数据在div标签（class为title）中的a标签内，知道以上内容即可写代码。

详细代码如下

（因为有注释就不过多解释了）

#coding:utf-8
from urllib import request
from bs4 import BeautifulSoup #需要下载相应包

url = "https://blog.csdn.net/"#目标网站地址
#头文件，让爬虫模拟浏览器访问（可以在自己浏览器中查看）
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36'}
page = request.Request(url,headers=headers)
page_info = request.urlopen(page).read().decode("utf-8")
soup = BeautifulSoup(page_info,"html.parser")  #分析目标网页
divs = soup.find_all('div',class_='title')#筛选内容，第一个参数是标签，第二个参数是class_,还可写正则表达式等参数

with open(r"D:\title_url.txt","w+") as file: #此处为爬虫的输出结果目录
    for div in divs:
        title=div.a # XPath路径
        file.write(title.getText().replace(" ","")+"\n")
        file.write(title.get("href")+"\n")

输出结果

（有很多语法细节，可以查询Beautiful Soup 4.4.0 官方文档与XPath 教程）
有时我们点击右键查看源码时，根本找不到目标数据，为什么呢，因为目标是动态网页，如何爬取动态网页请看下一篇
用Python写爬虫入门篇（三）