网络爬的是什么虫（一）

我对爬虫的理解是，互联网是一张网，那么爬虫就是一只趴在这个网上的虫子，爬呀爬呀去找自己想找的东西，爬虫可以由多种语言来实现，其中Python用的较多。

从网页上抓取内容大致分3步：

1、模拟浏览器访问，获取html源代码 2、通过正则匹配，获取指定标签中的内容 3、将获取到的内容写到文件中

然后我跟着网络上的一些教程去写了一些实战，发现很有意思，比如每天爬一下自己所在地方的天气，尤其是24小时预报；比如爬一爬某网上MM的照片（滑稽脸~~~），我自己然后爬了一下百度，就是简单的把百度首页的<a> 标签里面的超链接都爬了出来然后再打印出来，炒鸡简单。代码如下：

import requests
from bs4 import BeautifulSoup
import os

headers = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}
all_url = 'https://www.baidu.com/'
start_html = requests.get(all_url,headers=headers)
Soup = BeautifulSoup(start_html.text,'lxml')
link_list = Soup.find_all('link')
for lk in link_list:

    print(lk.get('href'))

很有意思，后来我了解到网络爬虫可以有好多用途，比如，网络攻防，教务处成绩查询，绩点查询，一键评教神马的都可以，果然兴趣是最好的老师~~那么这第一篇文章就到这里