python实现简单的爬虫实例

一、爬虫
（1）通用爬虫：通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

通过手机端和PC端打开的同一个网站页面，页面显示是不一样的，是因为浏览器向服务器发送请求的时候，服务器会根据发送过来的请求header相关的属性，判断是哪各端口发送的，然后再来返回对应的页面。

二、实现简单的爬虫，爬取csdn，获取Python工程师信息
1、版本V1：抓取csdn首页页面信息

#V1：面向对象方法，实现简单的爬虫
# 获取csdn首页的python工程师信息
import requests
class CSDN_V1():
    def __init__(self,url,header):
        self.url = url
        self.header = header
    def submit(self):
        response = requests.get(self.url,self.header).text
        print(response)
if __name__ == '__main__':
    url = 'https://www.csdn.net/'
    header = {
   'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'}
    obj = CSDN_V1(url,header)
    obj.submit()

方法二：

import requests
class CSDN_V1():
    def __init__(self):