网络爬虫学习

2.24
27.第三方库
    （1）jieba库：
        jieba.lcut（s）：分割中文网
    （2）beautifulsoup4库：
        安装：pip install bs4/beautifulsoup4
        常用导入方法：
            导入库：    from bs4 import BeautifulSoup
            创建对象：    soup=BeautifulSoup（文本、网页内容，'html.parser'）
            输出网页代码：print（soup.prettify()）
    （3）requests库：
        安装：pip install requests
        方法：
            r.requests.get('url'):发送请求获取资源对象，并且返回资源对象
            requests.request(代码标签):构造请求
            requests.head（）：获取网页头信息
        注意：如果访问失败
            r.request.headers：查找本网页的用户代理
        网络爬虫步骤：
            import requests：导入库
            r=requests.get('url')：发送并返回请求资源对象
            print（r.status_code）：查看状态码（是否发送成功）
            r.encoding：查看网页编码
            r.apparent_encoding：根据网页内容评估的备用替换头编码
            r.text[-500:]
            r.text[:1000]
            from bs4 import BeautifulSoup
            demo=r.text[:1000]
            soup=BeautifulSoup(文本/网页内容，'html.parser')
            print(soup.prettify())