Mac python爬虫学习

首先推荐几个 必须要掌握的类库

Requests: HTTP for Humans

它是以这么一句话介绍自己的，为人类使用的HTTP库

http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 中文文档

Beautifulsoup

用Beautiful Soup解析网站源代码 代替正则

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html 中文文档

开发环境:Mac

IDE:PyCharm (个人感觉非常好用)

游览器:Safari

第一步 我们进行最简单的爬虫 我选择的目标是 糗事百科 https://www.qiushibaike.com/text/

我们所需要的 就是 红框里这些文字 其余乱七八糟的广告 我们压根也不用 怎么办呢? Safari游览器中 右键点击 检查元素

好了 所需的内容 就在这里面 但是这个只是个标题 内容 在点击进去的详情页 ，我们随便打开一个

/article/121341501 注意这个后缀 https://www.qiushibaike.com/article/121341501 前缀+后缀 就是每一篇笑话的详情
那么我们首要的目的 就是要找到这个后缀列表

开始编写代码时 我们需要 安装所需的类库 网上很多教程 都是从命令行里安装 倒是也可以 但是用Pycharm里面有更方便的办法.

我使用的IDE是 PyCharm 安装request BeautifulSoup方法如下 :点击 Pycharm->Preferences

点击 Install Package 就可以安装了

好了 现在开始进入正题

我们所需的href 都在 content-left 这下面 那我们就解析他

解释一下 这个模拟请求 是我用charles抓包得到的 你可以换成 你对应的请求 自己下载一个charles搞定 就行

通过解析 div 标签 content-left下面的 article 得到 一个列表数组 也就是我们所需的文章详情链接

按照上面代码 执行后 ：

我们得到了 每个列表 所对应的文章详情链接

接下来 我们 再抓去 每个 详情的链接

通过 观察得知 文章在div class=“content” 里面 作者 在href里面的 继续爬

抓包的数据 如上

这样 通过一个简单的抓包教程 我们就完成了 虽然没有太多技术含量 献给和我一样 刚开始学习爬虫的朋友

完整代码如下

import requests
from bs4 import BeautifulSoup
import html5lib
import pymysql

def getRequestUrl():
    #模拟请求
    headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.1.2 Safari/605.1.15"}
    response = requests.get('https://www.qiushibaike.com/text',headers=headers)
    soup = BeautifulSoup(response.content, 'html5lib')           #解析内容
    listSoup = soup.find('div',id='content-left')                #找到列表listSoup
    article_list = listSoup.find_all('div', class_="article")    #找到文章列表

    for list in article_list:
        #获得文章详情链接
        detailUrl = list.find(class_='contentHerf')['href']
        getDetailUrl(detailUrl)


def getDetailUrl(url):
    #得到文章详情
    detailUrl = ('https://www.qiushibaike.com%s'%url)
    print(detailUrl)
    headers = {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.1.2 Safari/605.1.15"}
    response = requests.get(detailUrl,headers=headers)
    #result = response.content.decode('utf-8')   #处理乱码

    soup = BeautifulSoup(response.content, 'html5lib')
    author = soup.find('a',class_='side-left-userinfo').find('img')['alt']  #获得作者
    print('作者:%s'%author)
    content = soup.find('div',class_='content').get_text()  #获得文章
    print('文章:%s'%content)

if __name__ =='__main__':

    getRequestUrl()

如果你对Python感兴趣，想要学习python，这里给大家分享一份Python全套学习资料，都是我自己学习时整理的，希望可以帮到你，一起加油！

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

​

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

2️⃣国内外Python书籍、文档

① 文档和书籍资料

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！

4️⃣Python面试题

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

上述所有资料 ⚡️ ，朋友们如果有需要的，可以扫描下方👇👇👇二维码免费领取🆓
​