如何三天内学会Python爬虫?

简单爬虫

学了那么久的python，肯定得爬点东西才能对得起它 哈哈，向爬电影，小说网上也有很多例子~

不过我对对自己的要求比较低，哈哈哈 愣是从茫茫页面中找找到这么一个结构简单，清晰，而且你我都很熟悉的一个网页~

当当当当当~，爬取的页面如下：

没错，今天咱们就通过 python3 来简单爬取百度首页的热搜榜信息~

百度地址：http://www.baidu.com/

思路

当然，你除了要掌握一点点 python 之外，还要知道网页的结构~

毕竟，爬虫就是爬取我们网页上的东西，然后再做根据你的设定去模拟用户点击按钮，触发网页的一些事件，达成这个自动化操作的一个过程。

那么，来解析下这个百度首页吧~

如图，通过浏览器的 F12 调出控制台，然后定位到这个 “中国正能量”

可以发现他们都在这个 li 标签中，而且 css 的 class 都是 hotsearch-item odd 或者 hotsearch-item even ，那么我们找到这些元素后，通过 getText 方法就可以获取 标签中的文字信息，接着再对他们进行个排序，打印出来即可，便完成了我们此次爬取的任务了~

代码如下：

# -*- coding: utf-8 -*-
# @Time    : 2020/10/9 15:44
# @Author  : ryzeyang


import requests
from bs4 import BeautifulSoup
from datetime import datetime


headers = {
    'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36 "
}
response = requests.get("https://www.baidu.com/", headers=headers)
# 解析
bsObj = BeautifulSoup(response.text)
# 获取 response header时间
resDate = response.headers.get('Date')
print(resDate)
# 找到热搜榜
nameList = bsObj.findAll("li", {"class": {"hotsearch-item odd", "hotsearch-item even"}})
# 添加热搜榜的内容
tests = []
for name in nameList:
    tests.append(name.getText())
# 排序
tests.sort()
for news in tests:
    news = news[0:1] + " : " + news[1:]
    print(news)

打印出的结果如下：

顺利完成任务~

最后

爬虫往往学着学着，就成为了一名全栈工程师或者全干工程师，因为你可能真的啥都会了。但是没办法啊，都是被爬虫逼的啊，如果不是生活所困，谁愿意一身才华呢？然而有了才华之后呢？

【python爬虫思维脑图（技能树）】

知识不体系？这里还有整理出来的python爬虫入门学习的思维脑图，给大家参考一个方向。

【python爬虫学习资源】

python部分精讲入门教程视频领取学习后更加是如虎添翼！

进军BATJ大厂等（备战）！现在都说互联网行业内卷严重，其实无非就是你上错了车，且穿的少（技能），要是你上对车，自身技术能力够强，公司换掉的代价大，怎么可能会被裁掉，都是淘汰末端的CRUD人员而已！

现如今市场上互联网鱼龙混杂，这套教程针对在互联网相关行业工作0-1年的人员、正处于瓶颈期，想要在金三银四突破自己涨薪的，进阶管理、爬虫全栈工程师对你更是如鱼得水，赶快领取吧！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】