2024年最新Python爬取网页数据(1)，2024年网易物联网嵌入式开发岗面试必问

收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。

如果你需要这些资料，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

首先我们需要分析一下源码，我这里使用的是chrome浏览器，所以右键检查，便是这样一份画面：

然后在源代码中，定位找到第一篇
像这样？

操作太快看不清是不是？
我这里解释一下，首先点击源码页右上角的箭头，然后在网页内容中选中文章标题，这个时候，源码会定位到标题这里，
这时候选中源码的标题元素，右键复制如图：

得到xpath，嘿嘿，知道这是什么吗，这个东西相当于地址。比如网页某长图片在源码中的位置，我们不是复制了吗，粘贴出来看看长啥样

//\*[@id="mainBox"]/main/div[2]/div[1]/h4/a

这里给你解释解释：

// 定位根节点
/ 往下层寻找
提取文本内容：/text()
提取属性内容：/@xxxx

后面两个我们还没有在这个表达式见过，待会说，先摆张图放出来

表达式：//*[@id="mainBox"]/main/div[2]/div[1]/h4/a
我们来琢磨琢磨，首先，//表示根节点，也就是说啊，这//后面的东西为根，则说明只有一个啊
也就是说，我们需要的东西，在这里面
然后/表示往下层寻找，根据图片，也显而易见，div -> main -> div[2] -> div[1] -> h4 -> a
追踪到a这里，我想，你们应该也就看得懂了，然后我们在后面加个/text，表示要把元素的内容提取出来，所以我们最终的表达式长这样：

//\*[@id="mainBox"]/main/div[2]/div[1]/h4/a/text()

这个表达式只针对这个网页的这个元素，不难理解吧？
那么这个东西怎么用呢？
所有代码：

import requests
from lxml import etree

html = requests.get("https://blog.csdn.net/it\_xf?viewmode=contents")
# print html.text

etree_html = etree.HTML(html.text)
content = etree_html.xpath('//\*[@id="mainBox"]/main/div[2]/div[1]/h4/a/text()')
for each in content:
    print(each)

这时候，each里面的数据就是我们想要得到的数据了
打印结果：

 如何撸一个ArrayList 

打印结果却是这个结果，我们把换行和空格去掉

import requests
from lxml import etree

html = requests.get("https://blog.csdn.net/it\_xf?viewmode=contents")
# print html.text

etree_html = etree.HTML(html.text)
content = etree_html.xpath('//\*[@id="mainBox"]/main/div[2]/div[1]/h4/a/text()')

for each in content:
    replace = each.replace('\n', '').replace(' ', '')
    if replace == '\n' or replace == '':
        continue
    else:
        print(replace)

打印结果：

如何撸一个ArrayList 

相当nice，那么，如果我们要得到所有的博客列表呢
看图看表达式分析大法

表达式：//*[@id="mainBox"]/main/div[2]/div[1]/h4/a/text()
其实我们能够很容易发现，main->div[2]其实包含所有文章，只是我们取了main->div[2]->div[1]，也就是说我们只是取了第一个而已。所以，其实表达式写出这样，就可以得到所有的文章了

//\*[@id="mainBox"]/main/div[2]/div/h4/a/text()

再来一次：

import requests
from lxml import etree

html = requests.get("https://blog.csdn.net/it\_xf?viewmode=contents")
# print html.text

etree_html = etree.HTML(html.text)
content = etree_html.xpath('//\*[@id="mainBox"]/main/div[2]/div/h4/a/text()')

for each in content:
    replace = each.replace('\n', '').replace(' ', '')
    if replace == '\n' or replace == '':
        continue
    else:
        print(replace)

打印结果：

如何撸一个ArrayList
Android相机屏幕适配
Tinker关于clean后准基包消失的解决方案
Tinker使用指南
git分支的使用
如何将Androidstudio中的项目导入到第三方的git托管库中
遍历矩阵
从矩阵中取出子矩阵
AndroidStudio配置OpenCV
一步一步了解handler机制
Android常用框架
Android绘制波浪线
RxJava系列教程之线程篇（五）
RxJava系列教程之过滤篇（四）
RxJava系列教程之变换篇（三）
RxJava系列教程之创建篇（二）
RxJava系列教程之介绍篇（一）
一个例子让你彻底理解java接口回调
SharedPreferences的用法及指南
异步加载网络图片带进度
VideoView加载闪黑屏
android视频播放vitamio的简单运用
仿网易新闻分类刷新
ListView加CheckBox简单实现批量删除
Android如何高效加载大图


![img](https://img-blog.csdnimg.cn/img_convert/bd8cfc96a0970b759610087c5c042e52.png)
![img](https://img-blog.csdnimg.cn/img_convert/ee42faa57d65889bd0c7d9de9c4218fe.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上物联网嵌入式知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新**

**[如果你需要这些资料，可以戳这里获取](https://bbs.csdn.net/topics/618679757)**

3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上物联网嵌入式知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新**

**[如果你需要这些资料，可以戳这里获取](https://bbs.csdn.net/topics/618679757)**