python---爬虫51job（1）

最新推荐文章于 2024-01-12 23:25:49 发布

哈哈哈也不行吗

最新推荐文章于 2024-01-12 23:25:49 发布

阅读量644

点赞数

分类专栏： python 基础文章标签： python 网页爬虫

本文链接：https://blog.csdn.net/qq_40210633/article/details/83500652

版权

本文介绍了使用Python的request库和requests库爬取51job网站上关于'python java'职位信息的过程。针对不同库，提供了代码示例，并详细讲述了如何安装和查询Python库。

摘要由CSDN通过智能技术生成

这学期学的python，老师每次在上课前会布置作业，因此再次做下梳理，巩固知识点

①使用python编程实现上述过程（访问https://www.51job.com/，在搜索框输入关键字：python java，用右边的加号选择北京、上海、广州、深圳四个城市），不需要使用socket编程来做，使用书上提到的request库或者其它库都可以。）

这个问题是使用urllib.request和requests分别来做的，不得不说requests库的确很简单容易去访问

先分别来说吧：
（1）request库

课本上的代码看的乱七八糟的，所以在网上搜了下相关信息，进行整合得到的代码：

import urllib.request
#导入request库
url="https://search.51job.com/list/010000%252C020000%252C030200%252C040000,000000,0000,00,9,99,python%2520java,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&speciala