python爬取网站时,一键获取headers、url等信息(真的是让我爬取网站时,省了不少力气,作为小秘密分享给大家喽)

python爬取网站时,一键获取headers、url等信息

(真的是让我爬取网站时,省了不少力气,作为小秘密分享给大家喽)

作为Python的使用者,我今天就和大家来分享分享我学习python的经验,对于python我是大一接触认识并学的,老师讲了基础知识,又碰巧看到到网上消息python还可以用来做网络爬虫,既然学了就学点东西,我就学习python爬虫来爬取信息。今天的分享也是对Python先暂停的一个暂停键。从现在开始我要先把python放一放,主要去学习学习Pr,然后我将会推出些视频讲解在哔哩哔哩上,或者其他渠道上播放一些视频希望可以让大家学习观看。(这几天我还偷偷地学习了微信小程序一会儿同时再写一篇关于微信小程序的记录,大家也可以看看哦,我虽然不是最专业的,但我报证做到最专心,多学习学习,多分享分享!有说的不对的地方大家也别嫌弃我哦(⊙o⊙)?)

首先先引出问题,爬取文件是有时需要对爬虫进行封装,对头部的封装说不定还有很多其他的参数一个一个打下来说不定还有很多,也很麻烦,我现在教大家一键搞定,只需要复制粘贴。

一、找到我们对应的爬取网站,打开他的开发者工具-
右键-检查
F12
都可以打开我们的开发者工具
在这里插入图片描述
在开发者工具里面,找到我们的Network进行抓包
2、抓包,按住Ctrl + F,进行关键字查询,找到我们对应的包
在这里插入图片描述
3、这是重点,敲黑板!!!
将复制下来的信息到我们的网站上
https://curl.trillworks.com/
在这里插入图片描述
左侧:添加我们刚才复制的信息
右侧:我们全选复制但pycharm,就可

今天我的小秘密就分享到这里了,希望大家读到这里可以有所收获!
以下是题外话,大家可以看看哦!
在网络上学过很多,也看过很多计算机语言的教程有C、C++、java计算机的语言种类有很多,把他们分分类有的是前端,有的是后端,有的开源有的不开源,千千万万的种类有很多,但我不是计算机专业的学生,我说不出来哪一种语言最吃香,哪一种语言以后可以对你的人生工作有帮助,就我自己而言学习Python对我来讲会是一种工具,处理各式各样问题的工具,将来在办公我可以通过第三方库,来开启我的工作;需要抠图时,我也可以引入一种第三方库,不用学习Ps也挺好;想数据分析了也可以引入另一个第三方库;我可以说python是一种工具类型的语言,通过引入各种第三方库来完成自己的没目标。
所以在我的观念上python会一直一直不断地进行更新我们对于python的学习也是无止境的,所以掌握python的语言习惯显得尤为重要,当有问题出现的时候我们可以拿出问题,分析问题,在网上找找我们可以引入的第三方库,通过调用该第三方库来达到我们的目的。。。。
我不愿意找各种理由,因为不断地我发现我是一种需要一直不断地探索的人python带给我了很多乐趣,但我认为想要去学习计算机一定要从多方面来进行,网络安全、数据与架构、慢慢地都要接触,我给自己定的目标是,在大学哪怕不精通,我也要做到了解,细心去学习。现在我的能力是会python的基础知识应用能力有爬虫、词云等、还有微信小程序,我很高兴我能有一个可以公开被大家使用为大家带来便利的应用,所以接下来在大二的最后下半学期,我要简单的理解网络安全,学习学习mySQL数据库。对了bilibili上,名字也是小白巨白欢迎大家去看看哦

  • 5
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
以下是在VS Code中配置Python爬取招聘网站信息的步骤: 1. 安装Python和VS Code 首先确保已经安装了Python和VS Code,可以从官网下载安装包并安装。 2. 创建一个Python项目文件夹 在VS Code中创建一个文件夹,用于存放Python项目,例如:python_crawler。 3. 打开终端 在VS Code中打开终端,可以通过快捷键Ctrl + Shift + `或者在菜单栏中选择Terminal -> New Terminal打开。 4. 安装必要的Python库 在终端中输入以下命令安装必要的Python库: ``` pip install requests pip install beautifulsoup4 ``` requests是用于发送HTTP请求的库,beautifulsoup4是用于解析HTML文档的库。 5. 编写Python爬虫代码 在python_crawler文件夹中创建一个Python文件,例如:job_crawler.py,并编写爬虫代码。 以下是一个简单的爬虫示例: ```python import requests from bs4 import BeautifulSoup url = 'https://www.zhipin.com/c101010100/?query=python&page=1' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') job_list = soup.find_all('div', class_='job-primary') for job in job_list: job_title = job.find('div', class_='job-title').text.strip() job_salary = job.find('span', class_='red').text.strip() job_company = job.find('div', class_='company-text').find('a').text.strip() print(job_title, job_salary, job_company) ``` 以上代码是用于爬取BOSS直聘上的Python职位信息。其中,url是要爬取的网页链接,headers是请求头,response是网页的响应对象,soup是解析后的BeautifulSoup对象,job_list是找到的所有职位信息的列表。在for循环中,通过find方法找到职位的标题、薪水和公司名称,并打印输出。 6. 运行Python爬虫代码 在终端中进入python_crawler文件夹,并输入以下命令运行Python爬虫代码: ``` python job_crawler.py ``` 运行后,就可以看到爬取到的职位信息输出到终端中了。 以上是在VS Code中配置Python爬取招聘网站信息的步骤,希望能对你有帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值