python爬取网站时,一键获取headers、url等信息
(真的是让我爬取网站时,省了不少力气,作为小秘密分享给大家喽)
作为Python的使用者,我今天就和大家来分享分享我学习python的经验,对于python我是大一接触认识并学的,老师讲了基础知识,又碰巧看到到网上消息python还可以用来做网络爬虫,既然学了就学点东西,我就学习python爬虫来爬取信息。今天的分享也是对Python先暂停的一个暂停键。从现在开始我要先把python放一放,主要去学习学习Pr,然后我将会推出些视频讲解在哔哩哔哩上,或者其他渠道上播放一些视频希望可以让大家学习观看。(这几天我还偷偷地学习了微信小程序一会儿同时再写一篇关于微信小程序的记录,大家也可以看看哦,我虽然不是最专业的,但我报证做到最专心,多学习学习,多分享分享!有说的不对的地方大家也别嫌弃我哦(⊙o⊙)?)
首先先引出问题,爬取文件是有时需要对爬虫进行封装,对头部的封装说不定还有很多其他的参数一个一个打下来说不定还有很多,也很麻烦,我现在教大家一键搞定,只需要复制粘贴。
一、找到我们对应的爬取网站,打开他的开发者工具-
右键-检查
F12
都可以打开我们的开发者工具
在开发者工具里面,找到我们的Network进行抓包
2、抓包,按住Ctrl + F,进行关键字查询,找到我们对应的包
3、这是重点,敲黑板!!!
将复制下来的信息到我们的网站上
https://curl.trillworks.com/
左侧:添加我们刚才复制的信息
右侧:我们全选复制但pycharm,就可
今天我的小秘密就分享到这里了,希望大家读到这里可以有所收获!
以下是题外话,大家可以看看哦!
在网络上学过很多,也看过很多计算机语言的教程有C、C++、java计算机的语言种类有很多,把他们分分类有的是前端,有的是后端,有的开源有的不开源,千千万万的种类有很多,但我不是计算机专业的学生,我说不出来哪一种语言最吃香,哪一种语言以后可以对你的人生工作有帮助,就我自己而言学习Python对我来讲会是一种工具,处理各式各样问题的工具,将来在办公我可以通过第三方库,来开启我的工作;需要抠图时,我也可以引入一种第三方库,不用学习Ps也挺好;想数据分析了也可以引入另一个第三方库;我可以说python是一种工具类型的语言,通过引入各种第三方库来完成自己的没目标。
所以在我的观念上python会一直一直不断地进行更新我们对于python的学习也是无止境的,所以掌握python的语言习惯显得尤为重要,当有问题出现的时候我们可以拿出问题,分析问题,在网上找找我们可以引入的第三方库,通过调用该第三方库来达到我们的目的。。。。
我不愿意找各种理由,因为不断地我发现我是一种需要一直不断地探索的人python带给我了很多乐趣,但我认为想要去学习计算机一定要从多方面来进行,网络安全、数据与架构、慢慢地都要接触,我给自己定的目标是,在大学哪怕不精通,我也要做到了解,细心去学习。现在我的能力是会python的基础知识应用能力有爬虫、词云等、还有微信小程序,我很高兴我能有一个可以公开被大家使用为大家带来便利的应用,所以接下来在大二的最后下半学期,我要简单的理解网络安全,学习学习mySQL数据库。对了bilibili上,名字也是小白巨白欢迎大家去看看哦