爬虫python需要哪些软件_Python学习,爬虫不一定非要抓数据,也可以做自己喜欢的应用程序...

写在前面的话

最近各种负面消息,对爬虫er来说,并不是很友好,当然这个是对于从业者来说的,对像我这样的正在学习python的个人来说,python爬虫的学习只需要保持以下几点,基本不会出现大的问题:遵守Robots协议(额,尽量遵守吧)

优化代码,不对服务器造成影响为最佳(暴力爬取会严重影响网站的日常访问,最好加入时间间隔)

敏感数据不要碰(个人隐私、付费数据等等敏感数据,不要去碰,大部分的违法行为就是因为没有遵守这点……)

数据量不要太大(毕竟是学习阶段,能抓到几页数据就可以了,不要批量的抓取大量的数据,对大多数的学习者来说,几遍抓到了大量的数据,也没有更好的用途,那么也就没什么用了!)

进入正题

今天给大家分享的是,制作一个基于爬虫的小程序,实现快速查询IP的功能。

使用的工具为python3.6和pycharm,模块:requests库、tkinter库(GUI)、lxml库

先来看看网页是什么样子的

打开主页后,网页会自动显示你的IP及所在的地理位置(上图红色覆盖部分),然后在上方填入待查询的IP,点击查询后,抓包看看返回的内容

可以看到,这里返回了一个html内容,我们直接抓这个包就可以,只需要在url上将待查询的ip加到url后面就可以了。

开始写代码

首先,先写tk的框架

具体功能不一一讲了,大家可以自行在网上找到tk的教程,这里就说一下大概的思路和数据的传入:首先是做出大的框架,然后从上往下依次写各个功能模块,第33行,这里用一个函数获取本机的IP和位置,数据从网页抓出,函数截图如下:

返回一个列表,然后在34和36行依次导入,显示在程序内,为了显眼一些,加入背景颜色。42行为输入待查询的IP,并在第44行的按钮中绑定查询按钮,在函数中直接显示在Listbox模块中,对应的函数截图如下:

ps:代码中用f-string方法来格式化字符串,具体使用方法大家可以去看看我的其他文章,里面有详细说明。

最终效果如下:

后记

后来,用pyinstaller打包生成exe文件,但是出现了报错,最后的退出部分出现了错误

然后将退出按钮函数修改为exit,打包后依然报错

后来修改了一下退出按钮的函数,将command的值修改为sys.exit,就可以了

bton = Button(root, text="退出",width =40,command=sys.exit)

可能是在Windows下运行程序,quit或者exit不能直接用于退出程序,导致的报错。

整个代码不到50行搞定,爬虫部分甚至不到10行,在这方面,python依然是很有优势的!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值