python爬虫代码1000行-简单用14行代码写一个Python代理IP的爬虫

相信用别的语言只用14行是写不出来这样的效果的!而我们的Python 只需要区区的14行代码就能写出来哦!

这就是Python为什么是全球现在比较流行的语言之一了!因为简单 容易学! 比较上手! 现在就连某城市的小学生都已经开始学了! 生怕孩子输在了起跑线上了!

你也许可能会问我们 爬这些代理IP有什么用呢? 我可以告诉你 只要你学到爬虫这块 就必须要学会 反爬! 在这里有的同学可能又不懂了! 不知道什么是反爬! 反爬就是一个网站 为了防止别人写的爬虫去爬取上面的内容 做的一些措施! 比如 UA验证, 复杂一点的 就是IP验证了! 原理就是 如果有一个IP短时间内 请求很多次 不像一个人的正常请求 ! 这时候就会被服务器判定成机器人了! 也就是爬虫! 然后跳转一个特别的网页 比如给出一个403的错误页面! 那就是你的IP被服务器暂时封禁了!

下面的图就是一个很好的例子! 由于我在一定时间内 请求的次数非常的多! 所以被封禁了!

接下来开始我们的教程吧! 需要用的模块有 requests_html 没有安装的同学 赶紧安装! 安装方法 pip install 模块名称!

下面开始步入正题: 分析view-source:http://www.xicidaili.com/nn/ 的源代码 ! class ='odd' 我们只需要抓取这个元素对象所有的文本内容!

r.html.find('.odd') find 查找的意思 .odd 就是 class的元素!

直接附上我们的源代码吧!from requests_html import HTMLSession

session = HTMLSession()

def ip():

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

}

url = 'http://www.xicidaili.com/nn/'

r = session.get(url, headers=headers)

r = r.html.find('.odd')

for x in r:

print(x.text.split())

if __name__ == '__main__':

ip()

以上就是爬取ip网站的源代码 如有不足的地方欢迎指出!