python爬虫实训_python爬虫实践教学

最新推荐文章于 2023-04-11 17:32:03 发布
最新推荐文章于 2023-04-11 17:32:03 发布
阅读量393 收藏
点赞数
文章标签： python爬虫实训

一、前言

这篇文章之前是给新人培训时用的，大家觉的挺好理解的，所以就分享出来，与大家一起学习。如果你学过一些python，想用它做些什么又没有方向，不妨试试完成下面几个案例。

二、环境准备

安装requests lxml beautifulsoup4 三个库（下面代码均在python3.5环境下通过测试）

pip install requests lxml beautifulsoup4

15263677258554.png!small

三、几个爬虫小案例

获取本机公网IP地址

利用百度搜索接口，编写url采集器

自动下载搜狗壁纸

自动填写调查问卷

获取公网代理IP，并判断是否能用、延迟

3.1 获取本机公网IP地址

利用公网上查询IP的借口，使用python的requests库，自动获取IP地址。

import requests

r = requests.get("http://2017.ip138.com/ic.asp")

r.encoding = r.apparent_encoding #使用requests的字符编码智能分析，避免中文乱码

print(r.text)

# 你还可以使用正则匹配re模块提取出IP

import re

print(re.findall("\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}",r.text))

15263677399123.png!small

3.2 利用百度搜索接口，编写url采集器

这个案例中，我们要使用requests结合BeautifulSoup库来完成任务。我们要在程序中设置User-Agent头，绕过百度搜索引擎的反爬虫机制（你可以试试不加User-Agent头，看看能不能获取到数据）。注意观察百度搜索结构的URL链接规律，例如第一页的url链接参数pn=0，第二页的url链接参数pn=10…. 依次类推。这里，我们使用css选择器路径提取数据。

import requests

from bs4 import BeautifulSoup

# 设置User-Agent头，绕过百度搜索引擎的反爬虫机制

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'}

# 注意观察百度搜索结构的URL链接规律，例如第一页pn=0，第二页pn=10.... 依次类推，下面的for循环搜索前10页结果

for i in range(0,100,10):

bd_search = "https://www.baidu.com/s?wd=inurl:/dede/login.php?&pn=%s" % str(i)

r = requests.get(bd_search,headers=headers)

soup = BeautifulSoup(r.text,"lxml")

# 下面的select使用了css选择器路径提取数据

url_list = soup.select(".t > a")

for url in url_list:

real_url = url["href"]

r = requests.get(real_url)

print(r.url)

编写好程序后，我们使用关键词inurl:/dede/login.php 来批量提取织梦cms的后台地址，效果如下：

15263677541511.png!small

3.3 自动下载搜狗壁纸

这个例子，我们将通过爬虫来自动下载搜过壁纸，程序中存放图片的路径改成你自己想要存放图片的目录路径即可。还有一点，程序中我们用到了json库，这是因为在观察中，发现搜狗壁纸的地址是以json格式存放，所以我们以json来解析这组数据。

import requests

import json

#下载图片

url = "http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E6%B8%B8%E6%88%8F&start=0&len=15&width=1366&height=768"

r = requests.get(url)

data = json.loads(r.text)

for i in data["all_items"]:

img_url = i["pic_url"]

# 下面这行里面的路径改成你自己想要存放图片的目录路径即可

with open("/home/evilk0/Desktop/img/%s" % img_url[-10:]+".jpg","wb") as f:

r2 = requests.get(img_url)

f.write(r2.content)

print("下载完毕：",img_url)

15263677807555.gif!small

3.4 自动填写调查问卷

import requests

import random

url = "https://www.wjx.cn/joinnew/processjq.ashx?submittype=1&curID=21581199&t=1521463484600&starttime=2018%2F3%2F19%2020%3A44%3A30&rn=990598061.78751211"

data = {

"submitdata" : "1$%s}2$%s}3$%s}4$%s}5$%s}6$%s}7$%s}8$%s}9$%s}10$%s"

}

header = {

"User-Agent" : "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)",

"Cookie": ".ASPXANONYMOUS=iBuvxgz20wEkAAAAZGY4MDE1MjctNWU4Ni00MDUwLTgwYjQtMjFhMmZhMDE2MTA3h_bb3gNw4XRPsyh-qPh4XW1mfJ41; spiderregkey=baidu.com%c2%a7%e7%9b%b4%e8%be%be%c2%a71; UM_distinctid=1623e28d4df22d-08d0140291e4d5-102c1709-100200-1623e28d4e1141; _umdata=535523100CBE37C329C8A3EEEEE289B573446F594297CC3BB3C355F09187F5ADCC492EBB07A9CC65CD43AD3E795C914CD57017EE3799E92F0E2762C963EF0912; WjxUser=UserName=17750277425&Type=1; LastCheckUpdateDate=1; LastCheckDesign=1; DeleteQCookie=1; _cnzz_CV4478442=%E7%94%A8%E6%88%B7%E7%89%88%E6%9C%AC%7C%E5%85%8D%E8%B4%B9%E7%89%88%7C1521461468568; jac21581199=78751211; CNZZDATA4478442=cnzz_eid%3D878068609-1521456533-https%253A%252F%252Fwww.baidu.com%252F%26ntime%3D1521461319; Hm_lvt_21be24c80829bd7a683b2c536fcf520b=1521461287,1521463471; Hm_lpvt_21be24c80829bd7a683b2c536fcf520b=1521463471",

}

for i in range(0,500):

choice = (

random.randint(1, 2),

random.randint(1, 4),

random.randint(1, 3),

random.randint(1, 4),

random.randint(1, 3),

random.randint(1, 3),

random.randint(1, 3),

random.randint(1, 3),

random.randint(1, 3),

random.randint(1, 3),

)

data["submitdata"] = data["submitdata"] % choice

r = requests.post(url = url,headers=header,data=data)

print(r.text)

data["submitdata"] = "1$%s}2$%s}3$%s}4$%s}5$%s}6$%s}7$%s}8$%s}9$%s}10$%s"

当我们使用同一个IP提交多个问卷时，会触发目标的反爬虫机制，服务器会出现验证码。

15263678025068.png!small

15263678115694.png!small

我们可以使用X-Forwarded-For来伪造我们的IP，修改后代码如下：

import requests

import random

url = "https://www.wjx.cn/joinnew/processjq.ashx?submittype=1&curID=21581199&t=1521463484600&starttime=2018%2F3%2F19%2020%3A44%3A30&rn=990598061.78751211"

data = {

"submitdata" : "1$%s}2$%s}3$%s}4$%s}5$%s}6$%s}7$%s}8$%s}9$%s}10$%s"

}

header = {

"User-Agent" : "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)",

"Cookie": ".ASPXANONYMOUS=iBuvxgz20wEkAAAAZGY4MDE1MjctNWU4Ni00MDUwLTgwYjQtMjFhMmZhMDE2MTA3h_bb3gNw4XRPsyh-qPh4XW1mfJ41; spiderregkey=baidu.com%c2%a7%e7%9b%b4%e8%be%be%c2%a71; UM_distinctid=1623e28d4df22d-08d0140291e4d5-102c1709-100200-1623e28d4e1141; _umdata=535523100CBE37C329C8A3EEEEE289B573446F594297CC3BB3C355F09187F5ADCC492EBB07A9CC65CD43AD3E795C914CD57017EE3799E92F0E2762C963EF0912; WjxUser=UserName=17750277425&Type=1; LastCheckUpdateDate=1; LastCheckDesign=1; DeleteQCookie=1; _cnzz_CV4478442=%E7%94%A8%E6%88%B7%E7%89%88%E6%9C%AC%7C%E5%85%8D%E8%B4%B9%E7%89%88%7C1521461468568; jac21581199=78751211; CNZZDATA4478442=cnzz_eid%3D878068609-1521456533-https%253A%252F%252Fwww.baidu.com%252F%26ntime%3D1521461319; Hm_lvt_21be24c80829bd7a683b2c536fcf520b=1521461287,1521463471; Hm_lpvt_21be24c80829bd7a683b2c536fcf520b=1521463471",

"X-Forwarded-For" : "%s"

}

for i in range(0,500):

choice = (

random.randint(1, 2),

random.randint(1, 4),

random.randint(1, 3),

random.randint(1, 4),

random.randint(1, 3),

random.randint(1, 3),

random.randint(1, 3),

random.randint(1, 3),

random.randint(1, 3),

random.randint(1, 3),

)

data["submitdata"] = data["submitdata"] % choice

header["X-Forwarded-For"] = (str(random.randint(1,255))+".")+(str(random.randint(1,255))+".")+(str(random.randint(1,255))+".")+str(random.randint(1,255))

r = requests.post(url = url,headers=header,data=data)

print(header["X-Forwarded-For"],r.text)

data["submitdata"] = "1$%s}2$%s}3$%s}4$%s}5$%s}6$%s}7$%s}8$%s}9$%s}10$%s"

header["X-Forwarded-For"] = "%s"

效果图：

15263678267778.png!small

1526367832252.png!small

15263678478274.png!small

关于这篇文章，因为之前写过，不赘述，感兴趣直接看：【如何通过Python实现自动填写调查问卷】

3.5 获取公网代理IP，并判断是否能用、延迟时间

这一个例子中，我们想爬取【西刺代理】上的代理IP，并验证这些代理的存活性以及延迟时间。（你可以将爬取的代理IP添加进proxychain中，然后进行平常的渗透任务。）这里，我直接调用了linux的系统命令ping -c 1 " + ip.string + " | awk 'NR==2{print}' - ，如果你想在Windows中运行这个程序，需要修改倒数第三行os.popen中的命令，改成Windows可以执行的即可。

from bs4 import BeautifulSoup

import requests

import os

url = "http://www.xicidaili.com/nn/1"

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}

r = requests.get(url=url,headers=headers)

soup = BeautifulSoup(r.text,"lxml")

server_address = soup.select(".odd > td:nth-of-type(4)")

ip_list = soup.select(".odd > td:nth-of-type(2)")

ports = soup.select(".odd > td:nth-of-type(3)")

for server,ip in zip(server_address,ip_list):

if len(server.contents) != 1:

print(server.a.string.ljust(8),ip.string.ljust(20), end='')

else:

print("未知".ljust(8), ip.string.ljust(20), end='')

delay_time = os.popen("ping -c 1 " + ip.string + " | awk 'NR==2{print}' -")

delay_time = delay_time.read().split("time=")[-1].strip("\r\n")

print("time = " + delay_time)

15263679151873.png!small

15263679533324.gif!small

四、结语

当然，你还可以用python干很多有趣的事情。如果上面的这些例子你看的不是很懂，那我最后在送上一套python爬虫视频教程：【Python网络爬虫与信息提取】。现在网络上的学习真的很多，希望大家能够好好利用。

有问题大家可以留言哦，也欢迎大家到春秋论坛中来耍一耍 >>>点击跳转

weixin_39632057
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Python】Python3网络爬虫实战-23、使用Urllib：分析Robots协议
Python8年程序员教程分享
07-27 354
利用 Urllib 的 robotparser 模块我们可以实现网站 Robots 协议的分析，本节我们来简单了解一下它的用法。 1. Robots协议 Robots 协议也被称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫做 robots.txt 的文本文件，放在网...
大学生项目实训python爬虫完整源代码.zip
01-07
大学生项目实训python爬虫完整源代码.zip
python爬虫实验
weixin_30470857的博客
06-28 206
那天在新浪微博上看到北北出的题目，由于最近也在做类似的爬虫研究，所以就有了这个实验。 后来在QQ上和北北说了下，要求是啥都抓，就抓乌云的。。。 然后就开始了。。 第一个版本如下，后续不断改进直到满足需求： import urllib2; from sgmllib import SGMLParser; class CatCh(SGMLParser): def reset(...
爬虫大概分类
不爱读书的小孩-博客
11-02 5628
网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的 [1] 。 通用网络爬虫 通用网络爬虫又称...
python 爬虫（项目实操）
sinat_58088248的博客
01-10 1082
2 练习 - 豆瓣电影爬虫 解密吴氏私厨，意思就是到吴枫的厨房去看一看，看一看有没有什么好吃的。希望你会喜欢这一关。 惯例，我们要进入全屏操作（win：F11；苹果电脑：control+command+F）；惯例，我们要做一个复习。 复习 上一关，我们学习了用BeautifulSoup库解析数据和提取数据，解析数据的方法是： 提取数据的方法是用find() 与find_all() 最后，我们把事情串起来，就变成下图中的模样。它所对应的，正是爬虫四步中的前三步。
NewSpider_爬虫_python爬虫_python_python爬虫_
09-29
利用python环境来实现的基于scrapy的网页信息爬虫
python_a4_python爬虫_python_python爬虫_
10-04
基于python的爬虫程序，爬取新闻网页，生成汇总文档
Python爬虫源码文件_pachong_python爬虫_python_website_
09-30
python编程获取网站所有类型数据文件或商品信息
用Python写网络爬虫_爬虫python_爬虫_python爬虫_python_meii2_源码
09-30
介绍Python写网络爬虫的思路，整体分析，以及数据的分析和处理过程
python爬虫实训项目
qq_50486380的博客
12-25 1522
python爬虫实战选择wallhaven网站去爬取壁纸。 wallhaven网站有大量精美的壁纸，但在国内无法直接下载，所以我们准备设计和实现一个爬取壁纸网站的爬虫。下载国外壁纸网站的精美图片，并可以自动新建文件夹保存图片，可保存到百度网盘，自动选择下载的页数，下载图片的数量,选择图片的分辨率，和图片的大小。 第一步：先导入需要的库 #导入所需要的库 import requests import re import os from bypy import ByPy from PIL import.
python爬虫实训
qq_45849275的博客
07-14 773
爬虫实训 总共五个爬虫项目项目实践 1.保证可以实时运行 2.保证基础知识点能够全部来 涉及的新知识点分别有pyecharts，redis，scrapy 3.实践报告写完一定要多加分析 1.数据可视化
python爬虫实训_Python实训第三天--关于爬虫
weixin_39725650的博客
11-24 114
#1.requests基本使用import requests #导入requests请求库#往百度主页发送请求，获取响应对象response = requests.get(url='https://www.baidu.com/')#设置字符编码为 utf-8response.encoding = 'utf-8'#打印响应文本print(response.text)#把响应文本写入本地with o...
python实训-爬虫
qq_26930625的博客
04-11 238
登录网址URL ——>浏览器向服务器发送请求——>服务器收到请求后，会响应对应的数据给浏览器。引入Python整理数据的工具包 json、获取鞋子颜色及鞋码数据。需求：分析京东上：销量最高的鞋子，最受欢迎的颜色以及鞋码。第三步：利用Python replace语法。代替浏览器向服务器发送请求。第三步、引入openpyxl工具包存储数据。（3）在sheet里面保存数据。（1）创建一个Excel表格。（4）把表格保存在一个磁盘里。（2）创建一个sheet。评论区内容背后的URL。2、浏览器的工作原理。
python爬虫的实践
qq_43427354的博客
05-09 198
一、批量获取网页图片，并通过调用百度文字识别api，进行图片中的文字识别 1、批量获取网页图片 cookie登录、获取url状态码、新建文件夹 import requests import os import time # 将需要请求的url放在一个数组里面 url_list = ["添加图片所在网页的url"] # 由于网站本身安全性不高，先通过浏览器登录，将浏览器与服务器的身份识别“cookie和user-agent”复制出来，以便随着请求一并发过去，实现免密登录。 headers = {
python网络爬虫实践_第18，Python网络爬虫实践（1）
weixin_35891787的博客
02-04 350
一，预备知识(1)统一资源定位符爬虫爬取的对象是网络资源，如果把互联网比作一个城市，互联网中许许多多的网络资源就像是城市中许许多多的的住户。若要拜访某家住户，就必须知道这家的地址。当我们使用浏览器打开一个网页时，会发现网址栏：http://www.*****.com我们平时说的网址，一般指www.*****.com这一部分。那么前面的http是干什么的？它是一种常见的协议类型----超文本传输协议...
Python实训day04pm【网络爬虫（文本、图片）】
upward
01-07 543
Python实训
python爬虫实践
Feng_8071的博客
08-02 371
一、python环境安装 安装python -m pip install --upgrade pip出现如下 data = self.read(amt=amt, decode_content=decode_content) File "D:\Program Files (x86)\Microsoft Visual Studio\Shared\Python37_64\lib\site-packages\pip\_vendor\urllib3\response.py", line 430, in re
python实训笔记（静态爬虫）
Ben的博客
07-31 468
python项目实训笔记（一）静态爬虫用户正常访问网页的流程爬虫访问网页的流程1、request请求模块1、方法介绍url:请求地址headers：请求携带的请求头信息parmes/data：请求携带的参数信息最后进行请求和分析：利用params进行多页请求和分析：使用面的对象思想进行爬虫2、正则表达式re1、match匹配2、贪婪与非贪婪3、search方法4、修饰符5、findall()6、compile()7、网页中正则表达式练习3、持久化csv持久化存储数据库持久化存储4、解析器解析1、bs4解析器
python爬虫实训内容
最新发布
12-02
Python爬虫实训Python爬虫实训内容主要包括以下几个内容主要包括以下几个方面： 1. 爬虫基础知识：了解HTTP协议、HTML、CSS方面： 1. 爬虫基础知识：了解HTTP协议、HTML、CSS、JavaScript等基础知识，掌握网页结构和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值