标题:python爬虫实现
一、网络爬虫的概论
网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
二、网络爬虫的流程
①爬虫的第一个步骤就是对起始 URL 发送请求,以获取其返回的响应。
②返回的网页数据,我们需要进行解析,提取出自己想要的数据,就比如房屋的价格,可以指定对其进行提取。
③如果需要翻页或者进行二级页面爬取,则需要找到对应的url,保存下来,如不需要,可以直接保存,一般保存的是csv文件格式。
三、实际操作
1.导入包
import pandas as pd
from lxml import etree
import requests
import re
import os
import time
import numpy as np
etree类主要是将html字符串转化为element对象,方便我们用xpath定位。
当然这里不仅仅只有这一种方法,还有BeautifulSoup库等等
2.设置一个请求头
代码如下(示例):
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}
有些网站对爬虫有作一些反爬措施,所以为了反反爬,我们可以对我们网络爬虫的请求头做一些设定。你可以加入cookie,或者设置一个请求头的池,多久换一次请求头都是一个应对反爬措施的举措。而我这个地方只是简单的举个例子。
3.代码过程
可以通过网页看出,找到我们需要的信息,然后进行定位提取。
代码部分:
def get_info(html):
comment_list = html.xpath('//*[@id="select_tab2"]/ul/li')
comment = []
for i in comment_list:
item={}
item['名字'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/h3/a/text()')))
item['是否整租'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[1]/em[1]/text()')))
item['住房类型'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[1]/em[2]/text()')))
item['几室几厅'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[1]/em[3]/text()')))
item['房屋面积'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[1]/em[4]/text()')))
item['朝向'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[1]/em[5]/text()')))
item['装修程度'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[1]/em[6]/text()')))
item['地点'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[2]/em[1]/a/text()')))
item['价格'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[3]/b/text()')))
item['押金'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[4]/text()')))
item['小区'] = re.sub("\s", "", ",".join(i.xpath('./div[2]/span[2]/em[2]/a[1]/text()')))
comment.append(item)
return comment
re模块
. 匹配任意1个字符(除了\n)
[ ] 匹配[ ]中列举的字符
\d 匹配数字,即0-9
\D 匹配非数字,即不是数字
\s 匹配空白,即空格,tab键
\S 匹配非空白
\w 匹配非特殊字符,即a-z、A-Z、0-9、汉字
\W 匹配特殊字符,即非字母、非数字、非汉字
这里采用xpath定位,采用re主要是想去除一些标签中的换行符’ \n '。
3.翻页实现和数据存储
从图片中画圈的部分可以看出,每一个页面翻页是通过page等于的数字决定的,因此我们可以通过改变page的值来进行翻页的实现。
代码部分:
for i in range(1,134):
url = 'http://fangzi.xmfish.com/web/search_hire.html?&page={}'.format(i)
rqq = requests.get(url)
html = etree.HTML(rqq.content)
comment = pd.DataFrame(get_info(html))
print(comment)
filename = '小鱼租房信息_2.csv'
if os.path.exists(filename): #这个地方主要是检测路径下的这个filename是否存在。
comment.to_csv(filename,mode='a',header=False,index=0,encoding='utf-8')
else:
comment.to_csv(filename,index=0,header=True,encoding='utf-8')
print('爬取第{}页成功'.format(i))
time.sleep(np.random.randint(3,5)) #这个地方也是一个反反爬的小技巧,让你的爬虫休息一会,以防被检测。
注:并非是每一个网站都是如此翻页的,有些网页翻页方式是不一样的哦
3.结果展示
这个是爬取的文件
好了,有了有了,我们打开它
OK!!!
收工