python3的xpath_python3 xpath数据获取案例

import requests

from retrying import retry

from lxml import etree

import json

class DaCheng(object):

def __init__(self):

self.temp_url = "http://www.dachengnet.com/cn/professionals?currentPageNo={}&"

self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.91 Safari/537.36"}

def get_url_list(self):

url_list = [self.temp_url.format(i) for i in range(1, 78)] # 使用列表推导式获取pageNo

return url_list

@retry(stop_max_attempt_number=3)

def _parse_url(self, url):

r = requests.get(url, headers=self.headers, timeout=3)

assert r.status_code == 200

return etree.HTML(r.content) # 返回一个xpath对象

def parse_url(self, url):

# print(url)

try:

html = self._parse_url(url)

except:

html = None

return html

def get_content_list(self, html):

tr_list = html.xpath("//tbody/tr")

content_list = []

for tr in tr_list:

item = dict()

# 姓名

item['Name'] = tr.xpath('./td[1]/a/text()')[0] if len(tr.xpath('./td[1]/a/text()')) > 0 else None

# 邮箱

item['Email'] = tr.xpath('./td[2]/text()')[0] if len(tr.xpath('./td[2]/text()')) > 0 else None

# 职位

item['Position'] = tr.xpath('./td[3]/text()')[0].strip().replace('\n', '').replace('\t', '') if len(

tr.xpath('./td[3]/text()')) > 0 else None

# 地点

item['Location'] = tr.xpath('./td[4]/text()')[0].strip().replace('\n', '').replace('\t', '') if len(

tr.xpath('./td[4]/text()')) > 0 else None

content_list.append(item)

# print(item)

return content_list

def save_content_list(self, content_list):

with open('DaCheng.json', 'a') as f:

for content in content_list:

json.dump(content, f, ensure_ascii=False, indent=2)

f.write(',\n')

print('保存成功')

def run(self):

# 1.获取首页url

url_list = self.get_url_list()

# 2.循环发送请求，获取响应

for url in url_list:

html = self.parse_url(url)

# 3.提取数据

content_list = self.get_content_list(html)

# 4.保存

self.save_content_list(content_list)

if __name__ == '__main__':

dacheng = DaCheng()

dacheng.run()

python3 re正则匹配数据获取案例

# coding=utf-8import requestsimport jsonfrom retrying import retryimport re class TyY: def __init__( ...

Python爬虫(十三)_案例：使用XPath的爬虫

本篇是使用XPath的案例,更多内容请参考:Python学习指南 案例:使用XPath的爬虫 现在我们用XPath来做一个简单的爬虫,我们尝试爬取某个贴吧里的所有帖子且将该帖子里每个楼层发布的图片下载 ...

【Day3】4.Xpath语法与案例

课程目标 1.谷歌浏览器配置Xpath 2.Xpath常用语法 3.Xpath常用案例 1.谷歌浏览器配置Xpath Xpath下载:http://chromecj.com/web-developme ...

洗礼灵魂，修炼python(71)--爬虫篇—【转载】xpath/lxml模块，爬虫精髓讲解

Xpath,lxml模块用法 转载的原因和前面的一样,我写的没别人写的好,所以我也不浪费时间了,直接转载这位崔庆才大佬的 原帖链接:传送门 以下为转载内容: --------------------- ...

Python爬虫教程-22-lxml-etree和xpath配合使用

Python爬虫教程-22-lxml-etree和xpath配合使用 lxml:python 的HTML/XML的解析器 官网文档:https://lxml.de/ 使用前,需要安装安 lxml 包 ...

数据解析之xpath

一.环境安装 下载lxml pip install lxml 二.使用 XPath 使用路径表达式来选取 XML 文档中的节点或节点集.节点是通过沿着路径 (path) 或者步 (steps) 来选取 ...

Python爬虫基础——XPath语法的学习与lxml模块的使用

XPath与正则都是用于数据的提取,二者的区别是: 正则:功能相对强大,写起来相对复杂: XPath:语法简单,可以满足绝大部分的需求: 所以,如果你可以根据自己的需要进行选择. 一.首先,我们需要为 ...

xpath库学习

xpath解析是我们在爬虫中最常用也是最通用的一种数据解析方式. 环境安装 pip install lxml 解析原理 使用通用爬虫爬取网页数据 实例化etree对象,且将页面数据加载到该对象中 使用 ...

[python] 溜了，溜了，七牛云图片资源批量下载 && 自建图床服务器

故事背景: 七牛云最近一波测试域名操作真是把我坑死了!这简直和百度赠送你2T网盘,之后再限速一样骚操作.于是,痛定思痛自己买个云主机.自己搭图床应用! 1.七牛图片批量下载到本地 1.1 曲折尝试 当 ...

随机推荐

MVC应用程序实现上传文件

学习MVC以来,一直想实现上传文件的功能,使用jQuery来实现上传,有很多插件.此篇演示中,Insus.NET是使用Uploadify.http://www.uploadify.com/,它有更多的 ...

hdu 4588 Count The Carries

思路:容易发现二进制表示的数的最低位规律是01010101……:接着是001100110011……:接着是:0000111100001111…… 这样我们发现每一位的循环节是2^(i+1),前2^i是 ...

[五]JFreeChart实践四之直线图

重点: 1.时间序列集合作为dataset,一个时间序列为一条折线 2.时间序列可以是月:年,小时:天 3.准备好时间序列要放入时间序列集合中 4.将时间序列集合作为dataset传入ChartFac ...

Scrapy：python3下的第一次运行测试

1,引言 一文讲解了Scrapy的架构,本文就实际来安装运行一下Scrapy爬虫.本文以官网的tutorial作为例子,完整的代码可以在github上下载. 2, ...

让人头疼的CSS兼容

先说点Hack的知识(真正的高手是不用Hack的,但要成为高手必须通过Hack这一关) /* CSS属性级Hack */ color:red; /* 所有浏览器可识别*/ _color:red; /* ...

Centos7安装RocketMQ及配置测试

环境 Centos7 RocketMQ 3.2.6 安装位置 /usr/local/alibaba-rockermq 外网ip 182.254.145.66 内网ip 10.105.23.114 安装 ...

什么是Docker，它可干什么？

定义我们知道,软件依赖的环境大致包括: 1• 配置文件2• 代码3• tomcat4• JDK5• 操作系统 Docker作为一个软件集装箱化平台,可以让开发者构建应用程序时,将它与其依赖环境一起打包 ...

mysql原生分页

select * from table limit (pageNo-1)*pageSize, pageSize; 一:分页需求: 客户端通过传递start(页码),limit(每页显示的条数)两个参数 ...

05Hadoop 概论

Hadoop的思想之源:Google Google搜索引擎,Gmail,安卓,AppspotGoogle Maps,Google earth,Google 学术,Google翻译,Google+,下一 ...

关于Android studio团队协同开发连接到已有项目

当团队中已经有人创建好项目的时候,队员想把自己的as与码云上项目相互连接时,有两种方法: 方法一: 进入as初始页面: 分别点击:check out project from Version cont ...