python爬虫提取人名_python爬虫-提取网页数据的三种武器

最新推荐文章于 2023-01-01 21:19:00 发布
最新推荐文章于 2023-01-01 21:19:00 发布
阅读量555 收藏
点赞数
文章标签： python爬虫提取人名
本文介绍了Python爬虫中提取网页数据的三种常用工具：XPath、CSS选择器和正则表达式。通过实例演示了它们的使用方法，包括在Python中安装和导入相关模块，以及各种语法和方法，如xpath语法、cssselect和正则表达式的匹配模式。同时，详细讲解了如何利用这些工具获取元素的属性信息和文本内容。
摘要由CSDN通过智能技术生成

常用的提取网页数据的工具有三种xpath、css选择器、正则表达式

1.xpath

1.1在python中使用xpath必须要下载lxml模块：

pip install lxml

然后导入：

from lxml import etree

使用：

selector = etree.HTML(html_str)

selector.xpath("xpath语法")

1.2xpath语法

1452265-20191201194652427-748418422.png

1452265-20191201194819206-319528976.png

1452265-20191201194901991-1494242456.png

1452265-20191201195123491-1099613643.png

以上是获取元素的语法，但我们最终的目的是获取元素里面的属性信息或文本信息

from lxml importetree

html_str= '''

百度

Bing

'''response= etree.HTML(html_str)

获取属性data-id信息：

data-id = selector.xpath("//div[@class='example1']/@data-id")[0]

获取文本信息：

text = selector.

最低0.47元/天 解锁文章
weixin_39922004
关注
python爬虫提取人名_python爬虫—爬取英文名以及正则表达式的介绍
weixin_39636079的博客
11-23 1285
python爬虫—爬取英文名以及正则表达式的介绍爬取英文名：一. 爬虫模块详细设计(1)整体思路对于本次爬取英文名数据的爬虫实现，我的思路是先将A-Z所有英文名的连接爬取出来，保存在一个csv文件中；再读取csv文件当中的每个英文名链接，采用循环的方法读取每一个英文名链接，根据每个英文名链接爬取每个链接中的数据，保存在新的csv文件当中。需要写一个爬取英文名链接的函数、将爬取的内容保存在csv文...
re.S用法
热门推荐
weimingchao的博客
10-24 1万+
re.S用法 re.S的作用： 不使用re.S时，则只在每一行内进行匹配，如果存在一行没有，就换下一行重新开始，使用re.S参数以后，正则表达式会将这个字符串看做整体，在整体中进行匹配，一般在爬虫项目中会经常用到。 例： import re a = """This is a*webspider*item! maoyanmovierank""" b = re.findall('a(.*?)item',a) c = re.findall('a(.*?)item',a,re.S) print (b) prin
正则表达式re.S的用法
mxh的博客
02-23 1098
正则表达式re.S的用法在Python的正则表达式中，有一个参数为re.S。它表示“.”（不包含外侧双引号，下同）的作用扩展到整个字符串，包括“\n”。看如下代码：import re a = '''asdfsafhellopass: 234455 worldafdsf ''' b = re.findall('hello(.*?)world',a) c = re.findal...
正则表达式中re.S是什么意思？有什么作用？
HWP
03-16 5801
1.不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。 2.使用re.S参数以后，正则表达式会将这个字符串作为一个整体，将“\n”当做一个普通的字符加入到这个字符串中，在整体中进行匹配。 ...
python2爬取姓名
老专家的博客
01-31 639
单线程版，访问后直接写入文件，适合小内存 多线程版，子线程访问后把结果存入list，最后主线程写入文件，占内存 python 2.7.5 pip install beautifulsoup4 #encoding:utf-8 import codecs import urllib2 from bs4 import BeautifulSoup def getHtml(urlStr): h...
python爬虫提取人名_Python2爬取学生名单
weixin_39987985的博客
11-20 944
背景：学校的网站可以根据学号查学生姓名和成绩（三年后的补充：借助sql注入漏洞跳过密码，但是该网站现在已经被弃用了），所以我希望通过Python的爬虫得到年级所有同学的学号与姓名对应表。实现：首先需要算出所有学生的学号以方便查询。接下来要把学号和考试场次包装成待会要填入的信息，这可以用urllib模块里的函数urlencode完成。之后要访问网站，先用urllib2模块里的Request函数获得访...
Python库 | secret_miner-0.2.5-py2.py3-none-any.whl
02-19
`secret_miner`是一个Python库，版本为0.2.5，它是一个用于后端开发的工具，支持Python 2和Python 3两种解释器，这从文件名`secret_miner-0.2.5-py2.py3-none-any.whl`中可以体现出来。 `.whl`文件是Python的二进制...
正则表达式笔记re.S
止水
09-26 337
re.S: 匹配包括’\n’（换行符）的内容，因为往往用’.‘进行匹配时，’.'不会匹配换行符。 总之，有这个可以匹配包含换行符的内容，及匹配内容有换行情况存在，没有这个匹配到的是没有换行情况的内容。 result(匹配结果): result[1]:第一个(.*?)匹配的内容。 result.group():显示包括正则表达式所写的内容和匹配内容两部分。 result.group(1):与resu...
python3爬取姓氏
12-16
用python3和Beautifusoup爬取姓氏，并存储到数据库中，适合python刚入门的同学下载学习，里面注释详细，大家也可以去我博客观看：http://blog.csdn.net/ma853756059/article/details/78819306 谢谢
Python re.S【转】
QQ331948781的专栏
03-05 844
转载自：http://www.myext.cn/other/a_29426.html 感谢博主! 在Python的正则表达式中，有一个参数为re.S。它表示多行匹配。看如下代码： import re a = '''asdfsafhellopass: 234455 worldafdsf ''' b = re.findall('hello(.*?)world',a) c =
正则中的re.s
boteman123的博客
09-08 260
在Python的正则表达式中，有一个参数为re.S。它表示“.”（不包含外侧双引号，下同）的作用扩展到整个字符串，包括“\n”。 举个例子： 正则表达式中，“.”的作用是匹配除“\n”以外的任何字符，也就是说，它是在一行中进行匹配。这里的“行”是以“\n”进行区分的。a字符串有每行的末尾有一个“\n”，不过它不可见。 如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一...
正则表达式：re.S的用法
Yummy的博客
11-21 3500
在Python的正则表达式中，有一个参数为re.S。它表示“.”的作用扩展到整个字符串，包括“\n”。看如下代码： 1 import re 2 a = '''asdfsafhellopass: 3 worldafdsf 4 ''' 5 b = re.findall('hello(.*?)world',a) 6 c = re.findall('hello(.*?)world',a,re.S) 7 print 'b is ' , b 8 print 'c is ' , c # b is
python怎么爬取网站所有用户_如何用 Python 爬取需要登录的网站？
weixin_39540271的博客
11-29 782
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。教程中的代码可以从我的 Github 中找到。我们将会按照以下步骤进行：提取登录需要的详细信息执行站点登录爬取所需要的数据在本教程中，我使用了以下包（可以在 requirements.txt 中找到）：requests...
java随机姓名 根据网络爬虫爬取百家姓和名字
最新发布
m0_68055637的博客
01-01 1075
java随机姓名 根据网络爬虫爬取百家姓和名字
re匹配 [\s\S][\w\W]的使用.
07-25 554
本来想提取一个字符串写了一堆正则都提取不出来. 因为有特殊字符 后来使用 [\s\S]* 或 [\w\W]* 匹配出来. \s 空白字符 [ \t\n\r\f\v] \S 非空白字符 相当于 [^ \t\n\r\f\v] 。 一个字符要么是空白字符要么不是. 一个字符要么是词语(word)字符要么不是. 完全没啥问题. 之前也遇到这种问题,也折腾了好久.结果忘记了. 特此备忘. 转载...
正则re.S用法
Hql_ztz的博客
06-17 762
在Python的正则表达式中，有一个参数为re.S。它表示“.”（不包含外侧双引号，下同）的作用扩展到整个字符串，包括“\n”。看如下代码： import re a = ‘’‘asdfsafhellopass: 234455 worldafdsf ‘’’ b = re.findall(‘hello(.?)world’,a) c = re.findall('hello(.?)world’,a,re....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值