- 博客(10)
- 收藏
- 关注
RSS订阅原创 Python笔记：网络爬虫之XPath、Beautiful Soup、PyQuery的使用
网络爬虫解析库的引入之前基于正则，比较繁琐，出错率较高爬取信息大多基于html结构的web页面, 网页节点较多，各种层级关系常见的Python解析库XPath: 基于XML文档，包含html查找功能 官方文档Beautiful Soup 依赖于lxml的解析库 官方文档PyQuery Python仿照jQuery严格实现 官方文档通用的html模板文件index.html...
2019-11-09 23:50:24
920
原创 Python笔记：网络爬虫之模拟人人网登录及获取数据的过程详解
概述使用urllib模拟人人网的登录的过程使用urllib模拟人人网登录后获取个人数据的过程使用urllib模拟登录及获取个人数据的过程使用requests模拟登录及获取个人数据的过程重点了解其中用于状态维持和会话跟踪的技术此文档具有时效性, 只针对当前人人网有效；在代码中模拟的数据并非真实数据, 如要正确运行, 请替换成自己的数据此文档的目的：仅提供积累知识、运用相关库解决问题的...
2019-11-04 11:18:41
1363
原创 Python笔记：网络爬虫中常用库的对比使用
爬虫常用的库常用的库urllib 库 在python3中自带，但有很多不方便操作的地方：处理网页验证 、Cookies, Header头信息处理等urllib3库 需要安装 $pip3 install urllib3 网址：https://pypi.org/project/urllib3/requests 库 安装 $pip3 install requests 网址：http://2.p...
2019-11-04 08:15:41
564
原创 Python笔记：网络爬虫的基础应用与异常处理
Python中的urllib介绍在Python2中, 有urllib与urllib2两个库可以用来实现request的发送而在Python3中, 没有urllib2了，统一称为：urlliburllib中包括了四个模块：urllib.request: 可以用来发送request和获取request的结果urllib.error: 包含了urllib.request产生的异常urll...
2019-11-03 18:35:25
257
原创 Python笔记：网络爬虫概述与工作原理
概述网络爬虫(web spider) 又称为网络蜘蛛、网络机器人，是一种按一定规则，自动抓取万维网信息的程序或脚本按系统结构和实现技术进行分类通用网络爬虫：尽可能大的网络覆盖率，如百度，谷歌搜索聚焦网络爬虫：有目标性，选择性访问万维网爬取信息增量式网络爬虫：只爬取新产生或已经更新的网页信息。特点：耗费少，难度大深层网络爬虫：通过提交一些关键字才能获取的Web页面, 如登...
2019-11-03 11:37:46
728
1
原创 Python笔记：NumPy 中的集合运算举例: 查找共同元素，差异元素和共有元素
import numpy as np# 创建一维 ndarray xx = np.array([1,2,3,4,5])# 创建一维 ndarray yy = np.array([6,5,4,8,7])# 输出 xprint('x = ', x)# 输出 yprint('y = ', y)# 比较x和yprint('使用intersect1d输出在x和y中共有的元素:', np....
2019-11-03 10:37:02
14386
1
原创 考研英语 - word-list-13
每天十个单词，本博客收集整理自《考研英语词汇》，仅供学习和个人积累。 新东方单词在线阅读地址 ，希望这个链接一直都有效 :)2017年03月14日 06:13:10massacre词义： vt. 大规模屠杀，残杀；彻底击败； n.大屠杀，残杀 ；(比赛等的) 惨败例句： The invaders cruelly massacred all the people in the vi
2019-11-03 10:36:29
793
原创 Python笔记：Python中的正则表达式常用使用案例
正则的应用python中解析dom中的数据关键代码：index.html文件<html> <body> <ul> <li><a href="www.baidu.com">百度</a></li> <li><a href=...
2019-11-03 10:34:26
225
原创 Python笔记：Python中的正则表达式常用函数整理
匹配函数re.match: 从字符串的起始位置匹配一个模式，如果不是则返回 Nonere.search: 扫描整个字符串并返回第一个成功的匹配re.findall: 在字符串中找到正则表达式所匹配的所有子串, 并返回一个列表, 如果没有找到匹配，返回空列表 []re.finditer: 与 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。其...
2019-11-02 22:56:08
293
2
原创 Python笔记：Python中的正则表达式基础入门
python 中简单的字符串查找在python中我们可以使用字符串提供的find方法来匹配字符str = 'ssdfsds2wwws'str.find('www') # 存在 返回 8str.find('xx') # 不存在 返回 -1python中的正则re模块介绍关于re模块re模块是使Python语言拥有全部正则表达式功能，使用前需要使用import re导入此功能co...
2019-11-02 21:47:56
416
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人