Spider
文章平均质量分 84
爬虫 自动化办公 字符解析 加解密算法
baby_hua
人生之路漫漫兮 吾将上下而求索
展开
-
正则校验-我需要的正则表达式知识
正则校验:我需要的正则表达式知识正则表达式由正则表达式引擎提供支持,不同编程环境有不同的正则表达式引擎,在实际使用正则表达式的过程中会有一些差别;什么是正则表达式正则表达式是用于描述匹配复杂字符串规则的工具,一个正则表达式对应着一个文本规则;EP1:查找一段文本中的字符串hq,这是一个姓名的缩写,需要是单独的一个单词精确匹配字符串hq,处理正则时一般支持忽略大小写的选项,如果选...原创 2020-03-24 14:37:43 · 1439 阅读 · 0 评论 -
“定点打击”——XPath 使用细则(Just For Selenium WebDriver)(md重制版)
“定点打击”——XPath 使用细则(Just For Selenium WebDriver)(md重制版)该系列文章系个人读书笔记及总结性内容,任何组织和个人不得转载进行商业活动!Selenium WebDriver中有关元素定位的学习,需要XPath的支持,特此梳理;前言XPath是一门在XML文档中查找信息的语言;XPath可用来在XML文档中对元素和属性进行遍历;(是W3C XSLT标准的主要元素);对XPath的理解是很多高级XML应用的基础;XPath2.0内置函数主要内容目录:原创 2022-02-24 11:48:11 · 260 阅读 · 0 评论 -
“定点打击”——XPath 使用细则(Just For Selenium WebDriver)
该系列文章系个人读书笔记及总结性内容,任何组织和个人不得转载进行商业活动!Selenium WebDriver中有关元素定位的学习,需要XPath的支持,特此梳理;前言XPath教程;XPath是一门在XML文档中查找信息的语言;XPath可用来在XML文档中对元素和属性进行遍历;(是W3C XSLT标准的主要元素)对XPath的理解是很多高级XML应用的...原创 2018-06-20 11:01:02 · 581 阅读 · 0 评论 -
2021-09-01 学习笔记:Python爬虫、数据可视化
2021-09-01 学习笔记:Python爬虫、数据可视化结于2021-09-07;内容来自 成都工业大学 数字媒体专业实训;主要内容:PyCharm开发Python脚本的基础配置;Python爬虫基础:正则匹配(re)、网页获取(urllib)、网页解析(bs4/BeautifulSoup)数据存储:数据库操作(sqlite3/pymysql)、简单excel编辑(xlwt);数据可视化:Flask:Web框架、 Echarts、 WordCloud内容很丰富,老师讲的很好;原创 2021-09-07 19:07:55 · 1405 阅读 · 1 评论 -
Selenium自动化测试入门(基于Python)
该系列文章系个人读书笔记及总结性内容,任何组织和个人不得转载进行商业活动!本人小白 最近在尝试学习Python 开篇记录 只为交流 相互学习O(∩_∩)O~~Selenium,化学元素硒的英文示意,对于软件测试来书,则是一个主要用于Web应用程序自动化测试的工具集合;之前有这个计划来学习和使用自动化测试到项目中去,以满足公司需求,所以闲时就买了本书,内容较简洁,实践学习中;前言:...原创 2018-06-04 19:15:29 · 96000 阅读 · 15 评论 -
爬虫练习-荔枝直播(分享页)
荔枝直播(分享页):分享页主页直播列表:(抓包分析)接口:https://appweb.lizhi.fm/smallApp/getLiveList?pageNum=1支持获取n页数据,注意请求间隔;get请求,获取分享页必须的 liveId 字段直播分享页:html:https://appweb.lizhi.fm/live/share?liveId=5190925580233002038&njId=2552360964061657132&duserId=138542e7ea原创 2021-07-21 17:04:15 · 1632 阅读 · 0 评论 -
第一个python爬虫示例——爬取天气信息
爬虫: 网络爬虫,也叫网络蜘蛛(Wed Spider);根据网页地址(URL)爬取网页内容;网页地址是我们在浏览器中输入的网站链接; 浏览器作为客户端从服务端获取信息,然后将信息解析之后进行展示,就是我们熟悉的前端开发;爬取天气信息:1.新更新的PyCharm2018.2 Python版本3.5;2.使用request3获取html文档内容;3.使用beauti...原创 2018-08-01 14:59:53 · 2264 阅读 · 0 评论 -
Python爬虫介绍
Python爬虫介绍 什么是爬虫:爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息; Python爬虫架构:Python爬虫架构主要由五个部分组成,分别是 调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据)1)调度器:相当于一台电脑的CPU,主要负责调度URL管理器、下载器、解析器之间的协调工作;2)URL管理器:...原创 2018-08-01 14:30:39 · 4519 阅读 · 0 评论