- 博客(9)
- 收藏
- 关注
RSS订阅原创 解决 ValueError: check_hostname requires server_hostname
今天使用mitmproxy抓包工具对小程序进行抓包，遇到一个问题：在开着mitmdump监听代理时，使用requests库对监听到的url进行请求会报错，错误类型如标题。百度了两个小时，把百度结果前三页的所有让降版本的文章里的版本挨个试了一遍，包括还有一个让配置环境变量的，都试了，还是没有改变结果。后经提点，改用urllib3对url进行访问，成功获取到了结果import urllib3def request(flow): if 'https://www.xiaohongshu.com/f
2021-08-14 17:55:48
711
原创 python爬虫----selenium实战(爬取腾讯招聘)
声明 : 本篇仅学习使用,不到将其用于其他途径.import time,pymongo#先导入驱动,我这边用的谷歌的from selenium import webdriver#显式延时等待from selenium.webdriver.support.wait import WebDriverWait#对网页上元素是否存在，可点击等等进行判断，一般用于断言或与WebDriverWait配合使用from selenium.webdriver.support import expected_co
2021-08-06 14:48:21
484
原创 python爬虫——Beautiful Soup库
Beautiful Soup，当前为4.4.0版本，简称 bs4，bs4不属于python标准库，需安装：pip install bs4官方中文文档：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/简单来说，BeautifulSoup 就是 Python 的一个 HTML 或 XML 的解析库，我们可以用它来方便地从网页中提取数据。bs4 最大的特点是简单易用，不像正则和 xPath 需要刻意去记住很多特定语法，尽管那样会效率更高更直接。bs4 自
2021-07-29 00:43:45
355
原创 python爬虫——xpath
XPath非python标准库，是lxml库里的一个支持模块，需安装：pip install lxmllxml python 官方文档：http://lxml.de/index.htmlXPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索.XPath的功能非常强大，几乎所有想要定位的节点都可以用 XPath 来选择。官方文档：https://www.w3.org/TR/
2021-07-29 00:35:23
587
原创 python爬虫——Pyquery库
Pyquery库并非python标准库，所以需要下载：pip install pyqueryPyquery是一个类似jquery（一个js库）的库，使用 lxml 进行快速 xml 和 html 操作。利用它，我们可以直接解析 DOM 节点的结构，并通过 DOM 节点的一些属性快速进行内容提取。1. 初始化Pyquery对象初始化pyquery对象的方法有三种：文件名（filename)、网址（url）、字符串（text）1.1 通过网址（url）初始化Pyquery对象即，解析网址。在发起请求
2021-07-27 23:52:04
828
原创 python办公自动化——os模块批量修改文件名
今天工作中遇到了这个问题，就复习了下相关内容。这个问题实际上是考验基础知识扎不扎实。import ospath = r'E:\\桌面\\主数据模板\\'ls1 = os.listdir(path)for i in ls1: if os.path.isfile( path+ i): new = i.replace('弦乐', '吉他') old_name = path + i new_name = path + new os
2021-07-27 15:20:47
191
原创 python—正则表达式
python—正则表达式官方中文文档：https://docs.python.org/zh-cn/3/library/re.html#search-vs-match正则语法表以下为常用语法，部分不常用语法（先行断言(lookahead)和后行断言(lookbehind) ）见补充：https://www.runoob.com/w3cnote/reg-lookahead-lookbehind.html范例所用文本："""<link rel="dns-prefetch" href="/
2021-07-27 00:06:54
204
1
转载 linux常用命令
常用指令ls 显示文件或目录 -l 列出文件详细信息l(list) -a 列出当前目录下所有文件及目录，包括隐藏的a(all)mkdir 创建目录 -p 创建目录，若无父目录，则创建p(parent)cd 切换目录touch 创建空文件echo 创建带有内容的文件。cat 查看文件内容cp
2021-03-30 22:16:02
60
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人