- 博客(8)
- 资源 (1)
- 问答 (4)
- 收藏
- 关注
原创 反反爬虫(0) :还在用 selenium 裸爬吗? 你已经被盯上了!破解WebDriver反爬虫
使用 Selenium 调用 ChromeSriver 来打开网页,还是与正常打开网页有一定的区别的。现在很多网站都加上了对 Selenium 的检测,来防止一些爬虫的恶意爬取。大多数情况下,检测的基本原理是检测当前浏览器窗口下的 `window.navigator` 对象是否包含 `webdriver` 这个属性。
2020-11-29 16:37:27 30742 26
原创 发布你自己的轮子 - PyPI打包上传实践
正所谓 "*人生苦短,我用Python*",Python 的一大优势就是有着丰富且易用的第三方模块。无论你做什么,几乎都能找到扩展包达到你的目的。而这一切,都是完全开源免费的!既然 Python 的核心是第三方扩展包,那么你想不想自己写一个并发布呢?无论是将自己的优秀项目开源出来,还是写一些可以经常复用的小工具,都是一件很棒的事情
2020-11-19 22:44:35 11012 4
原创 pip freeze 导出含有路径 (@ file:///) 问题小记
在 conda 沙箱环境中使用 pip freeze > requirements.txt 命令导出已安装的模块,其中部分模块显示了 `@ file:///...`,而不是具体的版本号
2020-11-01 21:47:14 24955 12
原创 爬虫解析库:lxml 与 xpath 使用小记
通过 requests 模块,我们可以很简单地把网页下载到本地,但是此时获取的网页都是未经处理的,冗余的信息太多,无法进行分析和利用。那么怎么从网页中筛选自己需要的信息呢? 说到信息筛选我们可能会想到正则表达式,不过由于正则表达式过于复杂而且容错率低,网页有稍微的改动就要重写匹配表达式,对于新手来说十分不友好。 那么我们应该使用什么呢?别担心,我们还有很多种解析 HTML页面的方法,例如:**Xpath**
2020-11-24 21:12:17 11151 5
原创 Vue 动态绑定图片 src 属性闪屏 白屏 无内容显示 BUG 小记
问题描述:使用 Vue 渲染数据时,遇到了如下神奇一幕,bug 原因非常简单,但结果却让人摸不着头脑,特此记录,以备日后查看!如上图,刷新页面时,内容一闪而过,随后一直白屏,无任何内容显示,特将问题代码精简为以下内容<div id="content"> <img v-bind:src="{{img}}" alt=""></div><script> new Vue({ el: '#content', d
2020-11-16 20:26:25 1910
原创 JS基于浏览器的爬虫 - 注入Frame标签爬取二手车数据
一提到爬虫,大家可能会想到 Python,其完善的第三方库,使得一个刚入门的新手也可以写出一套套完整的爬虫程序,与此同时呢,网站的反爬虫措施也愈加强大。此次,我们另辟蹊径,使用 **Javascript** 来实现一种另类的爬虫!
2020-11-13 13:51:21 9298 1
原创 Flask Debug模式下代码初始化两次(重复执行)
Flask 在 Debug 模式下启动时,会执行两次代码,这将导致某些需要在初始化时执行的方法被执行2次,这显然不是我们需要的结果。出现这样的问题的原因是在开启 Debug 模式的时候,Werkzeug 默认会 启动一个额外的进程 来监控文件变化以方便重启进程
2020-11-08 16:03:53 15151 4
原创 Python 函数自定义属性 及 __code__
Python 是面向对象的语言,在 Python中一切皆对象。函数自然也不例外。它有属于对象的属性,除此之外,函数还可以自定义属性。注意,属性是和对象相关的,和作用域无关注意:这里说的是函数(function类型)的特殊属性,而非方法(method类型)的特殊属性
2020-11-05 20:17:29 9411
LoveString 字串编码查询器
2019-12-18
小白请教 Python 打包 exe 问题
2018-12-31
Python Requests 保存 Cookie 到本地发生的问题
2018-12-27
字符串 截取部分内容 , 求提取方案
2018-12-23
Python 下载网络图片 的 问题
2018-12-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人