爬虫
文章平均质量分 76
KWHua
来自于Python的小白
展开
-
爬虫的基本面试
爬虫基本的面试题在你的平时工作中,你在写爬虫的时候都遇到过什么样的反爬措施?你都是怎么解决它们的?答:Header:从用户的headers进行反爬是最常见的反爬虫策略.headers是一种区别浏览器星航和机器行为中最简单的方法,还有一些网站会对Referer(上级链接)进行检测(机器行为不太可能通过链接跳转实现)解决措施:通过审查元素或者开发者工具获取相对应的headers,然后把对应的headers传输给Python的requests,这样就能很好的绕过headers验证了IP限原创 2021-03-09 14:23:19 · 843 阅读 · 0 评论 -
redis的字符串和列表,及集合的操作
Redis安装了解Redis环境的搭建下载当前redis最新版本是4.0,它是一个测试版本,稳定版本是3.2版本。当前ubuntu虚拟机中已经安装好了redis,以下步骤可以跳过 最新稳定版本下载链接:http://download.redis.io/releases/redis-3.2.8.tar.gzstep1:下载wget http://download.redis.io/releases/redis-3.2.8.tar.gz[外链图片转存失败,源站可能有防盗链机制,建议原创 2020-12-11 09:05:52 · 491 阅读 · 0 评论 -
关于selenium的开始
认识selenium安装安装selenium:pip install selenium==2.48.0使用selenium访问地址导入webdriver: form selenium import webdriver调用浏览器:driver =webdriver.PhantomJS(executable_path=r"selenium在你电脑上的路径\bin\selenium.exe")访问百度页面:driver.get(url=‘https://www.baidu.com/’)# 1.原创 2020-11-29 19:58:41 · 520 阅读 · 9 评论 -
这些正则你都知道吗?
匹配的边界符号含义^匹配开头$匹配结尾各种符号的表示符号含义.匹配出\n职位的任意一种字符\d匹配任意一个数字0-9,相当于[0-9]\D匹配任意一个非数字,相当于[^0-9]\w匹配任意一个数字,字母和下划线相当于[0-9a-zA-Z_]\W匹配任意一个非(数字,字母和下划线)相当于[^0-9a-zA-Z_]\s匹配任意一个空白,例如:\t,\n,\r,空格等\S匹配任意一个非空白[]匹配原创 2020-11-23 22:35:00 · 306 阅读 · 8 评论