- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python爬虫框架feapder的使用简介
Feapder 是一款上手简单、功能强大、快速、轻量级的爬虫框架的Python爬虫框架。支持轻量爬虫、分布式爬虫、批次爬虫、爬虫集成，以及完善的爬虫报警机制。
2021-07-07 16:59:05
4583
原创 python3+selenium如何正确驱动360浏览器打开网页
@seleniumpython3+selenium打开chrome浏览器首先说明：这是笔记，仅供参考1、pip install selenium。2、下载chrome浏览器exe程序，记得查看chrome版本号。3、下载对应chrome内核版本chromedriver.exe（一定要对应版本号，不要会报错的）。链接: chromedriver.exe下载4、直接先写个测试代码，运行代码。from selenium import webdriver#这是不添加PATH环境下的使用方法chr
2021-03-29 19:26:26
4917
2
原创 linux服务器安装nginx
卸载linux有一系列的软件管理器，比如常见的linux下的yum、Ubuntu下的apt-get等等。通过这些软件管理器可以很快的卸载软件，并且不会有文件及配置残留。这里我使用的是yum，命令如下yum remove nginx安装依赖yum install gccyum install pcre-develyum install zlib zlib-develyum instal...
2019-09-03 20:06:09
147
原创 安装dlib
1，python3 pip install dlib报错:Collecting dlib Downloading https://files.pythonhosted.org/packages/05/57/e8a8caa3c89a27f80bc78da39c423e2553f482a3705adc619176a3a24b36/dlib-19.17.0.tar.gz (3.4MB) ...
2019-09-03 20:05:28
408
原创 滚动
1. 如果想看到更多项目，并不能像网易云音乐那样点“下一页”翻页，而是需要向下拉滚动条或者向下滚动鼠标滚轮来触发异步请求。爬虫该如何应对这种情况呢？我们可以使用selenium的api执行js代码将屏幕内容滚动到指定位置。#一直滚动到最底部js1 = ‘return document.body.scrollHeight’js2 = ‘window.scrollTo(0, docum...
2019-04-22 09:03:50
139
原创 Selenium：利用select模块处理下拉框
1.os,sys 使用os.remove() #删除文件os.rename() #重命名文件os.walk() #生成目录树下的所有文件名os.chdir() #改变目录os.mkdir/makedirs() #创建目录/多层目录os.rmdir/removedirs #删除目录/多层目录os.listdir() ...
2019-04-22 09:01:57
857
原创 爬虫部分技巧
爬虫进阶：反反爬虫技巧:http://python.jobbole.com/89196/5 个用 Python 编写 web 爬虫的方法:http://python.jobbole.com/89164/手把手教你写网络爬虫（8）：彻底解决乱码问题:http://python.jobbole.com/89138/手把手教你写网络爬虫（7）：URL去重:http://python.job...
2018-09-28 16:49:56
388
全国银行支行总.xls
2020-01-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人