爬虫
爬虫技术相关文章归档
Коснтантин
这个作者很懒,什么都没留下…
展开
-
scrapy 相关函数
catalog原创 2020-08-01 19:26:06 · 301 阅读 · 0 评论 -
pycharm下创建scrapy项目
catalog用pip安装scrapy创建scrapy项目用pip安装scrapy创建scrapy项目进入所要创建项目的文件夹,创建scrapy项目所需命令scrapy startproject [项目名]C:\Users\D>D:D:\>cd D:\01DuJia\code\code-pythonD:\01DuJia\code\code-python>scrapy startproject quotesNew Scrapy project 'quotes',原创 2020-08-01 18:04:28 · 226 阅读 · 0 评论 -
python 爬虫框架 Scrapy 安装
catalog1. IDE是pycharm2. 安装scrapy1. IDE是pycharm2. 安装scrapypip install scrapy期间遇到报错图中显示为安装Twisted时出错,原因为Twisted版本安装问题,应该安装对应于python版本的Twisted进入以下网址https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载对应版本安装下载的文件pip install C:\Users\D\Desktop\Tw原创 2020-08-01 17:40:49 · 105 阅读 · 0 评论 -
selenium常用用法详解
catalog声明浏览器对象访问页面查找单个元素查找多个元素元素交互操作交互动作执行Javascript获取元素信息获取属性获取文本值获取ID、位置、标签名、大小Frame等待隐式等待显示等待前进后退Cookies选项卡管理异常处理声明浏览器对象from selenium import webdriverbrowser = webdriver.Chrome()browser = webdriver.Edge()browser = webdriver.Safari()browser = webdr原创 2020-07-13 19:15:12 · 548 阅读 · 0 评论 -
PyQuery常用用法详解
catalogInitializationhtml Initializationurl Initializationfile Initializationbasic CSS selectorselectbasic select methodchild nodeparent nodesibling nodetraversalget Informationget attrsget textget HTMLDOM operationaddClass, removeClassattr, cssremoveother原创 2020-07-12 23:59:24 · 145 阅读 · 0 评论 -
BeautifulSoup常用用法详解
目录解析库基本使用格式化html获取标签获取属性获取内容嵌套选择获取子节点获取所有的子孙节点获取父节点获取所有的祖先节点获取兄弟节点标准选择器nameattrstextfindfind_parents() find_parentfind_next_siblings() find_next_sibling()find_previous_siblings() find_previous_sibling()find_all_next() find_next()find_all_previous() find_pr原创 2020-07-12 22:32:39 · 1293 阅读 · 0 评论 -
正则表达式(python用法总结)
总结:尽量使用泛匹配.*#.匹配任意字符,*匹配任意个数使用括号得到匹配目标res.group(1)#返回匹配到的第一个括号的内容尽量使用非贪婪模式.*?#?将.*转换为非贪婪模式有换行符就用re.S尽量用re.search,而不用re.match因为re.match需要从头到尾的匹配,不方便用re.findall匹配所有符合条件的信息re.sub替换中,如果想拿到正则匹配的式子再来替换正则表达式的内容re.sub('(\d+)',r'\1 23456'原创 2020-07-12 16:41:02 · 88 阅读 · 0 评论