Python
naive老文
默默无闻,只为创造价值
展开
-
Pycharm实用快捷键
Pycharm 实用快捷键Ctrl + / 行注释/取消行注释(同AS) Ctrl + Shift + / 块注释 Ctrl + Alt + L 代码格式化(等于AS的 ctrl+shift+D) Shift + F6重命名(等于AS的 alt+shift+R)Ctrl + R 替换 (等于AS的 ctrl+F) Ctrl + Shift + F 或者连续2次敲击sh...原创 2019-06-19 10:30:10 · 186 阅读 · 0 评论 -
Scrapy 很有用的命令
在项目目录下输入命令,将在mySpider/spider目录下创建一个名为itcast的爬虫,并指定爬取域的范围: scrapy genspider itcast "itcast.cn"原创 2019-06-28 14:17:04 · 90 阅读 · 0 评论 -
Scrapy 实战
xpath部分要点 (一)双斜杠 // 和单斜杠 / 的区别: // 表示的是从根节点搜索所有符合条件的元素。 / 表示寻找当前标签路径的下一层路径标签或者对当前路标签内容进行操作。 例子: spell_list = response.xpath("//ul[@id='spellList']/li") name_text = spell_list.xp...原创 2019-07-03 17:28:00 · 126 阅读 · 0 评论 -
Pipenv下Scrapy执行爬虫 报ModuleNotFoundError: No module named 'win32api'
ModuleNotFoundError: No module named 'win32api' 然后我就使用 pip install win32api 结果安装的时候报了另外个错: Could not find a version that satisfies the requirement win32api (from versions: none) 网上找了下原来要改成下面的命令: p...原创 2019-06-24 17:39:48 · 328 阅读 · 0 评论 -
Scrapy 第一次爬虫(二)
写进文件中: import scrapy class SpellList(scrapy.Spider): name = "SpellList" start_urls = [ "https://pvp.qq.com/web201605/summoner.shtml", ] def parse(self, response): s...原创 2019-06-27 15:05:23 · 93 阅读 · 0 评论 -
安装Scrapy Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools
PipEnv安装Scrapy报Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools 异常 因为安装Scrapy前提需要安装Twisted 第一种方法: 离线下载最新的Twisted版本https://www.lfd.uci.edu/~gohlke/pythonlibs/#twi...原创 2019-06-24 15:04:46 · 162 阅读 · 0 评论 -
Scrapy 第一次爬虫
抓取某游戏网站的英雄技能数据 (1)尝试抓取技能名称: import scrapy import logging class SpellList(scrapy.Spider): name = "SpellList" start_urls = [ "https://pvp.qq.com/web201605/summoner.shtml", ] ...原创 2019-06-26 17:20:48 · 118 阅读 · 0 评论 -
Scrapy xpath选择器
路径表达式 结果 /bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。 /bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。 /bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。 /bo...原创 2019-06-26 11:12:30 · 171 阅读 · 0 评论 -
Scrapy 抓包的CSS选择器
选择器 示例 示例说明 CSS .class .intro 选择所有class="intro"的元素 1 #id #firstname 选择所有id="firstname"的元素 1 * * 选择所有元素 2 element p 选择所有<p>元素 1 element,elem...原创 2019-06-26 10:47:44 · 173 阅读 · 0 评论 -
Python 基础(二)
拷贝 import copy dic = { "name": ["David", ], "sex": ["man", ], "height": ["170", ] } print("before>>>", dic) #浅拷贝只第一层数据指向不同内存地址,其余都是指向同一地址 newDic = dic.copy() newDic["name"][0]...原创 2019-06-21 14:36:29 · 82 阅读 · 0 评论 -
Python 基础(一)
由于公司项目需要,原本只做Android和小程序的我,被派去学Python抓网页数据...完全小白的我,开始我的Python之旅 循环语句与条件语句: tryCounts = 0 while tryCounts < 3: gender = input("Please guess my Gender(Man or Male): ") if (gender == ...原创 2019-06-19 12:01:59 · 75 阅读 · 0 评论