Python
关注
分享
扫一扫
KLordy
千里之行始于足下！
展开
-
Xpath语法简介
Xpath是一款非常强大的XML/HTML解析框架，它能够将XML/HTML解析为类似于目录树的形式，叶子节点就是对应属性，而访问这些属性就和linux中的文件系统类似，以下列出部分语法，案例使用百度首页的部分html源码：<head class=""> <script async="" src="https://ss1.bdstatic.com/5eN1bjq8AAUY...原创 2018-10-06 10:04:37 · 165 阅读 · 0 评论 -
lxml安装后无法import到etree模块
环境：python-3.7+lxml-4.2.5 一开始尝试了网上的办法发现都比较麻烦，因为去找老版本的lxml或者换python版本太麻烦了，后来在一篇博客的评论中找到了正确的办法，其实虽然网上说的是python 3.5之后的lxml中不再有etree，但是其实这种说法是有问题的，虽然新版本无法直接from lxml import etree这样，但是它只不过是换了一个办法引出etree...原创 2018-10-06 11:16:42 · 23959 阅读 · 26 评论 -
session和selenium+PhantomJS模拟登陆v2ex
session方式登录def parse_url(self, url): response = requests.get(url=url, headers=self.headers) return response.contentstart = time.time()headers = { 'user-agent': 'Mozilla/5.0 (Windows...原创 2018-10-14 14:25:39 · 602 阅读 · 0 评论 -
scrapy爬虫小练习-腾讯招聘信息爬取
创建scrapy项目，在cmd中找到需要创建项目的目录，运行scrapy startproject spidername即会自动创建好项目的目录结构，然后再在pycharm中打开即可。这里我们需要尝试爬取腾讯招聘网站上的信息：先依据以上创建爬虫:scrapy genspider tencent_hr tencent.com创建完成后的目录结构如图所示由于需要用到mongo存储爬取到的数...原创 2018-10-28 11:02:36 · 336 阅读 · 0 评论 -
Python判断文件是否存在
判断文件是否存在主要有两种方法：import osos.path.exists('xxx/xxx/filename') # True/False 以上方法中入参的路径可以是文件路径也可以是文件夹路径，所以可以用于判断文件以及文件夹是否存在。但是有一种特殊的情况是可能入参传的是一个文件夹路径，但是文件夹路径的上一层有个相同的文件，例如/usr/local/testfile这是一个文件...原创 2019-02-15 11:28:53 · 50086 阅读 · 0 评论