- 博客(7)
- 收藏
- 关注
RSS订阅
1原创 正则表达式的findall()和search()
在一本讲正则表达式的书上看到说，括号可以用来选中想要选取的内容。但是这一条，好像只对findall()有效，对search()是无效的。也就是说，如果想要更加精准的选取内容，如果search()不行的话，可以试试findall()...
2021-07-14 11:25:46
160
原创 使用pycharm时安装pymouse和pyhook的一个细节
写爬虫，或者一些其他的脚本，需要安装pymouse模拟鼠标的操作。需要与pymouse配合安装的，往往还有pyhook、PyUserInput等包。这个时候，如果编辑器是pycharm，直接pip install *.whl往往是不能成功的，因为往往我们在使用pycharm的时候创建了虚拟环境，我们需要把pyhook安装在当前python解释器的根目录下。比如说：一定要记住我们的虚拟环境的目录，然后打开cmd,先cd到虚拟环境的目录下，然后pip install (文件目录_文件名).w
2021-06-22 20:03:15
1269
原创 xpath选取子节点的一个特例 ：同名子节点
今天在写爬虫。为了减少提交请求的次数，决定不爬取详情页，只爬取列表页。如图所示：采集下html之后，尝试将每一个条目作为一个节点。这样的话，就引申出一个问题：怎样使用xpath选取子节点呢？如果使用双斜线的话，选出来的是【所有子节点】。举个例子：这样选出来6个节点。如果是使用单斜线，那么选出来的就是【直接子节点】。再举个例子：这里选择的是ul下面的直接li子节点（共计5个），还有一个间接子节点没有选到，就是span标签下面还套着一个li，证明选择的确实是直接节点。但有一个特例就是，如
2021-03-03 11:44:39
778
原创 记录自己用xpath时候的几个小tips | 以及用python存储、读取文件
一：用xpath选取节点的时候，有的时候选出来是一个<Element input at 0x1b2bdaf0948>，这应该是一个对象吧？类型是<class ‘lxml.etree._Element’>。但是有些时候，这个对象是在列表中。我也不知道是什么原因，但如果在列表中，那么就把元素选取出来。二：直接子节点和所有子节点在xpath中，如果想选取子节点，可以用"/“或”//"，其中用单斜杠是选取直接子节点，而用双斜杠是选取所有的子节点。所有子节点：直接子节点
2021-02-15 20:35:45
101
原创 pycharm，scrapy框架，导入自己写的模块时出现“no model named“。
如果要导入第三方包，这里略过不提。我在用scrapy的时候，自己改了一个items，结果导入不进去。这个时候，先找到项目的根目录，然后按右键，【Mark Directory as】→【Sources Root】。设置好这个之后，就可以正常导入自己写的文件了。...
2021-01-10 20:53:01
677
原创 使用css选择器容易犯的一个小错误
使用css选择器容易犯的一个小错误比如说，当我们使用scrapy框架的时候，想要利用find_element_by_css_selector（）方法来找出网页中对应的部分，比如说下图所示的登陆框。我们可以看到，对应的div中的class是"SignFlow-accountInput Input-wrapper"，中间有一个空格。在css选择器内，我们应该用点号（"."）将空格连起来，然后将空格删去：如果不这样写，那么就什么也识别不出来。我在spyder中写了一个小例子：一个空格的差别，就是
2020-11-10 21:37:52
271
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人