- 博客(10)
- 收藏
- 关注
原创 教你如何上传本地文件到github
教你如何上传本地文件到github1,进入个人主页后,点击右上角的+号,选择New repository 创建自己的项目2,复制自己的项目地址,后面会用到:(如下图)3,接下来,我们需要先下载Git,这里最好下载最新版本的Git,这里附上我下载的Git2.6.2的网址:https://git-scm.com/downloads,一直下一步就可以了,安装完成之后,双击打开Git Bash...
2018-09-17 21:00:52
447
原创 scrapy开启ImagePilelin
1 在settings中写入 IMAGES_STORE = ‘./images’ 开启ITEM_PIPELINES ={ ‘someproject.pipelines.ImagePipeline’ : 300,} 2 在pipelines中写入 `class ImagePipeline(ImagesPipeline): def file_path(self, re...
2018-09-05 18:20:32
242
原创 [爬虫]python下的xpath清洗数据之html数据清洗
现在我们面对一些爬虫数据,特别是对于web网页的爬取的时候,网页总有一些不规整的数据来导致拿数据的麻烦,比如如下这种<html> <div> <p>111</p><p>222</p><p>333</p><p>444 <s
2018-08-28 15:58:06
2987
转载 同步与异步,阻塞与非阻塞
同步与异步 同步与异步的区别在于结果的提取者是由请求者等待得来,还是由处理者得到结果直接返回,关注的是结果的处理 同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)所谓同步,就是在发出一个调用时,在没有得到结果之前,该调用就不返回。但是一旦调用返回,就得到返回值了 换句话说,就是由调用者主动等待这个调...
2018-08-28 14:56:47
164
原创 python模拟登陆,用session维持回话
python模拟登陆的几种方法客户端向服务器发送请求,cookie则是表明我们身份的标志。而“访问登录后才能看到的页面”这一行为,恰恰需要客户端向服务器证明:“我是刚才登录过的那个客户端”。于是就需要cookie来标识客户端的身份,以存储它的信息(如登录状态)1,先在浏览器中登录,然后打开开发者选项,找到一个请求方法为POST的请求,复制Requests Headers中的cookie在爬...
2018-08-09 19:07:15
9812
1
原创 scrapy中Request方法中的meta参数有什么用,怎么用。
初学scrapy可能会有点蒙圈,今天和大家分享下scrapy中Requestmeta参数的用法 首先我们要知道meta是一个字典,它的主要作用是用来传递数据的,meta = {‘key1’:value},如果想在下一个函数中取出value1, 只需得到上一个函数的meta[‘key1’]即可, 因为meta是随着Request产生时传递的,下一个函数得到的Response对象中就会有meta,...
2018-08-02 22:12:43
21862
12
原创 selenium如何应对网页内容需要鼠标滚动加载的问题
相信大家在selenium爬取网页的时候都遇到过这样的问题:就是网页内容需要用鼠标滚动加载剩余内容,而不是一次全部加载出网页的全部内容,这个时候如果要模拟翻页的时候就必须加载出全部的内容,不然定位元素会找不到,出现报错。这里提供两种方法供大家参考一,通过selenium模拟浏览器,然后设置浏览器高度足够长,最后延时使之能够将页面的内容都能够加载出来import timefrom ...
2018-08-02 08:40:52
11202
原创 pip install scrapy报错,教你如何正确安装scrapy。
scrapy安装方法一,如果初学python,并且你的python也是使用Anaconda安装的,哪么使用Anaconda是你最快捷的办法。 1,进入Adaconda官网:https://www.anaconda.com/download/,点击下载对应版本。 2,安装完成之后在cmd命令框中输入:conda install scrapy 3,OK,scrapy安装成功。 如果想使用p...
2018-07-30 08:51:41
18414
6
原创 pycharm代码提示,pycharm开启代码补全功能。
有时候不小心瞎探索pycharm的时候把代码提示给关了怎么办 解决方法:点击左上角file,找到power save mode,把这个前面的√号去掉就能正常显示啦。
2018-07-28 23:02:04
14651
2
原创 不要慌,在pycharm中运行scrapy报错,用Anaconda安装scrapy在pycharm中运行报错的问题
超级简单的方法处理在pycharm中运行scrapy报错,用Anaconda安装scrapy在pycharm中运行报错的问题
2018-07-28 22:51:40
2069
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人