教你如何上传本地文件到github

教你如何上传本地文件到github 1,进入个人主页后,点击右上角的+号,选择New repository 创建自己的项目 2,复制自己的项目地址,后面会用到:(如下图) 3,接下来,我们需要先下载Git,这里最好下载最新版本的Git,这里附上我下载的Git2.6.2的网址:https://gi...

2018-09-17 21:00:52

阅读数 172

评论数 0

scrapy开启ImagePilelin

1 在settings中写入 IMAGES_STORE = ‘./images’ 开启ITEM_PIPELINES ={ ‘someproject.pipelines.ImagePipeline’ : 300,} 2 在pipelines中写入 `class ImagePi...

2018-09-05 18:20:32

阅读数 53

评论数 0

[爬虫]python下的xpath清洗数据之html数据清洗

现在我们面对一些爬虫数据,特别是对于web网页的爬取的时候,网页总有一些不规整的数据来导致拿数据的麻烦,比如如下这种 <html> <div> <p>111...

2018-08-28 15:58:06

阅读数 793

评论数 0

同步与异步,阻塞与非阻塞

同步与异步 同步与异步的区别在于结果的提取者是由请求者等待得来,还是由处理者得到结果直接返回,关注的是结果的处理 同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)所谓同步,就是在发出一个调用时,在没有...

2018-08-28 14:56:47

阅读数 56

评论数 0

python模拟登陆,用session维持回话

python模拟登陆的几种方法 客户端向服务器发送请求,cookie则是表明我们身份的标志。而“访问登录后才能看到的页面”这一行为,恰恰需要客户端向服务器证明:“我是刚才登录过的那个客户端”。于是就需要cookie来标识客户端的身份,以存储它的信息(如登录状态) 1,先在浏览器中登录,然后打开...

2018-08-09 19:07:15

阅读数 4826

评论数 0

scrapy中Request方法中的meta参数有什么用,怎么用。

初学scrapy可能会有点蒙圈,今天和大家分享下scrapy中Requestmeta参数的用法 首先我们要知道meta是一个字典,它的主要作用是用来传递数据的,meta = {‘key1’:value},如果想在下一个函数中取出value1, 只需得到上一个函数的meta[‘key1’]即可,...

2018-08-02 22:12:43

阅读数 6814

评论数 4

selenium如何应对网页内容需要鼠标滚动加载的问题

相信大家在selenium爬取网页的时候都遇到过这样的问题:就是网页内容需要用鼠标滚动加载剩余内容,而不是一次全部加载出网页的全部内容,这个时候如果要模拟翻页的时候就必须加载出全部的内容,不然定位元素会找不到,出现报错。 这里提供两种方法供大家参考 一,通过selenium模拟浏览器,然后设置...

2018-08-02 08:40:52

阅读数 3726

评论数 0

pip install scrapy报错,教你如何正确安装scrapy。

scrapy安装方法 一,如果初学python,并且你的python也是使用Anaconda安装的,哪么使用Anaconda是你最快捷的办法。 1,进入Adaconda官网:https://www.anaconda.com/download/,点击下载对应版本。 2,安装完成之后在cmd命令...

2018-07-30 08:51:41

阅读数 2824

评论数 0

pycharm代码提示,pycharm开启代码补全功能。

有时候不小心瞎探索pycharm的时候把代码提示给关了怎么办 解决方法:点击左上角file,找到power save mode,把这个前面的√号去掉就能正常显示啦。

2018-07-28 23:02:04

阅读数 5288

评论数 0

不要慌,在pycharm中运行scrapy报错,用Anaconda安装scrapy在pycharm中运行报错的问题

超级简单的方法处理在pycharm中运行scrapy报错,用Anaconda安装scrapy在pycharm中运行报错的问题

2018-07-28 22:51:40

阅读数 896

评论数 0

提示
确定要删除当前文章?
取消 删除