自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 Redis实现分布式爬虫

将单机爬虫jobbole修改为分布式爬虫伯乐在线爬虫如下:blog.py  # -*- coding: utf-8 -*- import scrapy from ..items import JobboleItem from ..items import ArticleItemLoader   class BlogSpider(scr...

2018-08-16 21:12:36 314

原创 python---PhantomJS简介及安装教程

简介PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能,即是一个隐形的浏览器,只是其内的点击、翻页等人为相关操作需要程序设计实现。它不仅是个隐形的浏览器,提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等,同时也提供了处理文件I/O的操作,从而使你可以向操作系统读写文件等。它能实...

2018-08-09 23:10:37 285

原创 mysql安装流程

MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。MySQL 是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL 是开源的,所以你不需要支付额外的费用。 MySQL 支持大型的数据库。可以处理拥有上千万条记录的大型数据库。 MySQL 使用标准的SQ...

2018-08-09 08:45:33 235

原创 scrapy项目创建及工作流程

创建scrapy项目流程1、在cmd中创建Scrapy项目工程。在命令行,切换的自己的项目代码的工作空间下,执行如下命令scrapy startproject ScrapyTest有如下提示则表示创建成功可以根据下面的提示,创建爬虫文件用pycharm打开文件夹,可以 看见如下目录结构:spiders.py目录下用于存放自己编写的爬虫item.py在Spi...

2018-08-01 20:51:47 2250

原创 scrapy 安装报错解决手段

第一次安装scrapy常见错误及解决手段(1)运行命pip install scrapy 在执行到“Collecting Twisted>=13.1.0 (from Scrapy)”时报错:Exception:Traceback (most recent call last).....原因:我当前的版本是pip 10.01,执行下面命令会更新成最新版本。运行命令:...

2018-08-01 19:24:14 1705

原创 selenium安装步骤

 selenium英文原意是硒  在python中是一个自动化测试工具selenium  可以完全模拟人,对浏览器操作,对动态数据进行获取 ,动态数据由代码生成,在页面的初始化过程中是没有的,也无法获取  但是可以通过selenium进行获取有些数据是需要进行登录后才能够获取的,比如说好友列表 评论  消费记录  登陆后获取cookie才能进行以上操作,只要获取账号密码之后即可实现...

2018-08-01 17:55:31 9747

转载 python 的内存机制

让我们先来了解一下对象和应用的概念:a =引用计数举个例子说明引用是什么:a = 11如上为一个简单的赋值语句,1就是对象,a就是引用,引用a指向对象1。 同理:b = 11b也是对象1的引用。 通过内置函数id()返回对象的地址。print id(a) #43220320print id(b) #4322032012当我们创建多个等于1的引用时,实际上是让所有这些引用指向同一个对象。为了检...

2018-06-25 22:32:47 402

原创 Pychram 安装过程

PyCharm,专业开发者使用的Python IDEPyCharm的特点:更加高效由PyCharm负责处理日常繁琐的工作细节,为您节省宝贵的时间。让您专注于关键任务,并且善用以键盘操作为主的编程方法,充分发挥PyCharm的种种高效功能。获得智能辅助PyCharm完全理解代码的每个面向。依靠它的智能代码补全、实时错误检查和快速修复功能,轻松进行项目导航...等众多功能辅助您。提高代码质量编写整洁、...

2018-06-25 21:36:36 619

原创 Python安装Anaconda集成环境

人生苦短,我用Python作为世界上最简单的语言,想踏入IT行业的小白们,Python就是我们的敲门砖1.想学Python首先了解anaconda集成环境。anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。[1] 因为包含了大量的科学包,Anaconda 的下载文件比较大(约 515 MB),如果只需要某些包,或者需要节省带宽或存储...

2018-06-25 21:19:32 2912

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除