wu_hai1-CSDN博客

原创 Redis实现分布式爬虫

将单机爬虫jobbole修改为分布式爬虫伯乐在线爬虫如下：blog.py # -*- coding: utf-8 -*- import scrapy from ..items import JobboleItem from ..items import ArticleItemLoader class BlogSpider(scr...

2018-08-16 21:12:36 314

原创 python---PhantomJS简介及安装教程

简介PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，即是一个隐形的浏览器，只是其内的点击、翻页等人为相关操作需要程序设计实现。它不仅是个隐形的浏览器，提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的操作，从而使你可以向操作系统读写文件等。它能实...

2018-08-09 23:10:37 285

原创 mysql安装流程

MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。MySQL 是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL 是开源的，所以你不需要支付额外的费用。 MySQL 支持大型的数据库。可以处理拥有上千万条记录的大型数据库。 MySQL 使用标准的SQ...

2018-08-09 08:45:33 235

原创 scrapy项目创建及工作流程

创建scrapy项目流程1、在cmd中创建Scrapy项目工程。在命令行，切换的自己的项目代码的工作空间下，执行如下命令scrapy startproject ScrapyTest有如下提示则表示创建成功可以根据下面的提示，创建爬虫文件用pycharm打开文件夹，可以看见如下目录结构：spiders.py目录下用于存放自己编写的爬虫item.py在Spi...

2018-08-01 20:51:47 2250

原创 scrapy 安装报错解决手段

第一次安装scrapy常见错误及解决手段(1)运行命pip install scrapy 在执行到“Collecting Twisted>=13.1.0 (from Scrapy)”时报错：Exception:Traceback (most recent call last).....原因：我当前的版本是pip 10.01，执行下面命令会更新成最新版本。运行命令：...

2018-08-01 19:24:14 1705

原创 selenium安装步骤

selenium英文原意是硒在python中是一个自动化测试工具selenium 可以完全模拟人,对浏览器操作,对动态数据进行获取 ,动态数据由代码生成,在页面的初始化过程中是没有的,也无法获取但是可以通过selenium进行获取有些数据是需要进行登录后才能够获取的,比如说好友列表评论消费记录登陆后获取cookie才能进行以上操作,只要获取账号密码之后即可实现...

2018-08-01 17:55:31 9750

转载 python 的内存机制

让我们先来了解一下对象和应用的概念：a =引用计数举个例子说明引用是什么：a = 11如上为一个简单的赋值语句，1就是对象，a就是引用，引用a指向对象1。同理：b = 11b也是对象1的引用。通过内置函数id()返回对象的地址。print id(a) #43220320print id(b) #4322032012当我们创建多个等于1的引用时，实际上是让所有这些引用指向同一个对象。为了检...

2018-06-25 22:32:47 402

PyCharm，专业开发者使用的Python IDEPyCharm的特点：更加高效由PyCharm负责处理日常繁琐的工作细节，为您节省宝贵的时间。让您专注于关键任务，并且善用以键盘操作为主的编程方法，充分发挥PyCharm的种种高效功能。获得智能辅助PyCharm完全理解代码的每个面向。依靠它的智能代码补全、实时错误检查和快速修复功能，轻松进行项目导航...等众多功能辅助您。提高代码质量编写整洁、...

2018-06-25 21:36:36 621

原创 Python安装Anaconda集成环境

人生苦短，我用Python作为世界上最简单的语言,想踏入IT行业的小白们，Python就是我们的敲门砖1.想学Python首先了解anaconda集成环境。anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。[1] 因为包含了大量的科学包，Anaconda 的下载文件比较大（约 515 MB），如果只需要某些包，或者需要节省带宽或存储...

2018-06-25 21:19:32 2912

wu_hai1的博客