2018年03月_洪流之源

原创数据探索之数据质量分析

数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。数据的质量分析侧重于脏数据的发现，而数据清洗则是对这些脏数据的修正或者丢弃。一般情况下，数据的质量分析与数据清洗是相伴而行的，在分析出脏数据的时候伴随着数据的清洗。常见的脏数据包括如下：1.缺失值缺失值产生的一般由如下原因造成：(1) 有些信息无法获取；(2) 有些信息出现遗漏；(3)...

2018-03-13 15:33:50 7705

原创数据分析与数据挖掘概述

1.什么是数据分析与数据挖掘技术?所谓数据分析，即对已知的数据进行分析，然后提出一些有价值的信息。比如统计出平均数、标准差等信息,数据分析的数据量有可能不会太大。而数据挖掘，是指对大量的数据进行分析和挖掘，得到一些未知的有价值的信息等，比如从网站的用户或用户行为数据中挖掘出潜在需求信息，从而对网站进行改善等。数据分析与数据挖掘密不可分，数据挖掘是数据分析的提升。2.数据分析与挖掘技术能做什么事情?...

2018-03-13 10:29:55 1751

原创 scrapy框架系列 (5) Spider类

SpiderSpider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。class scrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。主要用到的函数及调用顺序为：__init__() : 初始化爬虫名字和start_...

2018-03-03 11:06:48 608

原创 scrapy框架系列 (4) Scrapy Shell

Scrapy ShellScrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。（推荐安装IP...

2018-03-03 11:02:34 409

原创 scrapy框架系列 (3) Item Pipline

item pipeline当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：验证爬取的数据(检查item包含某些字段，比如说name字段)查重(并丢弃)将爬取结果保...

2018-03-03 09:38:13 557

原创 scrapy框架系列 (2) 一个简单案例

学习目标创建一个Scrapy项目定义提取的结构化数据(Item)编写爬取网站的 Spider 并提取出结构化数据(Item)编写 Item Pipelines 来存储提取到的Item(即结构化数据)一. 新建项目(scrapy startproject)在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令：scrapy startproject mySpider...

2018-03-03 09:35:19 760 1

原创 scrapy框架系列 (1) 初识scrapy

Scrapy 框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各...

2018-03-03 09:29:59 284

原创 Python 大神

https://cuiqingcai.com/about大数据视频课程汇总http://blog.csdn.net/sjh752422969/article/details/69839153

2018-03-02 14:04:57 966

洪流之源