lxl20100102-CSDN博客

原创 Python爬取广州链家二手房数据

微信公众号：数据分析与统计学习如有问题或建议，请公众号留言最近更新时间：2018-7-28一、前言依据网页的结构元素，网络爬虫可以分为爬取静态网页和动态网页，网络世界中大部分的网站属于静态网页，例如各政府，企业，组织机构的官方网站；动态网页例如淘宝、各大新闻门户网站等。本次主要讲爬取静态网页，以爬取广州链家二手房的数据为例。首先观察广州链家二手房的网页结构。发现房源信息都在标签...

2018-11-15 10:31:48 1403

原创 Python 基础知识——函数（一）

微信公众号：数据分析与统计学习如有问题或建议，请公众号留言一、前言Python的系列文章主要介绍python语言的基础语法知识。按照核心内建数据类型、语句、函数、类、异常、标准模块的顺序对相关的语法知识进行讲解。python函数知识的介绍主要分为两块：第一部分讲解函数的基础知识，包括函数的定义、参数、作用域；第二部分介绍函数的高级特性，包括迭代器、生成器、匿名函数lamb...

2018-07-18 12:49:58 202

原创网络爬虫——用Python爬取新浪新闻材料

微信公众号：数据分析与统计学习如有问题或建议，请公众号留言最近更新时间：2018-7-8最近一个星期都在学习网络爬虫，秉着有学习输入就要有学习输出（学以致用）的原则，把整个学习过程记录下来，并分享给大家。一、爬虫前的准备工作我是在Windows系统下用Python的Anaconda集成开发环境实现网络爬取新浪新闻项目。用Anaconda实现网络爬虫有如下几个好处：第一，该软件...

2018-07-16 23:04:49 580

微信公众号：数据分析与统计学习如有问题或建议，请公众号留言最近更新时间：2018-6-29一、前言Python的系列文章主要介绍python语言的基础语法知识。按照核心内建数据类型、语句、函数、类、异常、标准模块的顺序对相关的语法知识进行讲解。上期小编介绍了函数的高级特性，本期小编介绍面向对象编程的基础知识——类。python类知识的介绍主要分为两块：第一部分讲解类的基础知识，类的定义、类与实例、...

2018-07-05 20:37:39 353

原创 Python 的模块

微信公众号：数据分析与统计学习如有问题或建议，请公众号留言最近更新时间：2018-7-3一、前言Python的系列文章主要介绍python语言的基础语法知识。按照核心内建数据类型、语句、函数、类、异常、标准模块的顺序对相关的语法知识进行讲解。上期介绍了异常，本期将介绍python系列的最后一块知识——模块，主要包括模块的意义，模块的导入方式以及模块的创建。二、为什么使用模块1、代码重用：模块可...

2018-07-04 21:43:26 142

原创 Python 处理错误和异常

微信公众号：数据分析与统计学习如有问题或建议，请公众号留言最近更新时间：2018-7-2一、前言Python的系列文章主要介绍python语言的基础语法知识。按照核心内建数据类型、语句、函数、类、异常、标准模块的顺序对相关的语法知识进行讲解。上期小编介绍了类的介绍类的运算符重载和类装饰器。本期小编将会详细介绍异常，异常也可以改变程序中的控制流程。pythony异常知识的介绍包括异常的基础知识，...

2018-07-03 21:06:52 1968

原创 Python面向对象编程——类（二）

微信公众号：数据分析与统计学习如有问题或建议，请公众号留言最近更新时间：2018-7-1一、前言Python的系列文章主要介绍python语言的基础语法知识。按照核心内建数据类型、语句、函数、类、异常、标准模块的顺序对相关的语法知识进行讲解。python类知识的介绍主要分为两块：第一部分讲解类的基础知识，类的定义、类与实例、如何创建一个类；第二部分详细介绍类的运算符重载，类装饰器。上期小编介绍...

2018-07-02 23:34:32 271

原创 python 中文编码问题

print u'你好冒险者，我是穆，请问你是'name = raw_input(u"请输入你的姓名: ").decode('gbk')print u'%s，你好，真是一个不错的名字，欢迎来到%s' %(name,u"法兰城")注：所用的开发环境IDLE是Python2.7.12这段代码的运行必须解码为GBK才能正常运行，如果解码为UTF-8则在输出的时候出现如下错误：为什

2016-07-14 23:37:16 175

原创利用Python进行数据分析——pandas入门

Pandas的两种主要数据结构：Series和DataFrameobj=Series()参数是列表，元素，字典，数组等。Series在算术运算中会有自动对齐不同的索引的功能，索引可以通过赋值的方式修改obj.index=['Bob','Steve']Series可以看成是一个字典，因为他是索引值到数据值得隐射DataFrame表格型数据结构，含有一组有序的列，每列可以是

2016-05-09 07:19:43 385

原创利用Python进行数据分析第四章：Numpy基础-数组和矢量计算

本章主要内容：1、用于数据整理和清理、子集构造和过滤、转换等快速的矢量化数组计算2、常用的数组算法：排序、唯一化、集合运算3、高效的描述统计和数据聚合（摘要）运算4、用于数据集的合并/连接运算的数据对齐和关系型数据运算5、将条件逻辑表述为数组表达式6、数据的分组运算（聚合、转换、函数应用等）

2016-04-28 14:04:54 444

原创利用Python进行数据分析第三章：IPython常用技巧

本章重点内容：Tab键自动完成功能1、在shell中输入表达式时，按下Tab键，命名空间中任何与已输入的字符串相匹配的变量（对象，函数，方法，属性等）就会被找出来an_apple=27an_example=42anan_apple and an_example/2、任何对象后面输入一个句点以便完成方法和属性的输入b.b.append b.extend b.ins

2016-04-28 07:13:05 243

原创利用Python进行数据分析第二章：引言-三个数据分析例子

本章重点内容：读取文件函数：open(绝对路径或者默认路径).readline()import json字典records=[json.loads(line) for line in open(path)] #列表推导字典records[0]取元素，[ ]里面代表索引，（）里面一般代表函数参数records[0]['tz']代表取第一个字典中的tz键的值impor

2016-04-28 00:07:13 214

原创利用Python进行数据分析第一章：绪论介绍

重点内容主要介绍本书中处理数据最重要的Python库，包括numpy, pandas, matplotlib, scipynumpy库1、多维数组对象array2、用于对数组执行元素级计算的函数；用于对数组执行数学运算的函数3、读写硬盘上基于数组的数据集的工具4、线性代数运算和随机数的生成pandas库1、对象DataFrame，一个含有行标和列标的二维表

2016-04-27 23:47:22 336