- 博客(20)
- 收藏
- 关注
原创 Python开发简单爬虫(一)
Python开发简单爬虫1.介绍 2.爬虫简介以及爬虫的技术价值 1.爬虫是什么 爬虫:一段自动抓取互联网信息的程序 2.爬虫技术的价值 价值:互联网数据,为我所用 3.简单爬虫架构 1.简单爬虫架构 1.调度端:启动停止爬虫或者监事爬虫的执行过程2.url管理器:对将要爬取的UR
2015-12-30 20:58:52 1971
原创 Python开发简单爬虫(二)
7.实战演练:爬取百度百科1000个页面的数据 1.爬虫实例—分析目标 步骤:确定目标:确定抓取哪个网站的哪个网页的哪些数据—百度百科python词条页面以及相关词条页面的标题和简介分析目标:确定抓取策略:url格式限定抓取范围 分析数据格式:分析标题和简介的格式 网页的编码编写代码:执行爬虫:进行数据的抓取 1.打开百度百科的页面:确定
2015-12-30 20:56:36 729
原创 windows 下安装BeautifulSoup
开始按照网上的流程安装BeautifulSoup失败,网上大多数的教程如下:去网站http://www.crummy.com/software/BeautifulSoup/上下载Beautiful Soup解压缩到本地硬盘上运行“setup.py build”和“setup.py install”输完命令点enter, python弹出一个框,提示我选择
2015-12-30 11:35:43 450
原创 zendstudio 下配置python 开发环境
需要加载的插件为PyDev1.给zs安装PyDev插件 启用zs在Help菜单中,选择Install New Software···, 选择Add按钮,Name:PyDev(这个随便起),Location:http://pydev.org/updates(PyDev的更新地址)或者http://pydev.org/lightly,OK选择PyDev下的PyDev f
2015-12-29 10:37:54 1591
原创 Python正则表达式
Python正则表达式1.正则表达式re模块1.re模块使用(1) 1)import re:python 正则表达式模块 2)第一个正则表达式使用情况举例:import re str='imooc python'pa=re.compile(r'imooc')#中间的参数就是匹配的内容#此时就生成了一个pattern的实
2015-12-28 13:34:43 403
原创 Python操作MySQL数据库
4Python操作MySQL数据库1.课前准备python 操作数据库的连接组件的安装请见博文:http://blog.csdn.net/walxiaosage/article/details/503872851.python DB API 介绍2.python 开发MySQL环境止2.python 操作数据库对象1.数据库连接对象connection
2015-12-25 14:45:37 328
原创 Ubuntu下python 配置mysql
安装步骤:1、sudo apt-get install python-setuptools2、sudo apt-get install libmysqld-dev3、sudo apt-get install libmysqlclient-dev4、sudo apt-get install python-dev5、sudo easy_install mysql
2015-12-23 15:20:52 263
原创 错误、调试、测试
错误、调试、测试1错误和异常错误和异常的概念错误:语法错误,逻辑错误(不完整或者不合法的输入或者计算出现问题)异常:程序执行过程中出现问题导致程序无法执行 1,程序遇到逻辑或者算法问题 2.运行过程中计算机错误(内存不够或者IO错误) 2错误和异常的处理方式1.Python常见错误1.NameError:没有定义变量,直接饮用,则会出现NameErr
2015-12-23 08:19:14 375
原创 Python文件处理
Python文件处理文件简介1.简介文件:Python中文件是对象LINUX文件:一切设备都可以看成文件,如磁盘文件、管道、网络socket、外设等文件属性:用户,读写执行权限2.Python文件基础操作2.1文件打开方式打开方法:open(name[,mode[buf]])name:文件路径mode:打开方式Mode说明
2015-12-18 09:50:02 343
原创 定制类
定制类1.什么是特殊方法Python 会把任意的变量变成str:因为任何数据类型的实例都有一个特殊方法 __str__()>>> print list.__str__() [1,2,3]>>> print object.__str__() 所以如果给person 定义一个str方法,就可以实现自己定义打印对象
2015-12-17 15:18:17 366
原创 MySQL和SQL入门(1-5)
第一章 MySQL和SQL入门 1.创建用户 创建用户(本地) 创建用户(网络): 2.if函数使用 3.省略from条件 4.如何对输出列进行求值和命名 5.与日期有关的问题
2015-12-17 08:35:45 368
原创 范式学习
范式学习 第一范式 :确保每列的原子性. 如果每列(或者每个属性)都是不可再分的最小数据单元(也称为最小的原子单元),则满足第一范式. 例如:顾客表(姓名、编号、地址、……)其中"地址"列还可以细分为国家、省、市、区等。 第二范式 :在第一范式的基础上更进一层,目标是确保表中的每列都和主键相关. 属性完全依赖于主键[消除部分子函
2015-12-17 08:32:13 924
原创 word 2010配置发布CSDN博客功能
1.打开world,新建—>博客文章 ,然后就双击2.此时会提示注册账号,按照提示注册就行,所需信息的填写如下:选择博客提供商为"其他"配置CSDN服务信息如下: API选MetaWebLogURL;http://write.blog.csdn.net/xmlrpc/index ,开始配置的时候一直提示不成功就是这个填写不正确 用户名:你的CSDN帐号
2015-12-16 10:37:20 374
原创 类的继承
类的继承1.什么是继承Python继承的特点:1)总是从某个类继承:如果没有父类就从object类继承 classMyClass(object): pass2)最后不要忘记调用super().__init__方法,用来初始化父类,如果忘记则父类的属性就有可能不会被正确的初始化。 def__int__(self,args)
2015-12-15 15:55:53 357
原创 面向对象编程
面向对象编程1.面向对象编程2.定义类并创建实例类定义: classPerson(object): pass注意:类名通常以大写字母开头,紧接着就是(object),表示该类是从哪个类继承的,没有继承则写object 实例创建:用类名+() xiaoming=Person() xiaohong=Person(
2015-12-15 10:59:00 549
原创 模块
1.模块和包的概念模块:为了编写可维护的程序,把很多函数分组,分别放到不同的文件里,这样,每个文件包含的代码就相对较少,很多编程语言都采用这种组织代码的方式。python中,一个.py文件就是一个模块。好处:可维护高,多次引用,避免函数名和变量名冲突。包:为了避免模块冲突,引入了按目录组织模块的方法。引入包以后,只要顶层的包名不与别人冲突,所有的模块就不会与别人冲突,a
2015-12-14 09:44:00 236
原创 偏函数
15.偏函数当一个函数有很多参数时,调用者就需要提供多个参数。如果减少参数个数,就可以简化调用者的负担。比如,int()函数可以把字符串转换为整数,当仅传入字符串时,int()函数默认按十进制转换:>>>int('12345')12345但int()函数还提供额外的base参数,默认值为10。如果传入base参数,就可以做 N 进制的转换:>>>int('123
2015-12-03 15:32:46 263
原创 装饰器
11.decorator装饰器动态的函数增加功能方法一:给每个函数添加printlog方法二:通过高阶函数返回新函数方法三:内置@语法12.编写无参数decoratorPython的 decorator 本质上就是一个高阶函数,它接收一个函数作为参数,然后,返回一个新函数。使用 decorator用Python
2015-12-03 14:36:51 223
原创 匿名函数
10.匿名函数高阶函数可以接收函数做参数,有些时候,我们不需要显式地定义函数,直接传入匿名函数更方便。在Python中,对匿名函数提供了有限支持。还是以map()函数为例,计算 f(x)=x2 时,除了定义一个f(x)的函数外,还可以直接传入匿名函数:>>>map(lambda x: x * x, [1, 2, 3, 4, 5, 6, 7, 8, 9])[1, 4, 9,
2015-12-03 14:07:24 518
原创 返回函数和闭包
8.返回函数Python的函数不但可以返回int、str、list、dict等数据类型,还可以返回函数!例如,定义一个函数 f(),我们让它返回一个函数 g,可以这样写:def f(): print 'call f()...' # 定义函数g: def g(): print 'call g()...' # 返回函数g:
2015-12-03 14:03:47 475
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人