jly58fgjk的博客

Python常用的数据类型 1、数值   int        整型          a=10   float      浮点型        a=1.10   bool      布尔类型      bool=True  /False 例子： >>>  Print  “%s  is  number  %d ! ” %(“ Python ”, 1) Pytho

这是我从极客学院网站上，学习如何爬取数据的一个实例#coding=utf-8# 爬取极客学院 课程名称 课程介绍 课程时间 课程等级 学习人数# 目标网址 http://www.jikexueyuan.com/course/?pageNum=1## 实现代码如下：#-*_coding:utf8-*-import requestsimport reimp

Python字符串的编码与解码(encode与decode)首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('g

一、如何安装python第三方库：   1、有一个专门可下载安装第三方库的网址：   http://www.lfd.uci.edu/~gohlke/pythonlibs/           Ctrl+f  搜索要下载的第三方库，并下载         库文件都是以 whl 结尾，下载好后，把它重命名为zip  (把whl改为zip)，出现一个选框选择“是”，接下来就可以解压了，排除解压后

#-*-coding:utf-8-*- #1、字典dict = {'name': 'Zara', 'age': 7, 'class': 'First'}#字典转为字符串，返回： {'age': 7, 'name': 'Zara', 'class': 'First'}print type(str(dict)), str(dict)#字典可以转为元组，返回：

在python的学习过程中，肯定会遇到很多安装模块的地方，可以使用easy_install安装，但是easy_install相对于pip而言，最大的缺陷就是它所安装的模块是不能够卸载的，其他功能是和pip一样的。下面介绍一下pip的安装：安装我总结了两个方法 1 、通过下载安装文件来安装      2 、通过easy_install安装1、下载pip安装包 https:

在python用import或者from...import来导入相应的模块。模块其实就是一些函数和类的集合文件，它能实现一些相应的功能，当我们需要使用这些功能的时候，直接把相应的模块导入到我们的程序中，这类似于C语言中的include头文件，Python中我们用import导入我们需要的模块。import sysprint('==========Python imp

scrapy安装   一、python安装         我安装的是python2.7.10，安装注意看看是否添加环境变量          python官方网址：http://www.scrapy.org/   二、安装scrapy需要安装很多关联模块         我一般选择到第三方模块库下载模块安装包或者直接pip install 模块名字  我感觉这两种方式比较简便

利用Requests爬取慕课网课程图片网址：http://www.imooc.com/course/list?page=1 步骤分析       1、导入模块       2、抓取源代码   两种方法                 利用requests.get                 打开一个txt文件，利用Ctrl+F查找要匹配的部分源代码，粘贴到txt文件中，

爬取廖雪峰网站不同目录网址里的内容 例如：  步骤分析          1、导入模块                   import  requests                   from  lxml  import  etree          2、获取源代码                   html = requests.get     

首先对Xpath进行安装配置         安装Xpath         安装 lxml库       从Python第三方库下载，或者 pip  install  lxml学会使用Xpath       导入etree模块                from  lxml import  etree使用Xpath 提取网页感兴趣代码         Selector

看了极客学院学习单线性爬虫的视频，觉得对爬虫的了解更加深入下面我稍稍对爬取网页数据的方式做了一下小结下面是要爬取数据的网址 日语学习网                 http://jp.tingroom.com/yuedu/yd300p/ 向网页提交数据   --  get 和 postget和post各有什么作用get 从服务器上获取数据post 是向服务器

什么是python？Python（英语发音：/ˈpaɪθən/）, 是一种面向对象、解释型计算机程序设计语言。Python风格及语法特点：Python的设计哲学是“优雅”、“明确”、“简单”，语言简洁、易读并有可扩展性。Python是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。Python支持重载运算符和动态

不同python版本中，range的用法不同在python2.x中，range返回到是一个列表在python3.x中，range返回到是一个人迭代值python范围的一些问题：例如： >>>range(1,5)     返回值是从1到4，不包括5[1，2，3，4]>>>range(1,5,2)  返回值是从1到5，间隔为2，不包括5[1，3]>>>range(5

python语句中的一些基本规则和特殊符号： 1、井号# 表示之后的字符为python注释   Python注释语句从#号字符开始，注释可以在语句的任何一个地方开始，解释器会忽略掉该行#号之后的所有内容 2、换行\n 是标准的行分隔符 3、反斜杠\  继续上一行 通常一个语句一行一行过长的语句可以使用反斜杠\分解成几行例如：    If  (aa

一直以来技术群里会有新入行的同学提问关于urllib和urllib2以及cookielib相关的问题。所以我打算在这里总结一下首先从一段代码开始，#cookieimport urllib2import cookielib cookie = cookielib.CookieJar()opener = urllib2.build_opener(urllib2.HTT

1.了解正则表达式  正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。  正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不例外，利用了正则表达式，我们想要从返回的页面内容提取出我们想要的内容就易如反掌了。

python中的reduce   python中的reduce内建函数是一个二元操作函数，他用来将一个数据集合（链表，元组等）中的所有数据进行下列操作：用传给reduce中的函数 func()（必须是一个二元操作函数）先对集合中的第1，2个数据进行操作，得到的结果再与第三个数据用func()函数运算，最后得到一个结果。如：    def myadd(x,y):          r

什么是高阶函数？ 高阶函数 1、变量可以指向函数 2、函数的参数可以接收变量 3、一个函数可以接收另一个函数作为参数 4、能接收函数作为参数的函数就是高阶函数举个例子：def  add(x, y, f):   x和y为变量，f为一个函数                 returnf(x) + f(y)add(-5,9,abs)    

1、什么是爬虫？     首先要了解什么是爬虫？爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛

Scrapy是一个基于Twisted，纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～Scrapy 使用 Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。整体架构如下图所示：绿线是数据流向，首先从初始URL 开始，Scheduler 会将其交给 D