自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 scrapy爬虫框架学习入门教程及实例

Scrapy是一个基于Twisted,纯Python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便~ Scrapy 使用 Twisted这个异步网络库来处理网络通讯,架构清晰,并且包含了各种中间件接口,可以灵活的完成各种需求。整体架构...

2016-06-05 22:06:57

阅读数 4735

评论数 1

原创 windows下 PyCharm安装scrapy

scrapy安装    一、python安装          我安装的是python2.7.10,安装注意看看是否添加环境变量          python官方网址:http://www.scrapy.org/    二、安装scrapy需要安装很多关联模块          我一般选择到第三...

2016-06-01 16:18:03

阅读数 7045

评论数 0

转载 python中的import 和 from .. import ..

在python用import或者from...import来导入相应的模块。 模块其实就是一些函数和类的集合文件,它能实现一些相应的功能,当我们需要使用这些功能的时候,直接把相应的模块导入到我们的程序中,这类似于C语言中的include头文件,Python中我们用import导入我们需要的模...

2016-05-31 21:38:18

阅读数 431

评论数 0

转载 python 利用pip 安装 卸载 更新某个模块

在python的学习过程中,肯定会遇到很多安装模块的地方,可以使用easy_install安装,但是easy_install相对于pip而言,最大的缺陷就是它所安装的模块是不能够卸载的,其他功能是和pip一样的。 下面介绍一下pip的安装: 安装我总结了两个方法 1 、通过下载安装文件...

2016-05-31 20:43:01

阅读数 9980

评论数 0

原创 PyCharm 如何安装python第三方库及插件(mongodb)?

一、如何安装python第三方库:    1、有一个专门可下载安装第三方库的网址:   http://www.lfd.uci.edu/~gohlke/pythonlibs/           Ctrl+f  搜索要下载的第三方库,并下载          库文件都是以 whl 结尾,下载好后...

2016-05-29 22:11:55

阅读数 23941

评论数 0

转载 MATLAB 图像的归一化

一、为什么归一化?  1、   基本上归一化思想是利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响。也就是转   换成唯一的标准形式以抵抗仿射变换。     图像归一化使得图像可以抵抗几何变换的攻击,它能够找出图像中的那些不变量,从而得知这些图像原本就是一  样的或者一个系列的...

2016-05-29 20:53:21

阅读数 2405

评论数 0

原创 mongodb安装与启动

一、下载mongodb             1、下载网址:https://www.mongodb.com/download-center#community   版本根据自己的计算机,我这里是安装的是mongodb3.2 2、下载好后,一步一步安装,安装路径我这里是F:\mongoDB ...

2016-05-24 21:57:18

阅读数 306

评论数 0

转载 Python字符串、列表、字典、元组互转

#-*-coding:utf-8-*-  #1、字典 dict = {'name': 'Zara', 'age': 7, 'class': 'First'} #字典转为字符串,返回: {'age': 7, 'name': 'Zara', 'class': 'First'} ...

2016-05-18 19:03:26

阅读数 213

评论数 0

原创 实战 利用Xpath爬取网页数据

爬取廖雪峰网站不同目录网址里的内容  例如:    步骤分析           1、导入模块                    import  requests                    from  lxml  import  etree           2、获...

2016-05-10 21:33:36

阅读数 2586

评论数 0

原创 对Xpath爬取网页数据的理解

首先对Xpath进行安装配置          安装Xpath         安装 lxml库       从Python第三方库下载,或者 pip  install  lxml 学会使用Xpath        导入etree模块                 from  lxml ...

2016-05-10 20:56:55

阅读数 1161

评论数 0

原创 利用Requests爬取图片与网页数据

利用Requests爬取慕课网课程图片 网址:http://www.imooc.com/course/list?page=1  步骤分析        1、导入模块        2、抓取源代码   两种方法                  利用requests.get             ...

2016-05-09 20:09:06

阅读数 5304

评论数 0

转载 Python 编码与解码1

Python字符串的编码与解码(encode与decode) 首先要搞清楚,字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编...

2016-04-20 18:56:04

阅读数 247

评论数 0

原创 Python 爬虫学习2

这是我从极客学院网站上,学习如何爬取数据的一个实例 #coding=utf-8 # 爬取极客学院 课程名称 课程介绍 课程时间 课程等级 学习人数 # 目标网址 http://www.jikexueyuan.com/course/?pageNum=1 ## 实现代码如下:...

2016-04-17 19:16:23

阅读数 288

评论数 0

原创 Python 爬虫学习2 向网页提交数据

看了极客学院学习单线性爬虫的视频,觉得对爬虫的了解更加深入 下面我稍稍对爬取网页数据的方式做了一下小结 下面是要爬取数据的网址  日语学习网                 http://jp.tingroom.com/yuedu/yd300p/  向网页提交数据   --  get 和 po...

2016-04-14 20:57:41

阅读数 954

评论数 0

原创 Python 爬虫学习1

1、什么是爬虫?      首先要了解什么是爬虫? 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它咯。 比如它在抓取一个网页,在这个网中他发现了一条道...

2016-04-14 19:59:11

阅读数 392

评论数 1

原创 python 函数式编程 一些高阶函数的使用

什么是高阶函数?   高阶函数  1、变量可以指向函数  2、函数的参数可以接收变量  3、一个函数可以接收另一个函数作为参数  4、能接收函数作为参数的函数就是高阶函数 举个例子: def  add(x, y, f):   x和y为变量,f为一个函数            ...

2016-04-07 20:34:28

阅读数 224

评论数 0

转载 python reduce函数

python中的reduce    python中的reduce内建函数是一个二元操作函数,他用来将一个数据集合(链表,元组等)中的所有数据进行下列操作:用传给reduce中的函数 func()(必须是一个二元操作函数)先对集合中的第1,2个数据进行操作,得到的结果再与第三个数据用func()函...

2016-04-07 19:51:06

阅读数 159

评论数 0

转载 python urllib2库的用法

一直以来技术群里会有新入行的同学提问关于urllib和urllib2以及cookielib相关的问题。所以我打算在这里总结一下 首先从一段代码开始, #cookieimport urllib2import cookielib   cookie = cookielib.Cooki...

2016-04-06 20:10:55

阅读数 610

评论数 0

转载 python 正则表达式的学习

1.了解正则表达式   正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。   正则表达式是用来匹配字符串非常强大的工具,在其他编程语言中同样有正则表达式的概念,Python...

2016-03-25 18:46:21

阅读数 295

评论数 0

原创 matlab如何循环读入某一文件夹下的所有图片 对某文件夹下的图片进行重新排序

在对多张图片同时处理时,用循环比较方便 怎么样对多张图片同时读入并进行处理呢? 下面是对某一文件夹下的多张图片进行重新排序的代码: clear all; 在对一系列图片进行图像处理时,可以利用循环来减少 clc; Picnames=struct2cell(dir('D:\My Document...

2016-03-03 20:25:30

阅读数 2364

评论数 0

提示
确定要删除当前文章?
取消 删除