jly58fgjk-CSDN博客

原创 scrapy爬虫框架学习入门教程及实例

Scrapy是一个基于Twisted，纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～Scrapy 使用 Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。整体架构如下图所示：绿线是数据流向，首先从初始URL 开始，Scheduler 会将其交给 D

2016-06-05 22:06:57 6163 1

原创 windows下 PyCharm安装scrapy

scrapy安装一、python安装我安装的是python2.7.10，安装注意看看是否添加环境变量 python官方网址：http://www.scrapy.org/ 二、安装scrapy需要安装很多关联模块我一般选择到第三方模块库下载模块安装包或者直接pip install 模块名字我感觉这两种方式比较简便

2016-06-01 16:18:03 8329

转载 python中的import 和 from .. import ..

在python用import或者from...import来导入相应的模块。模块其实就是一些函数和类的集合文件，它能实现一些相应的功能，当我们需要使用这些功能的时候，直接把相应的模块导入到我们的程序中，这类似于C语言中的include头文件，Python中我们用import导入我们需要的模块。import sysprint('==========Python imp

2016-05-31 21:38:18 642

转载 python 利用pip 安装卸载更新某个模块

在python的学习过程中，肯定会遇到很多安装模块的地方，可以使用easy_install安装，但是easy_install相对于pip而言，最大的缺陷就是它所安装的模块是不能够卸载的，其他功能是和pip一样的。下面介绍一下pip的安装：安装我总结了两个方法 1 、通过下载安装文件来安装 2 、通过easy_install安装1、下载pip安装包 https:

2016-05-31 20:43:01 11234

原创 PyCharm 如何安装python第三方库及插件（mongodb）？

一、如何安装python第三方库： 1、有一个专门可下载安装第三方库的网址： http://www.lfd.uci.edu/~gohlke/pythonlibs/ Ctrl+f 搜索要下载的第三方库，并下载库文件都是以 whl 结尾，下载好后，把它重命名为zip (把whl改为zip)，出现一个选框选择“是”，接下来就可以解压了，排除解压后

2016-05-29 22:11:55 27879

转载 MATLAB 图像的归一化

一、为什么归一化？ 1、基本上归一化思想是利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响。也就是转换成唯一的标准形式以抵抗仿射变换。图像归一化使得图像可以抵抗几何变换的攻击，它能够找出图像中的那些不变量，从而得知这些图像原本就是一样的或者一个系列的。　　因为我们这次的图片有好多都是一个系列的，所以老师把这个也作为我研究的一个方向。　　我

2016-05-29 20:53:21 7922

原创 mongodb安装与启动

一、下载mongodb 1、下载网址：https://www.mongodb.com/download-center#community 版本根据自己的计算机，我这里是安装的是mongodb3.22、下载好后，一步一步安装，安装路径我这里是F:\mongoDB ,安装好后在该路径下有一个bin目录，bin目录下有以下这些文件：如下图

2016-05-24 21:57:18 512

转载 Python字符串、列表、字典、元组互转

#-*-coding:utf-8-*- #1、字典dict = {'name': 'Zara', 'age': 7, 'class': 'First'}#字典转为字符串，返回： {'age': 7, 'name': 'Zara', 'class': 'First'}print type(str(dict)), str(dict)#字典可以转为元组，返回：

2016-05-18 19:03:26 329

原创实战利用Xpath爬取网页数据

爬取廖雪峰网站不同目录网址里的内容例如：步骤分析 1、导入模块 import requests from lxml import etree 2、获取源代码 html = requests.get

2016-05-10 21:33:36 4767

原创对Xpath爬取网页数据的理解

首先对Xpath进行安装配置安装Xpath 安装 lxml库从Python第三方库下载，或者 pip install lxml学会使用Xpath 导入etree模块 from lxml import etree使用Xpath 提取网页感兴趣代码 Selector

2016-05-10 20:56:55 2050

原创利用Requests爬取图片与网页数据

利用Requests爬取慕课网课程图片网址：http://www.imooc.com/course/list?page=1 步骤分析 1、导入模块 2、抓取源代码两种方法利用requests.get 打开一个txt文件，利用Ctrl+F查找要匹配的部分源代码，粘贴到txt文件中，

2016-05-09 20:09:06 6091

转载 Python 编码与解码1

Python字符串的编码与解码(encode与decode)首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('g

2016-04-20 18:56:04 352

原创 Python 爬虫学习2

这是我从极客学院网站上，学习如何爬取数据的一个实例#coding=utf-8# 爬取极客学院课程名称课程介绍课程时间课程等级学习人数# 目标网址 http://www.jikexueyuan.com/course/?pageNum=1## 实现代码如下：#-*_coding:utf8-*-import requestsimport reimp

2016-04-17 19:16:23 566

原创 Python 爬虫学习2 向网页提交数据

看了极客学院学习单线性爬虫的视频，觉得对爬虫的了解更加深入下面我稍稍对爬取网页数据的方式做了一下小结下面是要爬取数据的网址日语学习网 http://jp.tingroom.com/yuedu/yd300p/ 向网页提交数据 -- get 和 postget和post各有什么作用get 从服务器上获取数据post 是向服务器

2016-04-14 20:57:41 2038

原创 Python 爬虫学习1

1、什么是爬虫？首先要了解什么是爬虫？爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛

2016-04-14 19:59:11 545 1

原创 python 函数式编程一些高阶函数的使用

什么是高阶函数？高阶函数 1、变量可以指向函数 2、函数的参数可以接收变量 3、一个函数可以接收另一个函数作为参数 4、能接收函数作为参数的函数就是高阶函数举个例子：def add(x, y, f): x和y为变量，f为一个函数 returnf(x) + f(y)add(-5,9,abs)

2016-04-07 20:34:28 331

转载 python reduce函数

python中的reduce python中的reduce内建函数是一个二元操作函数，他用来将一个数据集合（链表，元组等）中的所有数据进行下列操作：用传给reduce中的函数 func()（必须是一个二元操作函数）先对集合中的第1，2个数据进行操作，得到的结果再与第三个数据用func()函数运算，最后得到一个结果。如： def myadd(x,y): r

2016-04-07 19:51:06 284

转载 python urllib2库的用法

一直以来技术群里会有新入行的同学提问关于urllib和urllib2以及cookielib相关的问题。所以我打算在这里总结一下首先从一段代码开始，#cookieimport urllib2import cookielib cookie = cookielib.CookieJar()opener = urllib2.build_opener(urllib2.HTT

2016-04-06 20:10:55 774

转载 python 正则表达式的学习

1.了解正则表达式正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不例外，利用了正则表达式，我们想要从返回的页面内容提取出我们想要的内容就易如反掌了。

2016-03-25 18:46:21 407

原创 matlab如何循环读入某一文件夹下的所有图片对某文件夹下的图片进行重新排序

在对多张图片同时处理时，用循环比较方便怎么样对多张图片同时读入并进行处理呢？下面是对某一文件夹下的多张图片进行重新排序的代码：clear all;在对一系列图片进行图像处理时，可以利用循环来减少clc;Picnames=struct2cell(dir('D:\My Documents\Tencent Files\2725633704\FileRecv\图片\*.jp

2016-03-03 20:25:30 3616

原创 GUI界面设计1 三角函数

下面拿三角函数做一个简单的例子，说明GUI界面控件及回调函数的使用第一步：首先建立一个GUI，在command命令窗口中键入guide,会显示出GUI建立对话框。如下图第二步：把界面所需要的控件添加上去，自己设置tag值或String值。如下图：双击控件来设置控件的一些属性，常用的属性 tag和Stringaxes按钮用来显示三角函数的曲线，第一

2016-03-01 21:48:38 2660

转载 GUI界面设计总结

创建Matlab GUI界面通常有两种方式： 1，使用 .m 文件直接动态添加控件 2. 使用 GUIDE 快速的生成GUI界面显然第二种可视化编辑方法算更适合写大型程序。一：创建GUI1.在 .m文件中动态添加例如h_main=figure(‘name’,‘a demo of gui design’,‘menubar’,

2016-03-01 19:10:55 2483

转载图像预处理对比度调整函数imadjust

imadjust函数在数字图像处理中用于进行图像的灰度变换（调节灰度图像的亮度或彩色图像的颜色矩阵）。J = imadjust(I)将灰度图像 I 中的亮度值映射到 J 中的新值并使 1% 的数据是在低高强度和饱和，这增加了输出图像 J 的对比度值。此用法相当于 imadjust(I,stretchlim(I))J = imadjust(I,[low_in; hig

2016-02-24 21:23:20 1291

转载 matlab strel函数用法

功能：用于膨胀腐蚀及开闭运算等操作的结构元素对象(本论坛随即对膨胀腐蚀等操作进行讲解)。用法：SE = strel(shape,parameters)创建由指定形状shape对应的结构元素。其中shape的种类有arbitrary''pair''diamond''periodicline''disk''rectangle''l

2016-02-24 21:13:14 3376

原创数字图像处理预处理图像增强

学习了数字图像图像处理一段时间，下面是我对预处理方面的一些总结。首先，了解了预处理对数字图像有什么影响？预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。预处理过程一般有数字化、几何变换、归一化、平滑、复原和增强等步骤。下面是我对图像增强的总结。图像增强有很多种方法，针对不同图像要采取

2016-02-24 21:04:01 4971

原创 linux 命令整理

系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpui

2016-02-22 16:37:07 271

原创 python 基础特殊符号的使用

python语句中的一些基本规则和特殊符号： 1、井号# 表示之后的字符为python注释 Python注释语句从#号字符开始，注释可以在语句的任何一个地方开始，解释器会忽略掉该行#号之后的所有内容 2、换行\n 是标准的行分隔符 3、反斜杠\ 继续上一行通常一个语句一行一行过长的语句可以使用反斜杠\分解成几行例如： If (aa

2016-02-17 16:53:38 10988

原创 python 基本数据类型

Python常用的数据类型 1、数值 int 整型 a=10 float 浮点型 a=1.10 bool 布尔类型 bool=True /False 例子： >>> Print “%s is number %d ! ” %(“ Python ”, 1) Pytho

2015-12-11 19:35:18 340

原创图像识别技术验证码识别

下面是我对验证码识别步骤的分析一、预处理 1、读入一幅图像（彩色），对其进行灰度化 RGB系统中一个颜色值由3个分量组成，这样的图像称为彩色图像，RGB系统称为颜色空间模型。灰度化的方法有一下几种： 2、二值化处理一般24位RGB图像的灰度图是8位256个灰度级的，如果把这个灰度级减少到1位2个灰度级，就得到一

2015-12-03 21:23:47 1123

原创 python range范围

不同python版本中，range的用法不同在python2.x中，range返回到是一个列表在python3.x中，range返回到是一个人迭代值python范围的一些问题：例如： >>>range(1,5) 返回值是从1到4，不包括5[1，2，3，4]>>>range(1,5,2) 返回值是从1到5，间隔为2，不包括5[1，3]>>>range(5

2015-11-30 20:23:53 1571 1

转载 python学习对python的认识

什么是python？Python（英语发音：/ˈpaɪθən/）, 是一种面向对象、解释型计算机程序设计语言。Python风格及语法特点：Python的设计哲学是“优雅”、“明确”、“简单”，语言简洁、易读并有可扩展性。Python是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。Python支持重载运算符和动态

2015-11-26 19:15:47 2223

转载 matlab GUI如何实现参数传递

Matlab的GUI参数传递方式总结别人的带自己的一些见解，请指正！matlab gui共有六种参数传递方式和范围各不相同。 1。运用gui本身的varain{}、varaout{}传递参数（注：这种方式仅适用与gui间传递数据，且只适合与主子结构，及从主gui调用子gui，然后关掉子gui，而不适合递进结构，即一步一步实现的方式）

2015-11-21 10:46:29 4773

原创 matlab 图像几何变换平移、旋转、缩放

1、缩放该函数用于对图像做缩放处理。在matlab的命令窗口中输入doc imresize或者help imresize即可获得该函数的帮助信息调用格式B = imresize(A, m)返回的图像B的长宽是图像A的长宽的m倍，即缩放图像。 m大于1，则放大图像; m小于1，缩小图像。B = imresize(A, [numrows numcols])numrows和num

2015-11-21 10:34:24 21829

转载 matlab 图像处理

链接至：http://hi.baidu.com/ilovejoy/blog/item/f8cf81d19969ca289b5027e5.htmloriginalBW = imread('circles.png');se = strel('disk',11);erodedBW = imerode(originalBW,se);imview(originalBW), i

2015-11-21 10:14:47 704

转载 Matlab中uigetfile命令的应用

uigetfile【功能描述】创建标准的对话框并通过交互式操作取得文件名【函数用法】uigetfile：显示一个模态对话框，对话框列出了当前目录下的文件和目录，用于可以选择一个将要打开的文件名。如果文件名是有效的且该文件存在，则当用户点击Open时函数uigetfile返回该文件名。若不存在，uigetfile显示一个控制返回对话框值的错误提示信息，此时用户可以输入另外的文件名或点

2015-11-20 21:18:03 688

转载常用图像特征提取方法分类

常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。一颜色特征（一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多

2015-11-20 21:11:54 2745

jly58fgjk的博客