![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
夏侯_瑾轩
不积跬步无以至千里,不积小流无以成江海
展开
-
python的reduce()函数
reduce()函数也是Python内置的一个高阶函数。reduce()函数接收的参数和 map()类似,一个函数 f,一个list,但行为和 map()不同,reduce()传入的函数 f 必须接收两个参数,reduce()对list的每个元素反复调用函数f,并返回最终结果值。例如,编写一个f函数,接收x和y,返回x和y的和:12转载 2017-11-30 23:33:15 · 325 阅读 · 0 评论 -
Django环境搭建
二、Django环境搭建:一.安装Django1.1使用pip来安装首先需要安装pip ubuntu中: sudo apt-get install python-pipFedora中: yum install python-pip1.2 Linux、Mac OSX 、windows中都可用get-pip.py来安装pipNote: 也可以下载pip源码包原创 2017-12-07 15:43:20 · 891 阅读 · 0 评论 -
新建一个scrapy项目的步骤
1、创建一个scrapy的开发环境mkvirtualenv articlemkvirtualenv --python=C:\Users\Administrator\AppData\Local\Programs\Python\Python\python.exe2、使用 scrapy 来创建 ArticleSpider项目在文件夹中右键,在此处打开命令窗口,本人是在原创 2017-12-26 00:49:46 · 22768 阅读 · 0 评论 -
python中使用正则表达式匹配出字符串中的数字
见代码:>>> s = 'balance-rr 0'>>> import re>>> nums = re.findall(r'\d+', s)>>> nums['0']输出结果 ['0']>>> import re>>> str1 = 'balance-rr 0'>>> mode = re.原创 2017-12-26 17:56:38 · 8793 阅读 · 0 评论 -
使用selelium登录知乎
代码如下所示:# -*- coding:utf-8 -*-__author__ = 'bobby'from selenium import webdriver#chromedriver.exe这个驱动chrome启动的文件要在网上下载,下载之后放置到chrome浏览器中的根目录文件下browser = webdriver.Chrome(executable_原创 2018-01-02 10:17:32 · 591 阅读 · 0 评论 -
selelium中使用Selector来抓取页面
通过 css selector的方式进行网页的抓取操作# -*- coding: utf-8 -*-__author__ = 'bobby'from selenium import webdriverfrom scrapy.selector import Selectorbrowser = webdriver.Chrome(executable_path="C:/Pr原创 2018-01-02 10:50:28 · 755 阅读 · 0 评论 -
正则表达式中的.*?,懒惰模式与贪婪模式
在正则表达式中 .*? 代表的意思是匹配上任意内容字符0次或1次解析来我们来对比两个案例以此比较 懒惰模式与贪婪模式:首先请大家对比上面的两个正则:regex_str = ".*?(b.*?b).*"regex_str = ".*(b.*b).*"上面的第一个正则表示的是懒惰模式(即匹配到一个之后就不再进行匹配了):我们来看下面的这一长串字符串: "原创 2017-12-18 19:11:45 · 619 阅读 · 0 评论 -
正则表达式中中括号的三种用途 []
正则表达式中中括号中可以表示1.某个区间内 如 [a-zA-Z0-9]2.某几个的范围 [abcd]3.可以在中括号中进行取非的操作. [^a]4.在中括号中的字符不再有特殊的含义 如经常匹配全部的 .和* [.][*]原创 2017-12-18 20:25:32 · 13177 阅读 · 0 评论 -
使用kibana给elasticsearch完成增删改查数据
首先我们启动elasticsearch、elasticsearch-head和kibana (前提是已经安装好了)elasticsearch的启动只需在 cmd 中运行 elasticsearch.bat文件elasticsearch-head 需要安装node.js 然后使用 npm run start 这样的命令进行启动kibana启动的时候需要在kiban原创 2018-01-11 10:32:43 · 72713 阅读 · 4 评论 -
使用scrapy来抓取 ChinaPub 这个网站上的图片_并且将其下载到本地
1.首先我们使用 scrapy startproject Chinapubweb 这个命令来创建出一个scrapy项目,创建完毕之后scrapy的目录结构如下图所示:2.在spider目录下新建一个 chinapub.py的文件,并且编写上下面的代码.# -*- coding: utf-8 -*-import scrapyfrom scrapy.spider i原创 2018-01-08 10:03:14 · 302 阅读 · 0 评论 -
elasticsearch中的查询
本篇教程主要给大家讲解elasticsearch中的查询elasticsearch是功能非常强大的搜索引擎,使用它的目的是为了快速的查询需要的数据。查询分类:基本查询:使用elasticsearch内置查询条件进行查询组合查询:把多个查询组合在一起进行复合查询过滤查询:查询的同时,通过filter条件,在不影响打分的情况下筛选数据1.match查询和term原创 2018-01-14 21:35:15 · 601 阅读 · 0 评论 -
使用elasticsearch、elasticsearch-head、kibana 的安装
第一步:首先elasticsearch需要安装 jdk1.8才能够运行整个程序,所以,首先需要安装jdk1.8,注意配置好环境变量然后在github官网 搜索elasticsearch-rtf 下载elasticsearch的中文发行版,针对新手方便学习测试 解压缩文件到自己的硬盘上,进入其中的bin目录,cmd中执行 elasticsearch.bat原创 2018-01-10 09:37:34 · 905 阅读 · 0 评论 -
python中列表的常用方法
li=[1,2,3,4,5]dir() 这个方法查看属性跟方法,输出列表help()li.append() #将对象添加在末尾li.clear() 清空列表li.copy() copy一个列表 (copy方法会变更一个变量的内存地址)id() 表示的是 某个变量的 id 地址li.count(1) 这个函数的含义是表达统计参数出现的次原创 2017-12-06 21:54:47 · 317 阅读 · 0 评论 -
python3 安装 Beautifulsoup4结果发现版本不兼容的问题解决
注意我的python的windows安装目录为:D:\Python37-32python进行爬虫时引用到BeautifuSoup开源的xml解析工具。以下为beautifulsoup4的windows的安装步骤: 首先去网站下载beautifulsoup压缩包(beautifulsoup4-4.6.0.tar.gz)原创 2017-12-15 12:48:19 · 5223 阅读 · 0 评论 -
django为了解决同一个项目不同app下Templates冲突的解决方法
django中查找TemplatesDjango按照 INSTALLED_APPS中添加的顺序查找Templates不同的APP下Templates目录中的同名.html文件会造成冲突所以在template下新建html文件的时候,需要再建立一层目录,目录的名称是该app的名称,防止冲突的发生目录结构如下面截图所示:注意blog和blog2两个app中的te原创 2017-12-10 02:45:43 · 3438 阅读 · 1 评论 -
django项目目录介绍
首先我们先要创建一个django项目:步骤如下:找到安装的Django目录中的 django-admin.py文件执行下面的代码,鼠标右键在此处打开命令行然后输入下面的命令:python django-admin.py startproject myblobcd myblobpython manage.py startapp myblob执行完成下面的三个步骤之后就原创 2017-12-10 00:58:04 · 1099 阅读 · 0 评论 -
python中的类专有的方法
类的专有方法:__init__ : 构造函数,在生成对象时调用__del__ : 析构函数,释放对象时使用__repr__ : 打印,转换__setitem__ : 按照索引赋值__getitem__: 按照索引获取值__len__: 获得长度__cmp__: 比较运算__call__: 函数调用__add__: 加运算__sub__: 减运算_原创 2017-12-02 19:54:54 · 1319 阅读 · 0 评论 -
一键解决您scrapy安装不上的问题,包括lxml的难题,非常好使
网上有许多关于windows的安装scrapy的教程都十分的繁琐,请看我给大家分享一个十分简单的教程,一步搞定安装超级简单的安装下载地址官方(下载速度回比较慢): https://www.continuum.io/downloads清华镜像(国内地址,速度较快): https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/原创 2017-12-19 23:07:04 · 1798 阅读 · 0 评论 -
python深度优先与广度优先的遍历算法比较
在实现爬虫遍历页面url的算法的时候,我们需要使用到深度优先和广度优先的遍历算法,例子:现在我们要使用深度优先算法进行遍历下面结构的一棵树结构深度优先: 将一个子节点的所有内容全部遍历完毕之后再去遍历其他节点实现的 (递归实现)上面的树通过深度优先遍历出来的结果是: A-->B-->D-->E-->I-->C-->F-->G-->H使用p原创 2017-12-19 15:41:01 · 4706 阅读 · 0 评论 -
xpath常用介绍
介绍下什么是xpath:1.xpath使用路径表达式在xml和html中进行导航2.xpath中包含了一些标准函数库3.xpath是一个w3c的标准xpath中可以像css的选择器一样使用,能够在页面页面当中选择出来想要选择的元素下面列出了一些xpath的常用的选择:article :选取所有的article元素的所有子节点/article :选取根元素原创 2017-12-20 15:56:10 · 320 阅读 · 0 评论 -
python中实现一个socket和server的程序
server服务端如下:#!/usr/bin/python3# 文件名:server.py# 导入 socket、sys 模块import socketimport sys# 创建 socket 对象serversocket = socket.socket( socket.AF_INET, socket.SOCK_STREAM) # 获取原创 2017-12-03 21:00:09 · 509 阅读 · 0 评论 -
django中admin管理的使用和配置
windows文件夹打开django里面的script这个文件夹,里面有一个文件django-admin.py执行下面的命令python django-admin.py startproject aaatest 创建一个django项目cd aaatest 进入项目的根目录python manage.py startapp bbbtest 创建一个djan原创 2017-12-12 14:32:06 · 2054 阅读 · 0 评论 -
windows操作系统安装python和django
第一步:先到python的官方网站下载python官网在这里:https://www.python.org/downloads/2.下载完成之后打开msi的安装包一路点击下一步,安装到磁盘中本人安装在这个路径下:3.配置好python的环境变量:如果学过java的同学这里配置环境变量就是相当的easy计算机右键-->属性-->高级系统设置-->环境变量-->找到原创 2017-12-05 12:27:35 · 240 阅读 · 0 评论 -
python中遍历list的三种方式
#方法1print '遍历列表方法1'for i in list:print("序号:%s 值:%s" % ( list.index(i)+1 , i ))#方法2print '遍历列表方法2'for i in range(len(list)): print("序号:%s 值:%s" % ( i+1,list[i] )#方法3print '原创 2017-12-06 12:21:52 · 24942 阅读 · 0 评论 -
python安装beautifulSoup
Beautiful Soup 是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航(navigating),搜索以及修改剖析树的操作。它可以大大节省你的编程时间。美中不足的是我们需要自己去安装这个模块,下面讲一下他的安装步骤。工具/原料beautifulso原创 2017-12-15 12:42:09 · 686 阅读 · 0 评论 -
centos6.9安装python3.6.3
CENTOS6.9安装PYTHON-3.6.3CentOS6.9上默认安装的python版本是2.6的。因为系统自带的python会被系统很多软件环境依赖使用,所以不要卸载原来的Python版本,根据需要进行安装新版本即可,本人此处安装的是3.6.3的版本。详见具体步骤: 1、下载Python安装包,在这里提供下下载链接,方便大家下载:https://www.python.org/ftp/pyth...原创 2018-03-07 18:09:57 · 583 阅读 · 0 评论