python基础
阿豪963
这个作者很懒,什么都没留下…
展开
-
第二篇 python基础序列之-----字符串(2)
1 字符串模板1.1 简单的字符串模板#设置字符串模板sTemp="你好,我叫%s,我今年%d岁"#使用元组为字符串模板赋值sValue=("小明",6)#使用%将字符串模板和值组合生产新的字符串sStr=sTemp%sValueprint(sStr)1.2 使用Template#导入string中Template函数from string import Template#通过模板函数生成模板对象...原创 2018-05-01 13:29:30 · 290 阅读 · 0 评论 -
pycharm安装scrapy报错的解决
python_3.6.1,64位。 在windows下,在dos中运行pip install Scrapy报错:building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://la...转载 2018-05-14 13:53:04 · 3108 阅读 · 0 评论 -
第二篇 python基础序列之-----字符串(1)
1 python中字符串的定义 可以使用英文的单引号、双引号定义或三个引号(英文的单引号或双引号)字符串x='abc'y="abc"注意:字符串中出现的特殊字符需要使用转义字符处理\x='abc\'d' #经过转义字符处理后变成字符串常量print(x)结果abc'd最无厘头的字符串合并str="hello""world"print(str)2 str和repr函数 str函数,如果出现转义字...原创 2018-04-29 14:05:03 · 219 阅读 · 0 评论 -
Scrapy运行ImportError: No module named win32api错误
windows系统上出现这个问题的解决需要安装Py32Win模块,但是直接通过官网链接装exe会出现几百个错误,更方便的做法是pip install pypiwin32转载 2018-05-14 16:48:52 · 141 阅读 · 0 评论 -
第八章 元类或动态创建类
1 类模板操作class obj: pass# print(obj)x=obj()# print(x)#例1 类的内省#通过类添加属性obj.xname='张三'b=hasattr(x,'xname')print(b)y=obj()b=hasattr(x,'xname')print(b)# 通过类名赋值给另一个变量xx=obj#通过xx创建类对象v1=xx()print(v1.xname) ...原创 2018-05-08 10:59:58 · 176 阅读 · 0 评论 -
scrapy代码案例
1 记录基本响应代码<div class="article-title-box"> <span class="article-type type-2 float-left">转</span> import scrapyclass MyblobSpider(scrapy.Spider): name = 'mybl...原创 2018-05-14 21:48:22 · 882 阅读 · 0 评论 -
第九章 python正则表达式
什么是正则表达式正则表达式就是记录文本规则的代码基本用法\: 将下一个字符标记为一个特殊字符.d # 普通字符\d # 0-9 正整数s # 普通字符\s # 空白符,比如\t,\n定界符^: 匹配输入字符串的开始位置 $: 匹配输入字符串的结束位置正则: ^123.*123$ # 匹配123hello123\b: 匹配一个单词边界,也就是指单词和空格间的位置teacher Li正则: er\b ...转载 2018-05-08 19:18:02 · 278 阅读 · 0 评论 -
第十章 python的css
什么是css选择器?一种快速定位元素的方法为什么要学习css选择器?beautifulsoup scrapycss选择器的基本用法★☆☆☆☆*举例: *解释: 选择所有元素.class举例: .intro解释: 选择所有class="intro"的元素#id举例: #firstname解释: 选择所有id="firstname"的元素element举例: p解释: 选择所有<p...转载 2018-05-08 19:36:35 · 132 阅读 · 0 评论 -
十一章 xpath
什么是xpathXML路径语言,拥有在数据结构树中查找节点的能力被开发者当作小型查询语言来使用XPath通过元素和属性进行导航为什么学习xpath支持html比正则表达式简单比正则表达式强大scrapyxpath的基本概念节点父(Parent)子(Children)同胞(Sibling)先辈(Ancestor)后代(Descendant)路径表达式XPath 使用路径表达式在 XML 文...转载 2018-05-08 20:04:38 · 259 阅读 · 0 评论 -
允许远程连接redis
1 修改redis.conf配置文件这个文件需要修改两个地方打开redis.conf文件 按crrl+F查询,找到bind 127.0.0.1,把这行前面加个#注释掉再查找protected-mode yes 把yes修改为no,然后:wq保存文件,把服务关掉src/redis-cli -h 127.0.0.1 -p 6379 shutdown2 注意如果使用scrapy-redis,不允许...原创 2018-05-16 21:56:48 · 1394 阅读 · 1 评论 -
requests基本应用
import requestsfrom bs4 import BeautifulSoupres=requests.get("http://war.163.com/")res.encoding='gbk'coding=res.encodingcont=res.textsoup = BeautifulSoup(cont, 'html.parser')#使用select找出含有h1标签的元素header...原创 2018-06-07 23:43:39 · 327 阅读 · 0 评论 -
第二篇 python基础序列之-----列表和元组
1 python中的容器的概念python中的容器 |-----序列(用索引标识每个元素) | |-----列表、元组、字符串 |-----映射(每个元素包含key) | |-----字典 |-----集合 |------Set 注意:列表和元组的不同?列表可以...原创 2018-04-29 11:56:37 · 529 阅读 · 0 评论 -
第一篇 python基础之-----算术运算
1 python支持的算术运算有+ - * / %(取模运算)2 注意python支持整除运算符例如 print(7//3) 结果:23 幂运算 print(3**2)结果:9 思考: 计算 -3**3和(-3)**2结果分别是?4 简单算术函数 print(7//3)from math import sqrtp=sqrt(7)print(p)结果:22.645...原创 2018-04-28 23:46:14 · 362 阅读 · 0 评论 -
第一篇 python基础之-----数的进制
python支持数值常量,对应数值常量可以用如下的方式,对格式进行进一步的控制:%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+,-,' '或0。默认表示右对齐。-表示左对齐。' '为一个空格,表示在正数的左侧填充一个空格,从而与负数对齐。0表示使用0填充。width表示显示宽度precision表示小数点后精度...原创 2018-04-28 22:51:46 · 111 阅读 · 0 评论 -
第三篇 映射类型
1 映射类型中的字典python中通过名称访问各个值的数据结构称为映射;字典是python唯一的内置映射类型(key-value),其中key可以是数字、字符串或元组。1.1 字典的定义#创建字典data={'a11':1,'a22':2,'a22':3}#使用dict创建字典xval=[('xname','John'),('xage',38)]xdata=dict(xval)print(xdat...原创 2018-05-02 20:21:56 · 1981 阅读 · 0 评论 -
第四章 流程控制
1 print使用sep参数为指定显示连接print('hello','ok',sep=',')2 导入重命名import 库 as 别名from 库 import 函数,函数,...例#导入库的重命名# import random as suiji# x=suiji.randint(3,4)# print(x)from random import randint as wcx=wc(3,8)pr...原创 2018-05-02 23:49:12 · 149 阅读 · 0 评论 -
第五章 自定义函数
1 自定义函数 def 函数名([参数]): 语句.... return[返回值]注意: 1)自定义函数中语句和return的缩进; 2) 如果函数没有返回值,则返回None;2 为函数写文档def 函数名(..): '自定义的函数文档说明' .......获取函数文档函数名.___doc___注意:python提供了help(函数名)获取文档帮助3 ...原创 2018-05-03 22:34:21 · 343 阅读 · 0 评论 -
Python3使用Cookie-模拟登陆
一、为什么要使用Cookie Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。 比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容,登陆前与登陆后是不同的,或者不允许的。 使用Cookie和使用代理IP一样,也需要创建一个自己的opener。在HTTP包中,提供了cookiejar模块...转载 2018-05-16 22:48:17 · 7268 阅读 · 1 评论 -
第十二章 requests部分
下面我们开始介绍requests库。requests库是一个常用的用于http请求的模块,它使用python语言编写,可以方便的对网页进行爬取,是学习python爬虫的较好的http请求模块。一、 requests模块的安装首先我们要继续requests模块的安装。1、 pip命令安装在windows系统下只需要在命令行输入命令 pip install requests 即可安装。在 linux ...转载 2018-05-10 22:33:59 · 236 阅读 · 0 评论 -
第十三章 Re和正则
在python3爬虫(一)中,我总结了requests库的相关方法和一些使用举例,通过requests模块,我们可以获取网页的html或者其他形式的内容,但是这些内容太过于繁杂,所以我们要对这些内容进行处理和提取,比如如果我们想要下载网页中存在的图片,那我们需要找出所有内容中以.jpg或者.png等结尾的字符串并提取出来。1、正则表达式正则表达式就是一组可以匹配一类字符串的表达式。通过提取网页中与...转载 2018-05-10 23:05:19 · 302 阅读 · 0 评论 -
第十四章 一段代码
import reimport requests# 获取并检验要爬取的网站def url_get(): url=input("please input the url:") try: kv={'user_agent':'Mozilla/5.0'} requests.get(url,headers=kv) return url except...转载 2018-05-10 23:24:50 · 165 阅读 · 0 评论 -
第六章 类
1 创建类__metaclass__ = type # 如果你使用的是Python 2,请包含这行代码class stu: def setName(my,xage): my.name=xage def getName(my): return my.name def info(my): print("我是{}".format(my.name...原创 2018-05-05 11:30:21 · 101 阅读 · 0 评论 -
第七章 异常处理
1 python中异常处理1.1 程序中的异常程序中的出现的异常会终止程序的继续运行,如x=8/0print(x)print('over...')结果引发了ZeroDivisionError: division by zero错误,终止程序继续运行1.2 raise语句当输入数据违反业务规则时,可以使用raise语句手工抛出错误,如xage=input('请输入年龄')if int(xage)&l...原创 2018-05-06 11:16:26 · 256 阅读 · 0 评论 -
第一篇 python基础之-----运行的三种方式
学习python,我们首先了解它的三种运行方式(安装太过简单略)第一种方式:使用python解析器的交互式方式例如: 安装完成python3.x.x后,在终端运行python进入交互界面,输入最SB的“hello world”吧; 第二种方式:使用pycharm创建文件方式(pycharm安装配置、创建工程方式略)运行第三种方式:以脚本方式在center中运行 首先编写脚本,如下注意,上面...原创 2018-04-28 21:46:43 · 6189 阅读 · 0 评论 -
scrapy的小爬虫
Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。 Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用...转载 2018-06-08 00:19:22 · 230 阅读 · 0 评论