- 博客(20)
- 收藏
- 关注
RSS订阅原创 scrapy-redis分布式爬虫 部署
scrapy-redis分布式爬虫 redis是Nosql数据库中使用较为广泛的非关系型内存数据库，redis内部是一个key-value存储系统。 多种类型 string(字符串)、list(列表)、set(集合)、zset(有序集合)和hash（哈希类型 Redis基于内存运行并支持持久化的NoSQL数据库，读写的效率高。 Redis不仅仅支持简单的key-value类型的数据，同时还提供...
2019-09-22 20:13:47
224
原创 线程
线程 1.线程是cpu执行的最基本单位 2.线程的执行是无序的 3.同一线程之间的资源是共享的(GIL解释器) 4.线程处理IO密集型任务 GIL 全局解释器锁 因为Python解释器 存在GIL全局解释器 保证 同一时刻凡有一个线程在执行 所以相当于单核执行 线程不能充分利用CPU 使用时导入模块 import threading threading.Thread() target:线程要执行的...
2019-09-10 20:13:39
122
原创 BeautifulSoup4解析库 Pyquery解析库
BeautifulSoup4解析库 beautiful soup：是python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据 解析时依赖解析器： Python标准库 BeautifulSoup(markup,‘html.parser’) Python内置标准库，执行速度适中，容错能力强 lxml HTML 解析器 BeautifulSoup(mark...
2019-09-10 20:08:44
161
原创 xpath
Xpath XPath即为XML路径语言（XML Path Language），它是一种用来在XML文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行搜索，同样也适用于HTML。 XML XML 是一种标记语言，很类似 HTML XML 的设计宗旨是传输数据，而非显示数据 XML 的标签需要我们自行定义。 路径表达式 nodename 选取此节点的所有子节点。 / 从当前节点选取直...
2019-09-10 08:15:25
134
原创 resquests
request模块 1.Python的标准库中 urllib 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，Requests 继承了urllib的所有特性，并且API使用更加方便，可以简化我们的代码 get请求 url = “https://xueqiu.com/v4/statuses/public_timeline_by_category.json?” par...
2019-09-09 18:41:27
460
原创 爬虫
urllib 1.get请求 设置目标url 如果请求需要添加请求头,urlopen并没有headers参数来设置请求头 data=None:默认为None,表示发起的是一个get请求, 反之,不为None,表示发起的是一个post请求 timeout: 设置请求的超时时间(s) context=None, 一般设置为一个ssl的对象 #根据url构建一个请求对象 req = request.R...
2019-09-08 18:58:51
143
原创 python高级ShoppingSystem
1、商城类 属性：商品列表及单价、货款 方法：售出商品 2、仓库类 属性：商品列表及对应库存 方法：出货、进货 3、采购员 属性：货款、采购列表及单价 方法：进货 class Shop: def init(self,store,procurement): self.shopList=[{‘name’:‘华为’,‘price’:4498} ,{‘name’:‘苹果’,‘price’:6698} ,{...
2019-01-07 08:04:39
189
原创 继承，父类，init.new
继承:在程序中，继承描述的是事物之间的所属关系， 首先定义父类，再定义子类，然后再由子类继承父类 虽然子类没有定义init方法，但是父类有，所以在子类继承父类的时候这个方法就被继承了，所以只要创建Bosi的对象，就默认执行了那个继承过来的init方法 总结 子类在继承的时候，在定义类时，小括号()中为父类的名字 父类的属性、方法，会被继承给子类 python中是可以多继承的 父类中的方法、属性，子...
2019-01-06 23:15:46
277
原创 ==is和拷贝
1、浅拷贝 浅拷贝是对一个对象的顶层拷贝 通俗的理解就是：拷贝了引用，并没有拷贝内容 2.深拷贝 深拷贝是对于一个对象所有层次的拷贝（递归） 3、拷贝的其他方式 浅拷贝对不可变类型和可变类型的copy不同 切片表达式可以赋值一个序列 字典的copy方法可以拷贝一个字典 有些内置函数可以生成拷贝(list) copy模块中的copy函数 ==和is is 是比较两个引用是否指向了同一个对象（引...
2019-01-06 23:07:12
114
原创 函数
1.函数:所谓函数，就是把 具有独立功能的代码块 组织为一个小模块，在需要的时候 调用 2.四种函数类型 无参数，无返回值 def printMenu(): print(’--------------------------’) print(’ xx涮涮锅 点菜系统’) print(’’) print(’ 1. 羊肉涮涮锅’) print(’ 2. 牛肉涮涮锅’) print...
2019-01-06 21:46:21
177
原创 进制转换
1.进制： 十进制系统： 十进制数制系统包括 10 个数字：0、1、2、3、4、5、6、7、8、9 二进制系统： 信息的存储、处理、传送 二进制包括两个符号：0和1 八进制系统： 书写方便 八进制基是8，使用的符号为：0、1、2、3、4、5、6、7 十六进制系统： 书写方便 十六进制：0、1、2、3、4、5、6、7、8、9、A、 B、 C、D、 E、 F 二、进制转换： 1、十进制转二进制 15...
2019-01-06 21:37:40
1187
原创 标示符与变量命名
1 标识符 标示符就是程序员定义的 变量名、函数名 标识符；可以由数字，字母和下划线组成 不能以数字开头 不能和关键字重复名 2 关键字 关键字 就是在 Python 内部已经使用的标识符 关键字 具有特殊的功能和含义 开发者 不允许定义和关键字相同的名字的标识符 3 变量的命名规则 命名规则 可以被视为一种 惯例，并无绝对与强制 目的是为了 增加代码的识别和可读性 在python中标识符是区分大...
2019-01-06 21:32:57
504
原创 学生管理系统
def menuInfo(): print(’*'30) print(’ 学生管理系统 ') print(‘1.添加学生信息’) print(‘2.删除学生信息’) print(‘3.修改学生信息’) print(‘4.查询学生信息’) print(‘5.显示学生信息’) print(‘6.退出系统’) print( ''30) students=[] while True: menuI...
2019-01-06 20:27:31
281
1
原创 ATM自动取款机
登陆账号密码，账号密码正确登陆成功，不正确登录失败，且有三次机会 取款机功能 1.取款 2.查询 3.存款 4.退卡 account = ‘123456’ password = ‘123456’ my_money = 100 add_money = 0 def modify_pw(): count = 1 while count <= 3: myAccount = input(‘请输入账号...
2019-01-06 20:25:38
366
原创 循环
循环 1.break 某一条件满足时，退出循环，不再执行后续重复的代码 continue 某一条件满足时，不执行后续重复的代码 break 和 continue 只针对 当前所在循环 有效 2.while 循环嵌套 while 条件 1: 条件满足时，做的事情1 条件满足时，做的事情2 条件满足时，做的事情3 …(省略)… while 条件 2: 条件满足时，做的事情1 条件满足时，做的事情2 条...
2019-01-06 20:16:20
210
原创 python初级
1.算数运算符： 在 Python 中 * 运算符还可以用于字符串，计算结果就是字符串重复指定次数的结果 In [1]: “你好” * 10 Out[1]: ‘你好你好你好你好你好你好你好你好你好你好’、 2.算数运算符的优先级： 先乘除后加减 同级运算符是 从左至右 计算 可以使用 () 调整计算的优先级 3.计算机三大件： （1） CPU 中央处理器，是一块超大规模的集成电路 负责 处理数据／...
2019-01-06 20:05:02
152
原创 python初级
练习题 定一个学生类。有下面的类属性： 1 姓名 2 年龄 3 成绩（语文，数学，英语)[每课成绩的类型为整数] 类方法： 1 获取学生的姓名：get_name() 返回类型:str 2 获取学生的年龄：get_age() 返回类型:int 3 返回3门科目中最高的分数。get_course() 返回类型:int class Student(object): def init(self, name...
2019-01-03 16:17:22
447
原创 python初级
人生苦短，我用 Python —— Life is short, you need Python Python是一种编程语言，它有对象、模块、线程、异常处理和自动内存管理。 它简洁、简单、方便、容易扩展，有许多自带的数据结构，而且它开源。 1. Python 源程序就是一个特殊格式的文本文件，可以使用任意文本编辑软件做 Python 的开发 2. Python 程序的 文件扩展名 通常都是 .py...
2019-01-03 16:09:40
247
原创 猜数字
学习了python 电脑随机数字 人来猜 ‘ import random computer = random.randint(1,100) for i in range(1,11): person = int(input(‘输入一个数字:’)) if person &amp;gt; computer: print(‘大了’) elif person == computer: print(‘猜中了’) br...
2018-12-02 20:32:28
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人