![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
python
python基础语法
向岸看
deeplearning小学生
展开
-
scrapy-redis分布式爬虫学习记录
与scrapy框架不同的是,scrapy-redis框架中request链接不再交付于调度器(Scheduler)中url队列,而是保存在redis数据库中,再由过滤器进行过滤,符合要求的请求链接再交付于调度器(Scheduler),此外redis数据还可以存储到本地数据库(item processes)。从(2) 开始重复,直到调度器中没有更多的Request为止。(4) 当调度条件满足时,调度器会从Redis中取出Request,交给引擎,引擎将这个Request通过下载中间件转发给下载器。原创 2023-02-22 12:23:53 · 1357 阅读 · 0 评论 -
Scrapy 2.5 中文官方文档
Scrapy 2.5 文档。原创 2023-02-10 22:02:51 · 695 阅读 · 0 评论 -
xpath详解
etree对象.xpath('xpath路径') 用于精确提取某一标签值。etree.parse('本地文件路径') 用于解析本地文件。etree.HTML(respond.read().decode('utf-8')) 用于解析服务器响应的数据。注:etree导入报错,属于pycharm自身的问题,运行无碍。导入lxml.etree。etree的属性和方法。原创 2023-02-04 00:34:16 · 137 阅读 · 0 评论 -
scrapy框架学习总结
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。原创 2023-02-03 02:31:09 · 1541 阅读 · 0 评论 -
2022-01-05 fastapi框架
fastapi框架一、安装fastapipip install uvicornpip install fastapi二、fastapi框架搭建导入模块->创建fastapp框架对象->@app路由装饰器收发数据->运行服务器from fastapi import FastAPIfrom fastapi import Responseimport uvicorn#创建fastapp框架对象app=FastAPI()#@app路由装饰器收发数据@app.get("原创 2022-01-05 19:30:22 · 756 阅读 · 1 评论 -
2021-08-15 python 利用爬虫实现开心词场的生词本导入
#利用爬虫实现开心词场的生词本导入#pip install seleniumfrom selenium import webdriverimport time#(1)声明浏览器,火狐浏览器#新建一个webdriver对象driver=webdriver.Firefox()#登录def login(): #(2)打开login网址,<webdriver对象>.get(url) url_login='https://login.hujiang.com/?url原创 2021-08-15 19:26:45 · 250 阅读 · 0 评论 -
2021-08-07 python的安装与配置
python下载https://www.python.org/downloads/release/python-371/添加环境变量此电脑->属性->高级系统设置->环境变量,在系统变量中添加:python的安装目录,如:D:\python\验证在cmd中输入python,出现版本号...原创 2021-08-07 15:44:44 · 110 阅读 · 0 评论 -
2021-08-07 利用爬虫实现网页的自动登录(selenum,webdriver)
#利用爬虫实现网页的自动登录#pip install seleniumfrom selenium import webdriverimport time#(1)声明浏览器#新建一个webdriver对象driver=webdriver.Firefox()#(2)打开login开网站,<webdriver对象>.get(url)url_login='https://www.schoopia.com/login'driver.get(url_login)#(3)缓冲t原创 2021-08-07 00:29:49 · 622 阅读 · 0 评论 -
2021-08-06 python ‘美味汤‘的用法
beautifulsoup的用法(1)创建一个requests类import requestsfrom bs4 import BeautifulSoup#(1)创建一个requests类url='https://www.shanghairanking.cn/rankings/bcmr/2021/080901'r=requests.get(url)try: r.raise_for_status() r.encoding=r.apparent_encoding #pri原创 2021-08-06 14:46:07 · 320 阅读 · 0 评论 -
2021-08-05 python爬虫
python爬虫(1)安装requests库pip install requests检查是否安装成功pip list(2)爬取图片import requestspath='E:\\爬虫.jpg'url='http://blog.02868.cn/zb_users/upload/2019/10/20191018113233Python-Crawler.png'#获取html网页,<Response对象名>=requests.get(url)r=requests.ge原创 2021-08-05 18:55:35 · 176 阅读 · 0 评论 -
2021-08-04 python 上下文管理器with
上下文管理器with(1)使用with语句进行上下文管理with语句把代码块放入with语句体中执行,with结束后,自动完成内存清理工作,无须手动干预(2)使用上下文管理器with的原因:读写文件时,应该优先考虑采用上下文管理器with语句。如果文件读写时产生错误,文件就不能正确关闭,而with语句可以自动管理资源,确保文件使用过程中是否发生异常,都会执行必要的清理操作,释放内存资源。(3)with语法格式:with open(文件名,操作模式) as 文件对象名(with使用open(原创 2021-08-04 18:42:43 · 240 阅读 · 0 评论 -
2021-08-04 python异常处理
异常处理:try:<语句块1>except <异常类型>:<语句块2>(1)指定异常类型此时except,只能处理指定异常类型try: num=eval(input('请输入一个整数:')) print(num**2)except NameError: print('输入错误,发生NameError')异常的高级用法(2)没有指定任何异常类型最后一个except语句没有指定任何类型,表示它对应的语句块可以处理任何所有其他异常原创 2021-08-04 17:13:13 · 241 阅读 · 0 评论 -
2021-08-03 python 使用pandas读写Excel文件
转载:(使用pandas读写Excel文件.https://www.cnblogs.com/ymsong/p/12288519.html)原创 2021-08-03 22:06:53 · 93 阅读 · 0 评论 -
2021-08-03 python Excel文件的读写
#Excel文件的组成#book(工作簿)->sheet(工作表)->row/column(行:1-n/列:A-Z)->cell(单元格)#(0)安装有关库#在cmd中安装python-xlwt(写入Excel)库,pip install xlwt#安装python-xlrd(读取Excel)库,pip install xlrd#使用pip list检查是否安装成功#(1)创建Excel文件,sheetimport xlwtstus=[['姓名','年龄','性别','原创 2021-08-03 21:59:31 · 92 阅读 · 0 评论 -
2021-08-02 python Word文档的读写(二)
二、打开word文件,添加段落,获取段落内容##(2)打开word文件file=docx.Document('E:\岳飞.docx')#创建段落列表,每一个元素为一个段落对象,file.paragraphs#获取段落数l=len(file.paragraphs)print(l)#获取第一段的内容,file.paragraphs[段号].textprint(file.paragraphs[0].text)#在第二段之前插入一段,file.paragraphs[1].insert_par原创 2021-08-02 23:00:15 · 126 阅读 · 0 评论 -
2021-08-01 python Word文档的读写(一)
一、使用python新建一个文档#在cmd中使用pip install python-docximport docx##创建word文档的基本步骤##(1)新建一个文档对象doc=docx.Document()#插入标题,<文档对象>.add_heading(标题,n),n级标题doc.add_heading('《满江红·怒发冲冠》',0)#插入段落,<文档对象>.add_paragraph(文本内容)doc.add_paragraph('怒发冲冠⑵,凭阑处⑶原创 2021-08-01 23:05:42 · 112 阅读 · 0 评论 -
2021-07-31 python 文本文档的读写
#文件的打开 <变量名>=open(<文件名>,<打开模式>)#open() 函数用于打开一个文件,创建一个 file 对象#'r',只读模式,如果文件不存在,返回异常op=open('E:\\a.txt','r')op.close()#'w',覆盖写模式,文件不存在则创建,存在则完全覆盖源文件#op=open('E:\\a.txt','w')op.close()#'x',创建写模式,文件不存在则创建,存在则返回异常FileExistsError#.原创 2021-07-31 21:48:52 · 129 阅读 · 0 评论 -
2021-07-30 python函数的定义
#import需要通过点的方式来引用模块中的元素import turtle#from…import是将原模块中的变量直接引入到现有空间,不需要通过点的方式来引用#但是from…imort导入的这种方式会存在变量名冲突的问题from random import *def drawcircle(x,y,r,color): turtle.pu() turtle.goto(x,y) turtle.pencolor(color) turtle.down() turt原创 2021-07-30 22:14:58 · 81 阅读 · 0 评论 -
2021-07-29 python集合以及集合的10种操作符和10个操作函数或方法
#集合S={'zhangsan','lisi','wangwu','houliu'}#set(),使用函数生成集合T=set('zhangsan,lisi,wangwu'.split(','))#集合中10种操作符#(1) S-T,返回一个新集合,包括在集合S中但不在集合T中的元素print(S-T)#(2) S-=T,更新集合s,包括在集合S中但不在集合T中的元素S-=Tprint(S)#(3) S&T,返回一个新集合,包括同时在集合S和T中的元素S={'zhangsa原创 2021-07-29 20:49:09 · 252 阅读 · 0 评论 -
2021-07-29 python字典
# d = {key1 : value1, key2 : value2, key3 : value3 }d={'法国':'巴黎','中国':'北京','英国':'伦敦'}# 修改键值对d['法国']='bali'# 添加键值对d['德国']='德黑兰'# (1)d.get(key, default=None),返回指定键的值,如果键不在字典中返回 default 设置的默认值a=d.get('法国')# (2)in,如果键在字典dict里返回true,否则返回falseprint('法国'原创 2021-07-29 00:02:44 · 70 阅读 · 0 评论 -
2021-07-28 python列表
#列表s1 = [1,2,3,4,5,6,7]#list()函数,字符串转换为列表str="hello world"str=list(str.split(" ")) #split()函数置顶分割符#(1)尾部添加单个元素s1.append(7)#(2)尾部添加多个元素s1.extend(["8",9])#(3)合并列表s2=["张三","李四","王五"]s1.extend(s2)#(4)插入元素s1.insert(10,"10")#(5)查看下标a1=s1.index(s原创 2021-07-28 17:57:28 · 78 阅读 · 0 评论 -
2021-07-28 python序列类型和通用的操作符和函数
#字符串 strs='I just wanna run 't='lemon tree'#元组 tuple,元组不能二次赋值,相当于只读列表tu=('I','just','wanna','run')#列表 listlist=['I','just','wanna','run']#12个通用的操作符和函数# in,如果x是s的元素,返回True,否则返回Falseprint('I' in s)# not in,如果x不是s的元素,返回True,否则返回Falseprint('I' n原创 2021-07-28 15:43:33 · 1234 阅读 · 0 评论 -
2021-07-27 Python判断语句与循环语句
一、判断语句:#(1)if 判断条件: 语句块1 else: 语句块2a = int(input("请输入一个整数:"))if a>=5: print("a大于等于5")else: print("a小于5")#(2)if 判断条件1: 语句块1 elif 判断条件2: 语句块2 else: 语句块3score = eval(input("请输入成绩:"))if 0<= score < 60: print("成绩不及格!")elif scor原创 2021-07-27 16:05:01 · 83 阅读 · 0 评论 -
2021-07-22 python函数类型
# 1.自定义函数 使用def关键字定义#(1)def hello(): print("hello world!") hello()#(2)def sum(a,b): return a+bprint(sum(1,2))# 2.内置标准函数# (1)input() 输入函数name=input("请输入一个姓名:")# (2)int() 整数类型转换a=int(input("请输入一个整数:"))# (3)eval() 类型转换函数b=eval(i原创 2021-07-22 21:39:45 · 67 阅读 · 0 评论 -
2021-07-21 python字符串截取
python字符串截取s="hello world "s1="i say "#字符串连接s3=s1+sprint(s3+'\n')#字符串重复ss=3*sprint(ss+'\n')#字符串截取print(s)print(s[1])print(s[-2])#(1) 变量[头下标:尾下标]print(s[1:3])#头下标默认为0print(s[:3])#尾下标默认为-1print(s[:])#(2)变量[头下标:尾下标:截取步长间隔]print(s[::2]原创 2021-07-21 21:52:40 · 121 阅读 · 0 评论