![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
Shao0000
这个作者很懒,什么都没留下…
展开
-
Matplotlib——饼图
import matplotlib.pyplot as plt# 数据list1 = ["aaa", "bbb", "ccc", "ddd", "eee"]list2 = [33, 66, 18, 60, 51]# 创建画布plt.figure(figsize=(20, 10), dpi=100)# 绘制饼图plt.pie(x=list2, labels=list1, autopc...原创 2019-10-09 10:48:01 · 188 阅读 · 0 评论 -
tornado---接口调用顺序
接口调用顺序:没有错误:# 接口调用顺序(没有错误)class BBB(tornado.web.RequestHandler): # 参数初始化处理 def initialize(self): print("我是initialize") # 预处理,反爬虫。。。 def prepare(self): print("我是prep...原创 2018-12-16 21:01:16 · 383 阅读 · 0 评论 -
tornado---tornado的请求与响应:
tornado的请求与响应:server.py:# tornado的基础web框架模块# tornado核心io循环模块,封装了linux的epoll和kqueue,是tornado高效的基础import tornado.webimport tornado.ioloopimport tornado.httpserverimport tornado.options# 导入参数fro...原创 2018-12-14 16:42:36 · 524 阅读 · 0 评论 -
tornado---tornado项目结构:
tornado项目模板:整体结构:server.py:# tornado的基础web框架模块# tornado核心io循环模块,封装了linux的epoll和kqueue,是tornado高效的基础import tornado.webimport tornado.ioloopimport tornado.httpserverimport tornado.options# 导入参...原创 2018-12-14 16:35:07 · 1111 阅读 · 0 评论 -
爬虫---设置handler:
设置handler:from urllib import request, parseurl = "https://fanyi.baidu.com/v2transapi"headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chr...原创 2018-12-07 09:22:48 · 282 阅读 · 0 评论 -
爬虫---爬取80s网站6页(所有)的喜剧电影2:
爬取80s网站6页(所有)的喜剧电影2:以下是在创建的scrapy项目的中的更改:在settings.py中:# 1.伪装成浏览器USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'...原创 2018-12-06 21:57:00 · 1949 阅读 · 0 评论 -
爬虫---爬取80s网站6页(所有)的喜剧电影:
爬取80s网站6页(所有)的喜剧电影:以下是在创建的scrapy项目的中的更改:在settings.py中:# 1.伪装成浏览器USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'...原创 2018-12-06 21:51:28 · 2012 阅读 · 0 评论 -
tornado---简单的tornado(2):
简单的tornado(2):一:# tornado的基础web框架模块# tornado核心io循环模块,封装了linux的epoll和kqueue,是tornado高效的基础import tornado.webimport tornado.ioloopimport tornado.httpserverimport tornado.options# 定义参数tornado.op...原创 2018-12-13 14:56:00 · 126 阅读 · 0 评论 -
tornado---简单的tornado:
简单的tornado:一:# tornado的基础web框架模块# tornado核心io循环模块,封装了linux的epoll和kqueue,是tornado高效的基础import tornado.webimport tornado.ioloo# 类似于django中的视图class AAA(tornado.web.RequestHandler): # 处理get请求 ...原创 2018-12-13 14:55:23 · 156 阅读 · 0 评论 -
爬虫---爬小说案例:
爬小说案例:from urllib import requestimport requestsfrom bs4 import BeautifulSoupurl = "http://www.shicimingju.com/book/rulinwaishi.html"headers = {'Host': 'www.shicimingju.com', 'Connec...原创 2018-12-05 20:26:02 · 1902 阅读 · 0 评论 -
爬虫---解析内容(jsonpath)
解析内容(jsonpath):jsonpath使用方法:json:import json"""dump 把json字符串写入文件load 读取文件中的json对象dumps 把python对象转换为json字符串loads 把json字符串转换为python对象"""da_lao_list = { "stars": { "No1"...原创 2018-12-05 19:54:26 · 722 阅读 · 0 评论 -
爬虫---解析内容(xpath):
解析内容(xpath):str转换为Element对象:from lxml import etreetext = """<bookstore><book> <title lang="eng">Harry Potter</title> <price>29.99</price>原创 2018-12-05 19:53:12 · 248 阅读 · 0 评论 -
爬虫---解析内容(BeautifulSoup4):
解析内容(BeautifulSoup4):创建Beautiful Soup对象:# 创建 Beautiful Soup 对象soup = BeautifulSoup(html)# 打开本地 HTML 文件的方式来创建对象# soup = BeautifulSoup(open('index.html'))搜索文档树:1.find_all() :find_all(name, att...原创 2018-12-05 19:52:06 · 135 阅读 · 0 评论 -
tornado---tornado模板:
tornado模板:渲染:index.py:# 渲染class HomeHandler(tornado.web.RequestHandler): def get(self, *args, **kwargs): num1 = 100 dict1 = { "name": "shao" } self....原创 2018-12-17 15:14:05 · 171 阅读 · 0 评论 -
tornado---tornado数据库:
tornado数据库:db = pymysql.Connection(host="47.98.254.167", user="shao", password="1111", database="tornado_test1", charset="utf8", port=3306)...原创 2018-12-18 18:56:28 · 160 阅读 · 0 评论 -
Matplotlib——直方图
import randomimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号# 数据list1 = [random.random() * 100 fo...原创 2019-10-09 10:46:42 · 204 阅读 · 0 评论 -
Matplotlib——柱状图2
import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号# 数据list1 = ["aaa", "bbb", "ccc", "ddd", "eee"]list...原创 2019-10-09 10:44:58 · 173 阅读 · 0 评论 -
Matplotlib——柱状图1
import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号#数据list1=["aaa","bbb","ccc","ddd","eee"]list2=[22,33...原创 2019-10-09 10:43:35 · 114 阅读 · 0 评论 -
Matplotlib——数学函数图像
import numpy as npimport matplotlib.pyplot as plt# 准备x,y数据x = np.linspace(-1, 1, 1000)print(x)y = 2 * (x ** 2)a# 创建画布plt.figure(figsize=(20, 12), dpi=120)# 绘制图像plt.plot(x, y)# 添加网格plt.gri...原创 2019-10-09 10:42:11 · 226 阅读 · 0 评论 -
Matplotlib——散点图
import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号# 创建一个画布# 设置画布的大小和清晰度plt.figure(figsize=(10, 8), dp...原创 2019-10-09 10:40:13 · 99 阅读 · 0 评论 -
Matplotlib——折线图
import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号# 创建一个画布# 设置画布的大小和清晰度plt.figure(figsize=(10, 8), dp...原创 2019-10-09 10:30:56 · 94 阅读 · 0 评论 -
Matplotlib——入门
多的也不是介绍了,直接上代码。感觉这样直接明了。相关内容都会以代码的形式介绍。import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号# 创建一个画布# 设...原创 2019-10-09 10:29:20 · 84 阅读 · 0 评论 -
一.numpy①
一.numpy①文章中所有的都是在ipython环境下文章中的np是因为import numpy as np1.ndarray对象可以对数组的整块数据执行数学运算。dataarray([[ 0.9321, -0.321 , -0.3432], [ 0.5451, 0.2546, 0.9564]])data*10array([[ 9.321, -3.21 , -3.4...原创 2019-08-08 15:35:09 · 100 阅读 · 0 评论 -
再学爬虫---selenium:
再学爬虫—selenium:selenium是一个自动化测试工具,利用它可以驱动浏览器完成指定操作。使用之前要声明浏览器对象:from selenium import webdriverbrowser=webdriver.Chrome() #谷歌浏览器browser=webdriver.Firefox() #火狐浏览器browser=webdriver.Edge() ...原创 2019-04-21 14:15:38 · 130 阅读 · 0 评论 -
再学爬虫---urllib:
urllib:urllib是python内置的HTTP请求库,主要包括4个模块:request、error、parse、robotparser。request模块:1.urlopen()import urllib.request response = urllib.request.urlopen (’ https://www.python.org') print(type(respon...原创 2018-12-26 13:26:22 · 99 阅读 · 0 评论 -
tornado---tornado中websocket聊天:
tornadowebsocket聊天:后端:# websocket聊天from tornado.websocket import WebSocketHandlerclass HomeChatHandler(tornado.web.RequestHandler): def get(self, *args, **kwargs): self.render("home....原创 2018-12-18 23:44:48 · 470 阅读 · 0 评论 -
tornado---tornado异步:
tornado异步:下面两个例子展示阻塞:# 下面两个例子展示阻塞class StuHandler(tornado.web.RequestHandler): def get(self, *args, **kwargs): time.sleep(30) self.write("stu")class HomeHandler(tornado.web.R...原创 2018-12-18 23:44:14 · 111 阅读 · 0 评论 -
tornado---tornado安全:
tornado安全:普通cookie:### 普通cookie# 设置cookieclass PcookieHandler(tornado.web.RequestHandler): def get(self, *args, **kwargs): self.set_cookie(name="name", value="shao") self.write...原创 2018-12-18 18:57:03 · 301 阅读 · 0 评论 -
爬虫---解析内容(正则):
解析内容(正则):re模块常用方法:1.pattern.match(从头找一个)2.pattern.search(找一个)3.pattern.findall(找所有)返回一个列表,没有就是空列表re.findall("\d","chuan1zhi2") >> ["1","2"]4.pattern.sub(替换)re.sub("\d","_",&q原创 2018-12-05 19:50:30 · 298 阅读 · 0 评论 -
爬虫---发起请求获得响应的方式有两种:
发起请求获得响应的方式有两种:1.urllib:from urllib import requesturl = "http://www.baidu.com"headers = { ......}#创建一个request对象request1 = request.Request(url=url, headers=headers)#发送请求,返回一个response对象res...原创 2018-12-05 19:50:06 · 1366 阅读 · 0 评论 -
Django---异步Celery
异步Celery:Celery简介:Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理应用 :异步调用:那些用户不关心的但是又存在在我们API里面的操作 我们就可以用异步调用的方式来优化(发送邮件 或者上传头像)定时任务:定期去统计日志,数据备份,或者其他的统计任务Celery相关概念:task: 需要执行的任务worker :负...原创 2018-12-01 11:00:11 · 110 阅读 · 0 评论 -
Django---验证码
验证码:from PIL import Image, ImageDraw, ImageFontfrom io import BytesIOdef yanzhengma(req): 先实例化一个画布 img_size = (300, 150) img_color = (36, 56, 165) img = Image.new("RGB", img_size, img...原创 2018-12-01 10:59:45 · 113 阅读 · 0 评论 -
Django---文件上传
文件上传:1.上传至数据库:在settings中加:MEDIA_ROOT = os.path.join(BASE_DIR, "static/uploads")在models中:class Book(models.Model): name = models.CharField( max_length=40 ) icon = models.Image...原创 2018-12-01 10:59:12 · 397 阅读 · 0 评论 -
Django---分页
分页:在views中:def fenye(req): #解析参数 page0 = req.GET.get("page") #获取Ren这个库里的所有数据 data = Ren.objects.all() #实例化分页器,每页两条数据 fenyeqi = Paginator(data, 2) #通过解析出来的页码,获得page对象 page ...原创 2018-12-01 10:57:50 · 103 阅读 · 0 评论 -
restful入门
什么是restful api可以总结为一句话:REST是所有Web应用都应该遵守的架构设计指导原则。Representational State Transfer,翻译是”表现层状态转化”。面向资源是REST最明显的特征,对于同一个资源的一组不同的操作。资源是服务器上一个可命名的抽象概念,资源是以名词为核心来组织的,首先关注的是名词。REST要求,必须通过统一的接口来对资源执行各种操作。对于...原创 2018-12-01 10:49:16 · 364 阅读 · 0 评论 -
Git
git:git init主要用来初始化一个空的git本地仓库。执行完上面的命令,当前目录下会自动生成.git隐藏文件夹,该隐藏文件夹就是git版本库git add 文件路径 (git add —A)git add [参数] <路径> 作用就是将我们需要提交的代码从工作区添加到暂存区,就是告诉git系统,我们要提交哪些文件,之后就可以使用git commit命令进行提交了。gi...原创 2018-12-01 10:47:59 · 65 阅读 · 0 评论 -
爬虫(一)爬虫入门
一、为什么学习爬虫大数据时代,根据数据分析用户购买意向,从而进行商业相关调整。只要是浏览器中用户能拿到的,原则上爬虫都可以爬到。反爬:资源同等,爬虫胜利。爬虫黑客的区别:爬虫:灰色地带,带账号权限操作,只是一种便利的获取数据。黑客:违法,免爬取,付费。二、爬虫的分类:通用爬虫:搜索引擎和大型web服务提供的爬虫。弊端:冗余多,占容量。不精准。聚焦爬虫:针对特定网站的爬虫,定...转载 2018-11-30 19:40:00 · 186 阅读 · 0 评论 -
爬虫(二)代理
一、为什么要使用代理让服务器以为不是同一个客户端在请求防止我们的真实地址被泄露,防止被追究(嗯,还是不要太高调,闷声爬就好了)正向代理与反向代理正向代理:对于浏览器知道服务器的真实地址,例如VPN反向代理:浏览器不知道服务器的真实地址,例如nginx代理的使用用法: requests.get("http://www.baidu.com", proxies = p...转载 2018-11-30 19:30:21 · 102 阅读 · 0 评论 -
爬虫的基本流程
1、发起请求:通过url向服务器发起request请求,请求可以包含额外的header信息。2、获取响应内容 :如果服务器正常响应,那我们将会收到一个response,response即为我们所请求的网页内容,或许包含HTML,Json字符串或者二进制的数据(视频、图片)等。3、解析内容 :如果是HTML代码,则可以使用网页解析器进行解析,如果是Json数据,则可以转换成Json对象进行...原创 2018-11-30 19:25:56 · 2088 阅读 · 0 评论 -
爬虫(一)初识爬虫
1 什么是爬虫网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做 2 爬虫的更多用途 12306抢票 网站上的投票 短信轰炸 3. 爬虫的分类在上一小结中,我们介绍爬虫...转载 2018-11-30 18:43:55 · 156 阅读 · 0 评论