自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Flask的使用

什么是Flask Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ,模板引擎则使用 Jinja2 。Flask使用 BSD 授权。 导入Flask类: from flask import Flask app = Flask(_...

2019-02-27 16:04:47

阅读数 53

评论数 0

原创 pandas案例之消费金额和消费之间的关联与性别和吸烟与否的关系

文件内容: 总消费金额, 小费金额, 性别, 是否抽烟, 日期, 时间, 星期 需求: - 分别吸烟顾客与不吸烟顾客的消费金额与小费之间的散点图; - 女性与男性中吸烟与不吸烟顾客的消费金额与小费之间的散点图关系; import pandas as pd import numpy as np fr...

2019-02-27 15:04:28

阅读数 152

评论数 1

原创 pandas案例之商品数据分析

文件名称: doc/chipo.csv 文件描述: 每列数据分别代表如下: 订单编号, 订单数量, 商品名称, 商品详细选择项, 商品总价格 需求1: 1). 从文件中读取所有的数据; 2). 获取数据中所有的商品名称; 3). 跟据商品的价格进行排序, 降序, 将价格最高的20件产品...

2019-02-27 14:57:56

阅读数 716

评论数 0

原创 Pandas应用

什么是Pandas? Pandas 是基于 NumPy 的一个开源 Python 库,它被广泛用于快速分析数据,以及数据清洗和准备等工作。它的名字来源是由“ Panel data”(面板数据,一个计量经济学名词)两个单词拼成的。简单地说,你可以把 Pandas 看作是 Python 版的 Exce...

2019-02-27 14:46:33

阅读数 243

评论数 0

原创 numpy实践之学生身高体重统计

需求1: 获取所有男生的身高, 求平均值;获取所有女生的身高, 求平均值;并绘制柱状图显示 import numpy as np from pyecharts import Bar fname = "doc/eg6-a-student-data.txt" dtype = n...

2019-02-22 21:58:31

阅读数 1650

评论数 1

原创 理解Numpy

什么是Numpy? 一个用python实现的科学计算包括: 1、一个强大的N维数组对象Array; 2、比较成熟的(广播)函数库; 3、用于整合C/C++和Fortran代码的工具包; 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。 NumP...

2019-02-22 21:55:02

阅读数 67

评论数 0

原创 统计图绘制

绘制多个条形图 from pyecharts import Bar x_movies_name = ["猩球崛起", "敦刻尔克", "蜘蛛侠", "战狼2"] y_16 = [15746, 312, 4497, 3...

2019-02-22 21:33:18

阅读数 284

评论数 0

原创 Matplotlib实践案例之直方图练习

案例1: 250部电影的时长, 电影时长的分布状态; 把数据分为多少组进行统计? - 如果数据在100个以内, 一般分为5-12组; - 组距:每个小组里面端点的距离; 组数 = 极差 / 组距 import random from matplotlib import pyplot as plt...

2019-02-22 21:18:19

阅读数 467

评论数 0

原创 Matplotlib实践之折线图练习

需求1: 绘制10点到12点每分钟的气温, 如何绘制折线图观察每分钟气温的变化情况? temps = [random.randint(20, 35) for i in range(120)] from matplotlib import font_manager from matp...

2019-02-22 20:56:54

阅读数 470

评论数 1

原创 Matplotlib

什么是Matplotlib? Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形 [1] 。 通过 Matplotlib,开发者可以仅需要几行代码,便可以生成绘图,直方图,功率谱,条形图,错误图,散点图等 Matplotlib...

2019-02-22 20:38:56

阅读数 47

评论数 0

原创 反爬虫的策略

策略一:设置download_delay - 作用:设置下载的等待时间,大规模集中的访问对服务器的影响最大,相当与短时间中增大服务器负载。 - 缺点: 下载等待时间长,不能满足段时间大规模抓取的要求,太短则大大增加了被ban的几率 策略二:禁止cookies - Coo...

2019-02-22 20:23:51

阅读数 49

评论数 0

原创 Scrapy框架

Scrapy介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取(更确切来说,网络抓取)所设计的,使用它可以快速、简单、可扩展 的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如挖掘、监测和自动化测试等领域,也可以应用在API 所返回的数据(例如Amazon A...

2019-02-20 20:18:15

阅读数 45

评论数 0

原创 保存cookie信息

什么是cookie: Cookie,有时也用其复数形式 Cookies,指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)。cookie某些网站为了辨别用户身份, 只有登陆某个页面才可以访问;登陆信息保存方式: 进行一个会话跟踪(session),将...

2019-02-20 15:04:20

阅读数 197

评论数 0

原创 爬取mooc网课程(xpath爬取实例)

代码描述: 爬取的链接: http://www.imooc.com/course/list 爬取的内容: 课程链接, 课程的图片url, 课程的名称, 学习人数, 课程描述 爬取的内容如何存储: 文件(.csv, ); mysql数据库; 分析爬取的信息; 词云 ...

2019-02-20 13:59:33

阅读数 236

评论数 0

原创 简单了解xpath

什么是xpath? XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。 XPath基于XML的树状结构,提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。但是X...

2019-02-20 11:37:50

阅读数 56

评论数 0

原创 理解CSV格式

什么是CSV? 逗号分隔值(Comma-Separated Values,CSV),其文件以纯文本形式存储表格数据(数字和文本),文件的每一行都是一个数据记录。每个记录由一个或多个字段组成,用逗号分隔。使用逗号作为字段分隔符是此文件格式的名称的来源,因为分隔字符也可以不是逗号,有时也称为字符分隔值...

2019-02-20 11:24:28

阅读数 38

评论数 0

原创 中国大学排名(定向爬虫实例代码)

import requests from bs4 import BeautifulSoup import bs4 def get_content(url,): try: user_agent = "Mozilla/5.0 (X11; Linux x86_64...

2019-02-20 10:59:30

阅读数 305

评论数 0

原创 走进bs4

一. bs4模块的简介 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为tiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编一下原始...

2019-02-20 10:48:29

阅读数 45

评论数 0

原创 python中的反爬虫设置代理

Ip代理 为什么? 如何防止IP被封?2. 如何防止IP被封? 设置延迟: time.sleep(random.randint(1,3)) 使用IP代理, 让其他的IP代替你的IP访问页面; 如何获取代理IP? https://www.xicidaili.com/ (西刺代理网站...

2019-02-18 20:51:02

阅读数 84

评论数 0

原创 python中的反爬虫模拟浏览器

什么是爬虫? 就是在互联网上一直爬行的蜘蛛, 如果遇到需要的资源, 那么它就会抓取下来(html内容); 模拟浏览器快速访问页面的内容. 浏览网页的过程中发生了什么? 浏览器输入http://www.baidu.com/bbs/; 1). 根据配置的DNS获取www.baidu.co...

2019-02-18 20:48:10

阅读数 62

评论数 0

原创 python中的正则表达式

字符匹配: r'westos' 字符类: [pP]ython westos[pP] [aeiou] [a-z] [A-Z] [a-zA-Z0-9] [^aeiou] [^0-9] 特殊字符类: ...

2019-02-18 20:35:29

阅读数 31

评论数 0

原创 python中的mytimeit

import time def timeit(f): def wrapper(*args, **kwargs): start_time = time.time() res = f(*args, **kwargs) end_tim...

2019-01-21 21:52:25

阅读数 44

评论数 0

原创 python中的进程间的通信之管道Pipe

代码描述: $ 1). Pipe管道,进程间通信的方式, l类似于 ls | wc -l; 2). Pipe()返回两个连接对象, 分别代表管道的两边; 3). 管道通信操作的方法: send(), recv; 4). 管道间的通信是双向的, 既可以发送,也可以接收; import mu...

2019-01-21 21:52:09

阅读数 220

评论数 0

原创 python中的进程间的通信之生产者消费者模型

代码描述: 进程间通信: 生产者消费者模型, socket 请你说说进程间通信的集中方式? import multiprocessing # 线程通信=====(队列) ---- from queue import Queue # 进程池中进程通信=====(队列) --- from m...

2019-01-21 21:51:55

阅读数 39

评论数 0

原创 python中的多进程拷贝文本文件2

代码描述: 拷贝的原理: 1). 读取源文件的内容; 2). 写入新的文件中; import os import time import multiprocessing # 进行进程间的通信, Queue from queue import Queue from concurre...

2019-01-21 21:51:42

阅读数 21

评论数 0

原创 python中的多进程拷贝文本文

代码描述: 拷贝的原理: 1). 读取源文件的内容; 2). 写入新的文件中; import os import time import multiprocessing # 进行进程间的通信, Queue from queue import Queue def copyF...

2019-01-21 21:51:26

阅读数 37

评论数 0

原创 python中的进程池的第2种实现方式

from concurrent.futures import ProcessPoolExecutor def job(id): print("start %d...." % (id)) print("end %d...

2019-01-21 21:51:14

阅读数 41

评论数 0

原创 python中的进程池的第一种实现方式

代码描述: 在使用Python进行系统管理时,特别是同时操作多个文件目录或者远程控制多台主机, 并行操作可以节约大量时间,如果操作的对象数目不大时,还可以直接适用Process类动态 生成多个进程,几十个尚可,若上百个甚至更多时,手动限制进程数量就显得特别繁琐, 此时进程池就显得尤为重要。...

2019-01-21 21:50:58

阅读数 29

评论数 0

原创 python中的进程锁

import multiprocessing def work(f, item, lock): # lock.acquire() try: with open(f, 'a+') as f: f.write(&am...

2019-01-21 21:50:46

阅读数 100

评论数 0

原创 python中的多进程案例效率演示

import threading import time from mytimeit import timeit import multiprocessing def job(li): return sum(li) @timeit def use_thread(): ...

2019-01-21 21:50:30

阅读数 52

评论数 0

原创 python中的类的继承实现多线程

代码描述: 如果你打算编写多进程的服务程序,Unix/Linux无疑是正确的选择。由于Windows 没有fork调用,难道在Windows上无法用Python编写多进程的程序? 由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing 模块就是跨平...

2019-01-21 21:50:15

阅读数 164

评论数 0

原创 python中的multiprocess跨平台实现多线程

*代码描述: 1.理解: 如果你打算编写多进程的服务程序,Unix/Linux无疑是正确的选择。由于Windows 没有fork调用,难道在Windows上无法用Python编写多进程的程序? 由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing...

2019-01-21 21:38:05

阅读数 234

评论数 0

原创 python中的exampl

import os import time import multiprocessing from queue import Queue def copyFileTask(oldFolderName,newFolderName,filename,queue): fr = op...

2019-01-21 21:37:50

阅读数 26

评论数 0

原创 python中的Linux系统如何创建子进程

代码描述: 1). Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用, 调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程( 称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。 2). 子进程永远返...

2019-01-21 21:37:36

阅读数 117

评论数 0

原创 python中的线城池实现生产者消费者模型

代码描述: 需求1: 给定200个ip地址, 可能开放端口为80, 443, 7001, 7002, 8000, 8080, 9000(flask), 9001 以http://ip:port形式访问页面以判断是否正常访问. 1). 构建所有的url地址;===存储到一个数据...

2019-01-21 21:37:18

阅读数 40

评论数 0

原创 python中的线程池map的应用

import time def timeit(f): def wrapper(*args, **kwargs): start_time = time.time() res = f(*args, **kwargs) end_t...

2019-01-21 21:37:05

阅读数 775

评论数 0

原创 python中的线程池submit应用

代码描述: _thread, threading, multiprocessing 池子, 只放制定个线程(10个线程), 线程池里面的线程越多越好? import time def timeit(f): def wrapper(*args, **kwargs): ...

2019-01-21 21:36:41

阅读数 992

评论数 0

原创 python中的线程池submi

代码描述: _thread, threading, multiprocessing 池子, 只放制定个线程(10个线程), # python3.2版本之后才有的; from concurrent.futures import ThreadPoolExecutor def job(n...

2019-01-21 21:36:17

阅读数 31

评论数 0

原创 python中的多线程实现获取地理位置

# 1. 简单的爬虫: import threading import time from urllib.request import urlopen def timeit(f): def wrapper(*args, **kwargs): start_time = t...

2019-01-21 21:26:20

阅读数 178

评论数 0

原创 python中的实现多线程的下载器

代码描述: 当你创建用户界面并想保持界面的可用性时,线程就特别有用。 没有线程,用户界面将变得迟钝,当你下载一个大文件或者执 行一个庞大的数据库查询命令时用户界面会长时间无响应。为 了防止这样情况发生,你可以使用多线程来处理运行时间长的 进程并且在完成后返回界面进行交互。 import threa...

2019-01-21 21:24:59

阅读数 115

评论数 0

提示
确定要删除当前文章?
取消 删除