MiStonebridge-CSDN博客

原创 Python数据分析课--第七节 Matplotlib---扇形图箱型图雷达图

扇形图介绍扇形图，用整个圆表示总数，用圆内各个扇形的大小表示各部分数量占总数的百分数。扇形图绘制扇形图通过pie()函数绘制• plt.pie(x, explode=None, labels=None)• x 扇形数据• explode 设置某几个分块是否要分离饼图• labels 每块扇形标签• autopct 百分比数据标签• shadow 是否显示阴影• plt.pie()有3个返回值• patches 绘制饼图每一块的对象• texts 文本的列

2020-12-20 11:57:02 1893 4

原创 Python数据分析课--第六节 Matplotlib---直方图

直方图介绍直方图由一系列高度不等的纵向条纹或线段表示数据分布的情况，一般用横轴表示数据范围，纵轴表示分布情况特点：绘制连续性的数据，展示一组或者多组数据的分布情况(统计)直方图绘制直方图通过hist()函数绘制• plt.hist(x, bins=None) # 绘制以x为数值，bins为组数• 组数 = 极差/组距练习某地区连续50年中四月份平均气温数据如下：temp_li= [6.9,4.1,6.6,5.2,6.4,7.9,8.6,3.0,4.4

2020-12-05 13:18:00 489

原创 Python数据分析课--第五节 Matplotlib---条形图

条形图条形图介绍条形图是用宽度相同的条形的高度或长短来表示数据多少的图形。条形图可以横置或纵置，纵置时也称为柱形图。特点• 能够使人们一眼看出各个数据的大小。• 易于比较数据之间的差别。条形图绘制条形图通过bar()函数绘制• plt.bar(x, height) # 绘制以x为x轴位置，height为y轴位置的竖条形图水平条形图绘制水平条形图通过barh()函数绘制• plt.barh(y, width) # 绘制以y

2020-11-28 11:42:22 705

原创 Python数据分析课--第五节 Matplotlib---散点图

散点图

2020-11-27 00:02:35 254

原创 Python数据分析课--第四节 Matplotlib---折线图

1 Matplotlib介绍与安装Matplotlib介绍什么是MatplotlibMatplotlib是一个Python的基础绘图库，它可与 NumPy 一起使用，代替Matlab使用。为什么要学习Matplotlib将数据进行可视化，使数据更直观使数据更加更具有说服力Matplotlib安装由于Matplotlib是第三方库，所以我们需要安装它才可以使用。注意，Matplotlib3.0要求python3版本才可安装使用。安装命令：pip install matplotlib安

2020-10-20 15:00:41 724

原创 Python数据分析课--第三节半

报错1：安装ReadTimeOut安装报错：ReadTimeOut -->读取超时错误解决1：换源安装，将国外镜像换成国内镜像，加快安装速度。• 国内镜像：• 阿里云 http://mirrors.aliyun.com/pypi/simple/• 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/• 豆瓣(douban) http://pypi.douban.com/simple/• 清华大学 https://pypi.tuna.tsing

2020-10-20 11:02:06 89

原创 Python数据分析课--第三节 Jupyter使用

Jupyter介绍Jupyter Notebooks 是什么？Jupyter Notebooks 是一款开源的网络应用，我们可以将其用于创建和共享代码与文档。其提供了一个环境，你无需离开这个环境，就可以在其中编写你的代码、运行代码、查看输出、可视化数据并查看结果。因此，这是一款可执行端到端的数据科学工作流程的便捷工具，其中包括数据清理、统计建模、构建和训练机器学习模型、可视化数据等等。Jupyter Notebooks特点• 基于web的在线编辑器• 可交互式• .ipynb文件分享• 支持

2020-10-12 23:38:20 354

原创 Python数据分析课--第二节数据分析介绍

数据分析介绍数据分析基本概念• 用适当的统计分析方法对收集来的大量数据进行分析• 提取有用信息和形成结论• 对数据加以详细研究和概括总结的过程数据分析的流程为什么要学习数据分析岗位有需求是机器学习的基础数据科学的基础数据分析工具注意数据分析与数据挖掘的相似之处：数据挖掘和数据分析都是对数据进行分析、处理等操作，从而得到有价值的知识数据分析与数据挖掘的区别：在应用工具上，数据分析更多的是借助现有的分析工具进行；而数据挖掘一般需要通过编程来实现。在行业知识方面，数据分析

2020-10-12 23:33:07 327

原创 Python爬虫课--第十一节图形验证码识别--没看完--重新看

1 Tesseract安装以及简介阻碍我们爬⾍的。有时候正是在登录或者请求⼀些数据时候的图形验证码。因此这⾥我们讲解⼀种能将图⽚翻译成⽂字的技术。将图⽚翻译成⽂字⼀般被称为光学⽂字识别（Optical Character Recognition），简写为OCR。实现OCR的库不是很多，特别是开源的。因为这块存在⼀定的技术壁垒（需要⼤量的数据、算法、机器学习、深度学习知识等），并且如果做好了具有很⾼的商业价值。因此开源的⽐较少。这⾥介绍⼀个⽐较优秀的图像识别开源库：Tesseract。Tesseract

2020-09-13 18:17:52 151

原创 Python爬虫课--第十节 selenium使⽤练习--登录QQ邮箱

登录QQ邮箱from selenium import webdriverimport timefrom selenium.webdriver.support.ui import Selectdriver = webdriver.Chrome()# 打开目标网站driver.get('https://mail.qq.com/')# 切换iframelogin_fram = driver.find_element_by_id('login_frame')driver.switch_to_f

2020-09-08 19:41:04 189

原创 Python爬虫课--第九节 selenium使⽤

1 定位元素ind_element_by_id：根据id来查找某个元素

2020-09-03 21:45:30 282

原创 Python爬虫课--第八节 js2py和selenium初探

1 js2py简介1.1 js2py模块使⽤Python中执⾏JS代码,通常两个库:js2py,pyexecjsjs2py是纯python实现的库,⽤于在python中运⾏js代码,本质上是将js代码翻译成python代码js2py安装 pip install js2py1.2 快速⼊⻔

2020-09-02 19:27:05 297

原创 Python爬虫课--第七节 BeautifulSoup4的练习---爬取天气网的数据

爬取的时候以网页源代码为主html5lib 解析能力更强，网页错乱啊，标签不全啊用来更好的塑造源码结构与lxml可以替换# 需求爬取全国所有城市名称，已经对应的气温# 分析其他区域的url规律# 华东 http://www.weather.com.cn/textFC/hd.shtml# 华北 http://www.weather.com.cn/textFC/hb.shtml# 先搞定华北地区import requestsfrom bs4 import BeautifulSoup

2020-09-02 18:33:22 365

原创 Python爬虫课--第六节 BeautifulSoup4

1 BeautifulSoup4 简介1.1 基本概念Beautiful Soup 是⼀个可以从HTML或XML⽂件中提取数据的⽹⻚信息提取库1.2 源码分析github下载源码安装pip install lxmlpip install bs42 bs4的使⽤2.1 快速开始当源码比较乱的时候，可以用这个方式输出漂亮一些import bs4from bs4 import BeautifulSouphtml_doc = """<html><head>&

2020-08-30 18:55:35 249

原创 Python爬虫课--第五节 xpath和lxml模块

1 xpath介绍1.1 基本概念XPath（XML Path Language）是⼀种XML的查询语⾔，他能在XML树状结构中寻找节点。XPath ⽤于在 XML ⽂档中通过元素和属性进⾏导航xml是⼀种标记语法的⽂本格式，xpath可以⽅便的定位xml中的元素和其中的属性值。lxml是python中的⼀个包，这个包中包含了将html⽂本转成xml对象，和对对象执⾏xpath的功能1.2 结点的关系xml_content = '''<bookstore> # 文档节点&lt

2020-08-28 20:03:28 227

原创 Python爬虫课--第四节正则表达式练习

1.验证手机号18688770099分析手机号是以1开头的，第二位是34578 后面九位随意了# 1.验证手机号 18688770099# 手机号是以1开头的，第二位是34578 后面九位随意了import res = '18688770099'r = re.match('1[34578]\d{9}',s)print(r.group())结果186887700992.身份证分析 18位 131123199607080517 前面17位是数字，后1位可以是数字也可以是小写x也可以

2020-08-27 20:34:42 254

原创 Python爬虫课--第三节正则表达式

1 正则表达式的简介

2020-08-24 19:30:31 291

原创 Python爬虫课--第二节爬虫请求模块 urllib.request，urllib.parse，requests模块

1 urllib.request模块1.1 版本python2 ：urllib2、urllibpython3 ：把urllib和urllib2合并,urllib.request1.2 常⽤的⽅法urllib.request.urlopen(“⽹址”) 作⽤：向⽹站发起⼀个请求并获取响应import urllib.request# response是响应对象response = urllib.request.urlopen('https://www.duitang.com/')# read

2020-08-20 22:47:19 26549

原创 Python爬虫课--第一节

1 通讯协议1.1 端⼝我们想要进⾏数据通讯分⼏步?1 找到对⽅ip2 数据要发送到对⽅指定的应⽤程序上。为了标识这些应⽤程序,所以给这些⽹络应⽤程序都⽤数字进⾏了标识。为了⽅便称呼这个数字,叫做端⼝。这⾥的端⼝我们⼀般都叫做 ‘逻辑端⼝’3 定义通讯规则。这个通讯规则我们⼀般称之为协议1.2 通讯协议国际组织定义了通⽤的通信协议 TCP/IP协议所谓协议就是指计算机通信⽹络中两台计算机之间进⾏通信所必须共同遵守的规定或规则HTTP⼜叫做超⽂本传输协议（是⼀种通信协议） HTT

2020-08-15 14:52:12 389

原创 Python基础课--第十六节异常&⽂件遇到运行python文件报SyntaxError: (unicode error) ‘unicodeescape‘ codec can‘t decode

1 异常的简介程序在运⾏过程中可能会出现⼀些错误。⽐如: 没有赋值的变量，使⽤了不存在的索引，两个不同类型的数据相加…这些错误我们称之为异常处理异常程序运⾏时出现异常，⽬的并不是让我们的程序直接终⽌！Python是希望在出现异常时，我们可以编写代码来对异常进⾏处理异常以后的代码都不会执行语法(try语句)：try:代码块(可能会出现错误的语句)except 异常类型 as异常名：代码块(出现错误以后的处理方式)except 异常类型 as异常名：代码块(出现错误以后的处理方式)…

2020-07-16 22:11:01 444

原创 Python基础课--第十五节模块----中间出现了Pycharm中总是以pytest方式运行，解决办法如下

1 模块

2020-07-11 22:28:43 288

原创 Python基础课--第十四节面向对象3

1 继承

2020-07-09 22:22:40 150

原创 Python基础课--第十三节面向对象2

1 特殊方法(魔术方法)特殊方法都是以双下划线开头双下划线结尾的方法特殊⽅法都是形如 _ _ xxx _ _()这种形式特殊方法不需要我们自己调用特殊方法会在特殊的时候自动调用学习特殊方法特殊方法什么时候调用特殊方法有什么作用类中的代码块先执行，而且只执行了一次创建流程p1 = Person()1.创建一个变量2.在内存中创建一个新的对象3.执行类中的代码块（只执行一次）3.init(self)方法执行class Person: # 在类中可以定义一些

2020-07-07 17:57:22 121

原创 Python基础课--第十二节面向对象1

1 面向对象的简介对象就是内存中存储指定数据的一块区域，实际上对象就是一个容器，专门用来存储数据2 类(class)我们⽬前学习的都是Python的内置对象，但是内置对象并不都能满⾜我们的需求，所以我们在开发中经常要⾃定义⼀些对象类简单理解它就是相当于⼀个图纸，在程序汇总我们需要根据类来创建对象。类就是对象的图纸我们也称对象是类的实例(instance)如果多个对象是通过⼀个类创建的，我们称这些对象是⼀类对象类也是⼀个对象，类就是⽤来创建对象的对象可以像对象

2020-07-06 22:19:46 155

原创 Python基础课--第十一节函数3

1 高阶函数例子将 lst = [1,2,3,4,5,6,7,8,9,10] 中所有的偶数，保存到一个新的列表中返回lst = [1,2,3,4,5,6,7,8,9,10]# 定义一个函数用来将指定列表中所有的偶数，保存到一个新的列表中返回def fn(lst): # 参数要进行筛选列表 # 创建一个新的列表 new_lst = [] for n in lst: # 判断n的奇偶 if n % 2 == 0:

2020-07-03 23:19:38 624

原创 Python基础课--第十节函数2--作业

作业汉诺塔游戏，现在有ABC三根柱⼦。要求：将A柱所有的圆盘放到C柱。在移动的过程中可以借助B柱。并且规定⼤圆盘不能放⼩圆盘上⾯，每次只能移动⼀个盘⼦。⽤递归的⽅式来解决汉诺塔问题分析：先标出 ABC三个盘子如果只有一个盘子 A – C如果盘子大于等于2的情况下，我们总是可以看成2个盘子一个是最下面的盘子和最上面的一个或者是所有的盘子2.1 先把最上面的盘子 A-- B2.2 把最下面的盘子 A–C2.3 把B柱上的盘子 B–Cdef hannuotower(num

2020-07-03 22:25:24 164

原创 Python基础课--第十节函数2

1 函数的返回值# 求任意数的和def fn(*nums): result = 0 for n in nums: result += n # print(result) return resultr = fn(5,6)print(r)结果11返回值就是函数执行以后返回的结果用return来指定函数的返回值def fn(): return 100r = fn()print(r)print(fn())

2020-06-28 22:50:18 177

原创 Python基础课--第九节函数

1 函数简介函数也是⼀个对象函数⽤来保存⼀些可执⾏的代码，并且可以在需要时，对这些语句进⾏多次调⽤函数中保存的代码不会立即执行，需要调用函数代码，才会执行注意：函数名必须符合标识符的规范(可以包含字⺟、数字、下划线但是不能以数字开头)print是函数对象 print()是调⽤函数def fn(): print('这是我的第一个函数')# 调用函数fn()结果这是我的第一个函数2 函数的参数在定义函数的时候，可以在函数名后面的括号里面定义数量不等的形参，多个

2020-06-23 23:00:38 222

原创 Python基础课--第八节元组&字典&集合---作业

a = {“name”:“123”,“data”:{“result”:[{“src”:“python1”},{“src”:“python2”},{“src”:“python3”}]}} 找到 python1/python2/python3# 一步步拆分a = {"name":"123","data":{"result":[{"src":"python1"},{"src":"python2"},{"src":"python3"}]}}b = a['data'] # 先找key‘data’对应的值，赋予给

2020-06-22 11:50:58 189

空空如也

空空如也