小柯的的博客

目录什么是数据可视化常见图表类型认识MatplotlibMatplotlib简答使用使用默认画布通过figure()函数创建画布通过subplot()函数创建单个子图通过subplots() 函数创建多个子图添加各类标签绘制常见图表绘制直方图绘制柱形图绘制散点图绘制折线图绘制饼状图保存图表综合案例总结    上一期我带着大家一起学习了数据分析，分析后的数据已经没有了异常值和空值，这样一来我们就可以使用我们已经处理完成的数据了。本期我们就来试试对我们爬取的数据进行可视

目录什么是数据清洗准备工作步入正题使用Numpy处理数据初识Numpy数组创建Numpy数组利用NumPy数组进行数据处理使用Pandas分析数据初识PandasPandas数据结构SeriesDataFramePandas索引操作以及高级索引索引对象重置索引索引操作数据排序按索引排序按值排序总结什么是数据清洗    数据清洗是指当我们通过爬虫获取数据以后对数据进行清洗，通过python对于数据中的空值、异常值、无效值进行修改删除。进而对清洗后的数据进行分析处理。

目录什么是数据存储准备工作保存为文本形式文件打开方式保存为txt文本保存为JSON形式什么是数据存储    这个我感觉真的不用解释了吧。就是把爬取到的数据做一个保存，数据的存储形式多种多样，但主要分为两类，一类是简单的保存为文本文件，例如txt、json、csv等，另一类是保存到数据库，例如MySQL、MongoDB、Redis等。接下来就来学习这些方法吧~准备工作    学习数据存储前我们需要先爬取数据，这里我就不再编

这里写目录标题一、什么是动态渲染信息？二、Ajax数据爬取1.分析网页请求2.查看请求数据3.请求数据4.清洗数据5.完整代码以及效果截图6.分析总结三、Selenium爬取动态数据一、什么是动态渲染信息？    学过网页开发相关的都知道很多网页数据并不是一次就返回全部，需要向服务器发送异步请求获取数据。在爬取此类信息的时候可以在浏览器中分析Ajax和JS请求的数据。本文我将和大家一起学习如何使用Ajax、Selenium和Splash技术获取动态数据。二、Aj

@TOC一、什么是Scrapy？    Scrapy是一个可以爬取网站数据、提取结构性数据而编写的开原框架。Scrapy的用途不仅限于爬虫，还可以用于数据挖掘、数据监测、以及自动化测试等。今天我就带大家一起学习Scrapy在爬虫的应用。开发文档二、Scrapy工作原理    Scrapy框架简单分为五个部分，如下图所以，各部分负责不同的工作，相互协调完成工作。Scrapy Engine： 正如它所处的位置一样，它

文章目录前言一、爬虫是什么？二、爬取数据（resquests模块）1.简单GET请求2.简单POST请求3.复杂的网络请求（1）. 添加请求头headers（2）. 验证Cookies（3）. 会话请求（4）. 验证请求（5）. 请求超时与异常捕获4.代理服务（1）. 在代码中写入多个ip（2）. 获取免费ip存储后使用a. 获取ipb. 读取ip并判断是否可用c.通过专门的API接口获取ip二、解析数据1. 正则表达式总结前言    Python作为一门人尽皆

驱动案例设计多只电子宠物，它们具有名字，性别，能力，体重等属性，可以完成吃饭、运动、显示状态的动作。类与对象通过类（模板）可以生产多个具有相同属性和方法（行为）的对象，对象是类的实例化class Pet: def __init__(self,name,gender,energy,weight): //构造方法 def eat(self,food): //吃饭方法 def display(self): //显示当前状态方法 def run(

驱动案例本案例是将“京东”网某本字典的书评信息，根据词出现的次数不同，生成词云，词云图中字体的大小表示词出现的频率多少。任务目标1.获取书评（从文件中读取书评，删除符号，计算书评条数）2.过滤书评（删除无效书评）3.统计词频（统计词及出现的次数）4. 生成词云（将词频统计结果可视化)Python文件操作前面我们已经学过了python文件的基本操作，这里我们使用open方法打开txt文件，读取txt文件的书评后进行其他操作。fp=open('bookComments.txt', 'r')

7-1 定义函数打印餐厅菜单定义函数menu(),能打印出菜品的编号、名字、价格以及口味的信息。‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬该函数调用形式：‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬menu(

驱动案例通讯录：要求打印出企业全部十名员工通讯录。（要求有文件相关操作）内置函数Python其他内置函数及使用方法参见菜鸟教程！！！自定义函数函数指被封装起来的、实现某种功能的一段代码。Python安装包、标准库中自带的函数统称为内置函数，用户自己编写的函数称为自定义函数，不管是哪种函数，其定义和调用方式都是一样的。函数的定义Python中使用关键字def定义函数。def 函数名（参数列表）函数体[return 语句]无参函数定义def weather(): #无参数

驱动案例居民身份证是每位居民的唯一身份标识，18位的居民身份证号的信息包含省、市、出生日期和性别等信息，那么本节将介绍如何按需提取相应的信息。居民身份证是每位居民的唯一身份标识，18位的居民身份证号的信息包含省、市、出生日期和性别等信息，那么本节将介绍如何按需提取相应的信息。字符串字符串切片切片是截取目标对象中一部分的操作，语法格式如下：[起始:结束:步长]。切片步长默认为1。注意，切片选取的区间属于左闭右开型，切下的子串包含起始位，但不包含结束位。假设string的值为: ”python

驱动案例BMI身体质量指数，是目前国际上常用的衡量人体是否健康的一个标准。当我们需要比较分析一个人的体重对于不同高度的人所带来健康影响时，BMI值是一个中立而可靠的指标。要求编写：身体健康小助手BMI：请输入身高、体重检测BMI，如果BMI>=30输出肥胖！[BMI=体重(kg)÷身高的平方(m)]运算符算术运算符算术运算符包括+、-、*、/、//、%和**，这些运算符都是双目运算符，每个运算符可以与两个操作数组成一个表达式。Python在对不同类型的对象进行运算时，会强制将对象的类

前言后续的此系列博文用于记录案例式Python学习笔记记录，供本人和感兴趣的小伙伴一起学习！！人生苦短，我学Python！驱动案例便捷水果店：请为水果店开发一个收银的小程序，已知水果单价和购买重量，要求输出总价。（要求有交互界面）每公斤水果的单价如下：苹果 6.5 元 梨 5.5 元 香蕉 7.2 元数字类型表示数字或数值的数据类型称为数字类型。数字类型有整型（int）、浮点型（float）、复数类型（complex），还有一种比较特殊的整型——布尔类型（bool）