- 博客(43)
- 收藏
- 关注
RSS订阅原创 Python数据分析12——Pyecharts使用文档
简介 - pyecharts - A Python Echarts Plotting Library built with love.https://pyecharts.org/#/zh-cn/intro
2022-06-27 11:11:35
846
1
原创 Python数据分析11——Seaborn绘图
目录Seaborn介绍Seaborn安装官方文档Seaborn绘图风格sns.axes_stylesns.set_style()sns.setsns.despineSeaborn颜色风格Seaborn在Axes绘图Seaborn绘图关系型绘图seaborn.relplot()基本使用hun参数 添加col和row参数 绘制折线图 分类绘图分类散点图分类分布图 分类统计图条形图柱形图点线图分布绘图单变量分布二变量分布 pairplot 线性回归绘图补充热力图和EDA探索性分析 Seaborn 是一个基于 ma
2022-06-23 00:43:12
8412
原创 Python数据分析10——使用Matplotlib绘制3D图
绘制三维图像主要通过 mplot3d 模块实现。3D绘图与2D绘图使用的方法基本一致，不同的是，操作的对象变为了 Axes3D() 对象。
2022-06-18 17:08:25
2312
原创 Python数据分析9——Matplotlib配置项
目录一.Figure容器和子图对象Figure容器子图对象SubplotAxes绘制双y轴删除一个子图对象获取一个子图对象进行操作二.Axis容器与多图布局Axis容器 Axis介绍设置x轴和y轴label的位置设置刻度上的刻度格式设置刻度对象，刻度标签对象，刻度线多图布局调整子图间距自定义布局Matplotlib所绘制的图位于图片（Figure）对象中，我们可以通过 plt.figure() 生成一个新的图片：可以通过参数 figsize 来设置画布的大小比例：实例：（1）plt.subplot(#
2022-06-18 16:51:16
989
原创 Python数据分析8——Matplotlib基本绘图
Matplotlib绘制基本图形，解决:12: UserWarning: Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure. plt.show()的错误
2022-06-16 12:33:58
5550
原创 Python数据分析5——数据清洗
目录Python数据清洗数据清洗介绍处理缺失值判断数据是否为NaN过滤缺失值补全缺失值异常值处理重复数据判断重复值删除重复值离散化向量化字符串函数数据清洗实际上也是数据质量分析，检查原始数据中是否存在脏数据(不符合要求，或者不能直接进行分析的数据)，并且处理脏数据。常见情况如下Pandas使用浮点值NaN(not a Number)表示缺失值，并且缺失值在数据中时常出现。那么Pandas的目的之一就是"无痛地"处理缺失值。注意脏数据也包含不符合要求的数据，那么对这块数据处理不能直接使用fillna填充。使用
2022-06-04 14:07:01
1837
原创 Python数据分析3——Pandas的介绍与基础数据结构
目录Pandas介绍与安装为什么会有Pandas？Pandas是什么？Pandas涉及内容Pandas安装Pandas基础数据结构SeriesSeries介绍Series创建series的索引与值Series索引与切片Series运算DataFrameDataFrame介绍DataFrame创建重置索引DataFrame基础操作DataFrame查数据(索引与切片)使用loc及iloc查询数据DataFrame修改数据Dat
2022-05-25 22:55:53
802
原创 Python数据分析2——Numpy基本操作
Numpy基本操作创建N-维数组对象生成数组最简单的方式就是使用array函数。array函数接收任意的序列型对象，生成一个新的包含传递数据的Numpy数组。numpy.array(object)import numpy as npli = [1,2,3,4]arr = np.array(li)arr numpy.arange([start,] stop[, step,])import numpy as nparr = np.arange(1,5)arr注意n.
2022-05-21 11:30:30
2267
原创 Python数据分析1——数据分析介绍及工具使用
目录数据分析介绍数据分析基本概括数据分析的流程数据分析工具数据分析和数据挖掘的相似之处数据分析与数据挖掘的区别Jupyter介绍Jupyter Notebook 是什么？Jupyter Notebook特点Jupyter安装如何安装 Jupyter Notebook？Jupyter使用如何运行Jupyter Notebook?基础使用Jupyter Notebook创建 python file快捷键使用文件读写操作文件操作文件操..
2022-05-14 14:48:27
1138
原创 前端基本知识介绍
.前端三剑客1.前导（1）HTML,CSS,JS都是单独的语言；（2）HTML,CSS,JS构成前端技术基础；2.三剑客的分工（1）HTML：负责网页的架构；（2）CSS：负责网页的样式，美化；（3）JavaScript（JS）：负责网页的行为；二.VsCode的介绍与配置1.vscode的介绍vscode 全称为 Visual Studio Code ，是⼀款免费开源的现代化轻量级代码编辑器，⽀持⼏乎所有主流的开发语⾔的语法⾼亮、智能代码补全、⾃
2022-05-07 11:46:58
59005
24
原创 MySql数据库
一.数据库介绍数据库介绍数据库(database)简称DB，实际上就是⼀个⽂件集合，是⼀个存储数据的仓库，本质就是⼀个⽂ 件系统，数据库是按照特定的格式把数据存储起来，⽤户可以对存储的数据进行增删改查等操 作。数据库存储数据特点● 持久化存储 ● 读写速度极⾼ ● 保证数据的有效性 ● 对程序⽀持⾮常好，容易扩展数据库的分类● 关系型数据库：可以保存现实⽣活中的各种关系数据，数据库中存储数据以表为单位；主流 关系型数据库：MySQ
2022-04-21 14:48:06
3615
3
原创 Python爬虫编程14——移动端爬取
目录移动端数据简介adb的简介与使用adb的安装与使用adb有什么作用？adb如何使用？fiddler抓包工具的使用常见App抓包软件对比fiddler抓包工具什么是fiddler？fiddler功能Fiddler设置移动端数据包夜神模拟器配置fiddler设置Appium爬取移动端环境搭建Java环境AndroidSDK环境搭建adb调试工具adb的构成和工作原理adb常用命令Appium介绍和安装Appium介绍
2022-04-10 17:30:03
5584
原创 Python爬虫编程13——cookie池
目录cookie的作用cookie池的部署cookie的优势cookie的属性如何查看网站的cookiecookie的保存使用（案例）cookie的作用1.登录账号可以降低被封禁的概率；2.解决单个账号受访问限制；3.避免复杂的模拟登录验证码；4.爬取登录之后才能爬取的数据；cookie池的部署cookie池的部署重点在于模拟登录服务和cookie的检测。cookie的优势1.服务分离；2.组件也可以实现分离；3.服
2022-04-01 14:18:40
2605
1
原创 Python爬虫编程12——字体反爬
什么是字体反爬就是网页的制作者，他在发布他网页数据的时候。将其中一部分的字体变成乱码。即使你把网页的数据爬取下来，你也获取不到真实数据的样貌。这样就达到了一个反爬虫的目的。如何解决字体反爬1.下载.ttf文件；2.将.ttf文件转换成xml文件；3.分析字体规律找到映射关系。就是找到字体文件，发现替换关系，将爬取下来的数据替换的过程。如何找到字体文件1.定位到进行了字体反爬的位置，在对应的styles里面找到font-family；2.复制font-fam
2022-03-30 14:37:01
2200
原创 Python爬虫编程11——JS反爬
环境搭建安装node.js下载网站：Download | Node.jshttps://nodejs.org/en/download/参考网站：Node.js安装与环境配置_各自安好、的博客-CSDN博客_nodejs安装及环境配置https://blog.csdn.net/qq_41465646/article/details/107656044安装js代码调试工具使用VScode可以调试JS代码：VScode安装：VSCode详细安装教程 - 是大壳子啊 - 博客园 (cnblo
2022-03-27 14:06:46
3170
原创 Python爬虫编程10——Scrapy+Redis进阶
背景随着互联网+大数据时代的来临，传统的关系型数据库已经不能满足中大型网站日益增长的访问量和数据量。这个时候就需要一种能够快速存取数据的组件来缓解数据库服务I/O的压力，来解决系统性能上的瓶颈。Redis是什么？Redis是一个高性能的，开源的，C语言开发的，键值对存储数据的nosql数据库。NoSQL：not only sql，泛指非关系型数据库 Redis/MongoDB/Hbase Hadoop关系型数据库：MySQL、oracle、SqlServer数据库的发展历史
2022-03-23 13:47:35
995
原创 Python爬虫编程9——MongoDB
目录SQL与NoSQL的主要区别MongoDB的优势MongoDB在Ubuntu中安装远程连接MongoDB在Windows中的安装运行MongoDB连接MongoDBMongoDB概念介绍MongoDB三要素MongoDB中数据库的基本使用MongoDB中数据库的基础命令MongoDB的数据类型数据库命名规范MongoDB的增删改查MongoDB插入数据单条插入数据多条插入数据MongoDB的保存MongoDB的查询数据测试数
2022-03-12 12:51:45
1623
2
原创 Python爬虫编程8——Scrapy框架
一.Scrapy介绍什么是ScrapyScrapy是一个为了爬取网站数据，提取结构性数据二编写的应用框架，我们只需要实现少量的代码，就能快速的进行抓取，Scrapy使用了Twisted异步网络框架，可以极大的加速我们的下载速度。Scrapy官方文档初窥Scrapy — Scrapy 1.0.5 文档http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html异步与非阻塞的区别异步：调用在发出之后，这个调用就直
2022-03-11 13:27:50
1153
原创 Python爬虫编程7——多线程爬虫
目录一.多线程基本介绍程序中模拟多任务二.多线程的创建三.主线程与子线程的执行关系四.查看线程数量五.线程间的通信（多线程共享全局变量）六.线程间的资源竞争互斥锁和死锁互斥锁死锁七.Queue线程八.生产者和消费者Lock版的生产者和消费者Condition版的生产者和消费者九.多线程的应用实例爬取小米商城使用普通方式爬取使用多线程爬取一.多线程基本介绍有很多场景中的事情是同时进行的，比如开车的时候手和脚来共同驾驶汽车，再比如唱
2022-02-27 12:16:52
2884
原创 Python爬虫编程6——selenium
目录爬虫和反爬虫的斗争爬虫建议ajax基本介绍动态了解HTML技术获取ajax数据的方式一.Selenium+chromedriverSelenium介绍Phantomjs快速入门Phantomjs案例selenium快速入门定位元素操作表单数据鼠标行为链Selenium页面等待Cookie操作页面等待打开多窗口和切换页面特征识别和设置无头窗口selenium常用的js操作二.图形验证码识别Tesseract安装以及操作
2022-02-18 11:13:09
1433
原创 Python爬虫编程4——数据解析模块之bs4
目录一.bs4简介1.基本概念2.源码分析二.bs4的使用1.快速开始2.bs4的对象种类三.遍历文档树 遍历子节点1.contents children descendants2.string strings stripped_strings四.遍历文档树 遍历父节点1.parent和parents五.遍历文档树 遍历兄弟节点六.搜索树七.find_all() 和 find()八.select（）方法九...
2022-01-21 17:37:19
2872
原创 Python爬虫编程5——数据保存csv模块
目录一.什么是csv？二.csv模块的使用1.写入csv文件2.读取文件一.什么是csv？CSV（Comma Separated Values），即逗号分隔值（也称字符分隔值，因为分隔符可以不是逗号），是一种常用的文本格式，用以存储表格数据，包括数字或字符。很多程序在处理数据时都会碰到csv这种格式的文件。python自带了csv模块，专门用于处理csv文件的读取。二.csv模块的使用1.写入csv文件（1）通过创建writer对象，主要用到2个方法。一个是wri
2022-01-21 16:41:34
1236
原创 Python爬虫编程3——数据解析模块之正则
目录一.正则表达式简介1.概念2.正则表达式应用场景二.正则表达式对Python的支持1.普通字符2.match()函数3.元字符4.预定义匹配字符集5.重复匹配6.位置匹配7.贪婪和非贪婪模式三.re模块常用方法compile(pattern, flags=0)flag匹配模式search(pattern, string, flags=0)findall(pattern, string, flags=0)split(pattern, st
2022-01-14 15:58:47
714
原创 机器学习PyTorch——3.高阶OP
一.where函数torch.where(condition, x, y)where函数具体作用为：利用x和y生成一个新的tensor，其中的参数 condition 为一个与x和y一样shape的tensor，掌管着新的tensor的生成条件，如果condition某个位置的值为1，则新的tensor来自与x， 反之为0，则来自于y。（condition的使用很灵活）例如：二.gather函数torch.gather(input, dim, index, out=None)
2022-01-10 18:21:11
688
原创 机器学习PyTorch——2.数据统计
一.范数使用norm()，可以指定维度torch.norm(input, p='fro', dim=None, keepdim=False, out=None, dtype=None)input：输入tensor p (int, float, inf, -inf, 'fro', 'nuc', optional)：范数计算中的幂指数值。默认为'fro' dim (int，2-tuple，2-list， optional): 指定计算的维度。如果是一个整数值，向量范数将被计算；如果是一个大小为
2022-01-09 15:25:34
336
原创 Python爬虫编程2——请求模块
一.urllib.request模块1.版本python2：urllib2，urllibpython3：把urllib和urllib2合并2.常用的方法（1）urllib.request.urlopen("网址") 作用 ：向网站发起一个请求并获取响应；（2）字节流 = response.read()，得到字节流数据；（3）字符串 = response.read().decode("utf-8")；（4）urllib.request.Request"网址",headers
2022-01-08 23:00:45
599
原创 机器学习PyTorch——1.基本运算
一.加减乘除（1）在pytorch中，既可以使用基本的：+，-，*，/，运算符号进行计算，也可以使用pytorch的内置计算函数：add，sub，mul，div。需要注意的是，pytorch中的tensor再进行计算时，会自动进行维度的转换。例如：这里在进行加运算前，将b已经进行维度转换为[3,4]。（2）我们这里来看一下内置函数的使用：这里我们需要注意，这里的运算结果，和直接使用符号进行运算是一样的，我们可以用 eq（）来进行一下验证：二.矩阵相乘（1）使用 to.
2022-01-08 12:06:03
1766
原创 Python爬虫编程1———爬虫简介
目录一.通讯协议1.端口2.通讯协议二.网络模型1.HTTPS是什么呢？2.SSL怎么理解？3.http请求与响应4.客户端的HTTP请求5.一个典型的HTTP请求示例6.请求方法三.爬虫介绍1.什么是爬虫？2.为什么需要爬虫3.企业获取数据的方式4.Python做爬虫的优势5.爬虫的分类四.重要概念1.GET和POST2.URL组成部分3.User-Agent用户代理4.Referer五.抓包工具一.通讯协议..
2021-12-31 12:17:10
1645
原创 零基础学Python11——文件读写操作
一.文件操作1.文件操作介绍在实际操作中，通常需要将数据写入到本地文件或者从本地文件中读取数据等操作，那么作为python爱好者的我们，必须要用python语言去对本地文件进行操作。比如：2.本地文件操作步骤（1）找到文件所在的位置（2）打开文件（3）操作文件（4）关闭文件二.open()函数1.open()函数语法open(file, mode='r',encoding=None) --> 打开文件file ...
2021-12-16 13:38:00
428
原创 零基础学Python10——模块
一.模块1.模块介绍模块是一个包含所有你定义的函数和变量的文件，其扩展名为 .py 。模块可以被其他程序引入，以使用该模块中的函数等功能。这也是使用python标准库的方法。2.导入模块的方式（1）import module_name（2）from module_name import name1 name2 .....（3）from module_name import * (导入模块中的所有方法用*表示）（4）from module_name import fun...
2021-12-16 11:15:36
1173
原创 零基础学Python9——异常
一.异常1.异常介绍当python无法正常处理程序时就会发生一个异常，会影响程序的正常执行。异常也是python对象，表示一个错误。2.异常捕获当python脚本有发生异常的可能时，就需要捕获异常，避免程序终止执行。（1）语法：try: 正常程序执行此代码块except: 抛出错误执行此代码块（2）练习：将以下代码进行异常捕获；当代码异常时，将 ipt 赋值为1。ipt = input("请输入:")ipt = float(ipt)print(i
2021-12-14 20:56:13
931
1
原创 零基础学Python8——面向对象的编程思想
一.面向对象编程1.面向对象编程介绍面向对象编程:Object Oriented Programming，简称OOP，是一种程序设计思想。需要注意的是，与之对应的是面向过程的编程思想。实际上，能够使用面向对象编程思想实现的程序，也能够通过面向过程完成。只是看那种思想更适合当前的程序开发。2.面向过程和面向对象的区别面向过程：根据业务逻辑从上到下写代码。面向对象：将数据与函数绑定到一起，进行封装。减少重复代码的重写过程。3.面向对象概念及术语（1）类（class）：用来描述
2021-12-09 17:56:41
1301
1
原创 零基础学Python7——高阶语法（推导式，迭代器，生成器）
一.推导式1.推导式介绍python中有一种特有的语法，就是推导式（又称为解析式）。推导式是可以从一个数据序列构建另一个新的数据序列的结构体。共有三种推导：列表推导式，字典推导式，集合推导式。2.列表推导式基本语法：[out_express for out_express in input_list]例如：生成一个[0,1,4,9,16]的列表。使用列表推导式代码如下：odd_list = [i*i for i in range(5)]print(odd_list)我们可
2021-12-07 00:38:59
393
原创 零基础学Python6——函数的使用
一.函数介绍函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码块。函数能提高应用的模块性，和代码的重复利用率。python有很多内建函数，比如 print() 。但你也可以自己创建函数，这叫做用户自定义函数。二.自定义函数1.定义规则（1）函数代码块以 def 关键词开头，后接函数标识符名称（自己定义的函数名）和圆括号（）。（2）任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。（3）函数内容以冒号开始，并且缩进。（4）函数只有调用时才会执行
2021-12-02 18:33:00
1334
原创 零基础学Python5——流程控制(顺序执行，条件判断，循环控制)
if条件判断，for循环，while循环，break语句，continue语句，顺序执行
2021-11-30 00:22:32
1237
原创 零基础学Python4——python基础数据类型(列表类型，元组类型，字典类型，bytes类型，set集合类型)
一.列表类型1.定义：列表是python中最基本也是最常用的数据结构之一。列表中的每个元素都被分配一个数字作为索引，用来表示该元素在列表内所排在的位置。第一个元素是0，第二个为1，以此类推，最后一个为-1。列表是一个有序可重复的元素组合，可嵌套，迭代，修改，分片，追加，删除，成员判断。从数据结构上来看，python列表是一个可变长度地顺序存储结构，每一个位置存放的都是对象地指针。2.创建方式：创建一个列表，只要把逗号分隔的不同数据项使用方括号括起来即可。或者使用内置函数list()。
2021-11-23 13:46:30
1202
1
原创 零基础学Python3——python基础数据类型（数字类型，布尔类型，字符串类型）
一.数据类型1.定义：在python中，数据类型分为两种。内置的和自定义的。内置的包括数字，字符串，布尔，列表，元组，字典，Bytes，集合这些常用的以及一些不常用的数据类型。而自定义的，一般以类的形式，根据需要的组合以上内置类型成为独特的数据类型。2.区分数据类型优点：（1）更好的分配管理内存；节省不必要的开支，提高读取速度和运行效率。（2）方便统一管理，提供同样的API。这样我们可以为同一数据类型，提供同样的操作，限制其它不允许的行为，也易于查找错误，定位错误。（3）区分数据类型，更
2021-11-21 13:54:42
1733
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人