2021年04月_Python 集中营

12月 11月 10月 09月 08月 06月 04月 03月 02月

原创 python数据可视化 | 采集到视图数据后，轻松使用matplotlib绘制成横向、纵向条形图

微信公众号：Python 集中营简单的事情重复做，重复的事情坚持做，坚持的事情用心做;你的肯定是我坚持的动力，如果这篇文章对你有帮助，点个关注吧！相关依赖库1# -- coding: UTF-8 --23’’’4条形图5’’’67# matplotlib 数据可视化库89import matplotlib.pyplot as plt构造基础数据1’’’2构造原始数据3’’’4# 定义分类数据56classify = [‘C’, ‘Java’, ‘Python’, ‘C#

2021-04-26 14:57:08 816

原创 python知识巩固 | 自定义日志模块封装，将日志格式化打印到控制台或是输出到文件？

微信公众号：Python 集中营简单的事情重复做，重复的事情坚持做，坚持的事情用心做;你的肯定是我坚持的动力，如果这篇文章对你有帮助，点个关注吧！相关依赖库 1# -*- coding: UTF-8 -*- 2 3# 日志模块 4 5import logging 6 7# 时间模块 8 9import datetime1011# 系统操作模块1213import os1415# 日志处理模块1617from logging import handlers初始化.

2021-04-25 21:05:53 257

原创 python数据可视化 | matplotlib.pyplot()函数绘制散点图

微信公众号：Python 集中营简单的事情重复做，重复的事情坚持做，坚持的事情用心做;你的肯定是我坚持的动力，如果这篇文章对你有帮助，点个关注吧！相关依赖库 1# -*- coding: UTF-8 -*- 2 3''' 4散点图 5''' 6# matplotlib 数据可视化库 7 8import matplotlib.pyplot as plt 910# 科学计算库1112import numpy as np基本散点图 1''' 2基本散点图 3''' 4

2021-04-24 16:03:47 892

原创 python数据可视化 | matplotlib.pyplot()函数绘制线形图，感受数据直观变化

微信公众号：Python 集中营简单的事情重复做，重复的事情坚持做，坚持的事情用心做;你的肯定是我坚持的动力，如果这篇文章对你有帮助，点个关注吧！相关依赖库 1''' 2线形图 3''' 4# matplotlib 数据可视化库 5 6import matplotlib.pyplot as plt 7 8# pandas 数据提炼库 910import pandas as pd基本线性图 1''' 2基本线性图 3''' 4import numpy as np 5

2021-04-23 14:43:54 1126

原创 python数据可视化 | matplotlib.pyplot()函数绘制饼图

微信公众号：Python 集中营简单的事情重复做，重复的事情坚持做，坚持的事情用心做;你的肯定是我坚持的动力，如果这篇文章对你有帮助，点个关注吧！相关依赖库1# -*- coding: UTF-8 -*-23'''4饼图5'''6# matplotlib 数据可视化库78import matplotlib.pyplot as plt数据及属性设置 1''' 2数据及属性设置 3''' 4# 设置图像大小 5 6plt.figure(figsize=(8, 6)) 7

2021-04-22 14:48:23 698

原创 python数据可视化 | DataFrame.plot()函数绘制数据图

微信公众号：Python 集中营简单的事情重复做，重复的事情坚持做，坚持的事情用心做;你的肯定是我坚持的动力，如果这篇文章对你有帮助，点个关注吧！相关依赖库 1# -*- coding: UTF-8 -*- 2 3''' 4DataFrame绘图 5''' 6# pandas 数据提炼扩展库 7 8import pandas as pd 910# numpy 科学计算库1112import numpy as np1314# matplotlib 数据可视化库1516im

2021-04-21 14:44:05 13278 1

原创趣味python | 一步一步绘制小猪佩奇

微信公众号：Python 集中营简单的事情重复做，重复的事情坚持做，坚持的事情用心做;你的肯定是我坚持的动力，如果这篇文章对你有帮助，点个关注吧！定义全局属性 1# 导入turtle绘图库 2 3import turtle as tle 4 5class peppa_turtle: 6 7 # 初始化全局属性 8 9 def __init__(self):1011 self.tle = tle1213 # #全局画笔属性设置1415

2021-04-20 14:42:11 558 1

原创 pandas数据分析 | pandas.DataFrame数据修改、索引设置、数据组合

微信公众号：Python 集中营简单的事情重复做，重复的事情坚持做，坚持的事情用心做;你的肯定是我坚持的动力，如果这篇文章对你有帮助，点个关注吧！相关扩展库1# -*- coding: UTF-8 -*-23import pandas as pd456data_dict = {'first_col': [1, 2, 3, 4], 'second_col': [5, 6, 7, 8]}78df = pd.DataFrame(data_dict)数据修改 1import numpy

2021-04-19 14:41:55 297

原创 python数据分析 | pandas.DataFrame基本数据提炼与处理

构造原始数据1# -*- coding: UTF-8 -*-23import pandas as pd45data_dict = {'first_col': [1, 2, 3, 4], 'second_col': [5, 6, 7, 8]}67df = pd.DataFrame(data_dict)iloc()切片函数 1# iloc()函数，切片与索引操作(只能按索引为进行数据切片提取，不能按字符串提取) 2 3# 返回第一行的所有列 4 5print(df.iloc[1,:]

2021-04-18 10:38:51 236

原创 python数据分析 | pandas.DataFrame基本聚合函数统计数据

相关扩展库1# -*- coding: UTF-8 -*-23import pandas as pd45data_dict = {'first_col': [1, 2, 3, 4], 'second_col': [5, 6, 7, 8]}67df = pd.DataFrame(data_dict)统计简略信息 1# 生成简要的数据统计数据 2 3describe(percentiles=None, include=None, exclude=None) 4# firs

2021-04-18 10:25:51 1223 1

原创 python数据分析 | 多种方式获取pandas.DataFrame数据对象

相关扩展库1# -*- coding: UTF-8 -*-23# 导入扩展库45import pandas as pd67import numpy as np创建空DataFrame对象1# 自定义列名创建空的DataFrame数据对象23df = pd.DataFrame(columns={"name": "", "age": "", "sex": "", "score": "", "rate": ""})45print(df)67# Empty DataFrame8#

2021-04-16 22:04:38 871 2

原创 python数据分析 | 重新认识数据分析中的三剑客？

数据分析三剑客数据分析就是让数据数据产生价值，通过数据的筛选、汇总等等操作从而分析或预测出事件的变化规律。python语言在数据分析领域同样扮演者比较强大的角色，其中被树枝的主要有三个扩展库用来做数据分析，分别是：pandas、numpy、matplotlib，其中，pandas主要是用作提炼数据使用、numpy则提供强大的科学计算、matplotlib负责数据可视化的操作，三者并成为python数据分析界的三大剑客。pandas数据提炼库在之前操作excel数据时已经接触过了pandas进行数据提炼

2021-04-16 21:55:14 2114

原创 python数据分析 | pandas关于csv文件的读写操作

微信公众号：Python 集中营简单的事情重复做，重复的事情坚持做，坚持的事情用心做;你的肯定是我坚持的动力，如果这篇文章对你有帮助，点个关注吧！sep自定义分隔符1file_path = "data.csv"23# 返回DataFrame数据结构,sep参数自定义分隔符45df = pd.read_csv(file_path, sep=',')67print(df.head(5))header自定义标题行1# 返回DataFrame数据结构,header参数自定义哪一行数据为标题

2021-04-14 14:05:06 236

原创 python数据分析 | 学习路线一览

随着大数据的发酵，有很多人都看向了数据分析师这个职位。昨天，老王在微信指数中搜索了“数据分析”这个关键字结果竟然达到了600多万。要知道python的位置微信指数才不到1000万，本着为广大猿友答疑解惑的初衷，笔者默默的写下了这篇文章。1、数学知识大四的时候，有一门数学学科叫“概率论与数理统计”，这在后面的数据分析时候是非常重要的。比如，什么是期望值、中位数这些基础的概念首先得清楚，这里推荐一本书《概率论与数理统计》。2、python基础知识掌握这里就不多说了，Google上面的资料有很多，可以找些

2021-04-13 21:23:05 807 1

原创 python数据分析|pandas的excel基本数据操作(附加篇)

1、下载并导入相关扩展库1# 下载扩展库2pip install xlrd3pip install pandas4# -*- coding: UTF-8 -*-56# 导入 pandas 库7import pandas as pd2、准备数据文件3、读取文件工作表 1# 读取excel文件指定工作表数据 2 3print("工作表：data1数据内容") 4data_fram_data1 = pd.read_excel('C:/python集中营/pandas操作excel数据

2021-04-12 14:06:52 287

原创 python爬虫|pyspider的第一个爬虫程序，大功告成！

关于pyspider的安装前往查看前序文章《踩坑记：终于怀着忐忑的心情完成了对 python 爬虫扩展库 pyspider 的安装》1、启动pyspider服务1pyspider all2、创建pyspider项目3、项目区域说明4、从百度首页开始爬取填写百度首页地址点击run开始爬取，点击爬取到的链接执行下一步任意点击爬取到的链接进入下一步爬取返回所进入的详情页内容5、代码编辑区函数 1#!/usr/bin/env python 2# -*- encoding: utf

2021-04-11 13:31:56 236

原创踩坑记：终于怀着忐忑的心情完成了对 python 爬虫扩展库 pyspider 的安装

在前面的系列文章中，笔者说了一些爬虫入门的相关知识点以及一些比较基本的爬虫方法和简单的框架使用等。下一个环节我么一起来看看 pyspider 框架。首先，这款框架的安装就十分令人头疼，花费了好几个小时本来要和女朋友聊天的时间，老王经过不断的踩坑终于安装成功了，所以，特别记录一下。1、pyspider介绍一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。http://d

2021-04-10 09:50:45 223

原创认识爬虫：在 python 爬虫过程中做一个正人君子？了解一下 robots.txt 文件吧？

什么是 robots.txt 文件？网络爬虫程序在执行时，首先应该检查站点根目录是否存在 robots.txt 文件。当这个文本文件存在时应该按照它的规则来爬取执行相应的内容，也就是爬取站点开放范围内的内容。当然，如果说你的站点不想被任何形式的爬虫、这个时候搜索引擎也是不能收录你站点的内容的，搜索引擎不进行收录时网站的 SEO 优化也会受到影响。robots.txt 文件防君子、不防小人。大多时候，robots.txt 文件的校验都被忽略了，最好在进行网络爬虫之前检验 robots.txt 文件是否存在

2021-04-10 09:44:02 268

原创爬虫实战：python 扩展库 urllib2 应用之如何自定义电影类型爬取豆瓣电影数据？

1、导入项目所需要的的扩展库1# -*- coding: UTF-8 -*-23# 导入 urllib 用于参数数据编码4import urllib5# 导入 urllib2 用于执行核心爬虫6import urllib278# 导入 UserAgent 用于生成 UA9from fake_useragent import UserAgent2、执行网页请求函数 1# 执行网页请求 2def req_url(self,full_url): 3 # 构造请求头 4 h

2021-04-08 14:04:45 318

原创爬虫实战：urllib2 应用之如何实现对某贴吧数据针对爬取、并完成实现代码封装？

2021-04-07 14:43:27 271

原创认识爬虫：优秀的爬虫利器，pyquery 框架爬虫到底有多简洁？

了解过了 BeautifulSoup 对象的爬虫解析、lxml 扩展库的 xpath 语法等 html 的解析库，现在来说说 pyquery ，看名称就长得和 jquery 很像。其实，pyquery 就是仿照 jquery 的语法来实现的，语法使用可以说是几乎相同，算是前端爬虫的福利语言，如果你恰好会一些 jquery 的语法使用起来就会非常简单。1、安装并导入 pyquery 扩展库1pip install -i https://pypi.mirrors.ustc.edu.cn/simple/ py

2021-04-06 22:36:33 213

原创认识爬虫：提取网站 cookie 信息，并使用 cookie 信息实现登录

为什么要使用 cookie 信息来进行爬虫呢？做后端的朋友们都知道，一般情况下，在服务器上发布接口都是要设置身份信息验证，验证的方式就是通过 cookie 信息中包含的身份认证来进行验证。在身份验证通过之后，才能获取到响应接口的信息，所以，掌握这一点在爬虫过程中也是极为必要，不然只能爬取一些不需要验证的公开信息，话不多说，我们进入实战环节。1、导入依赖的第三方扩展库 1# -*- coding: UTF-8 -*- 2 3# 导入 urllib 库，对请求参数进行编码 4import urllib

2021-04-05 09:07:48 1066

原创认识爬虫：python 网页解析器，掌握第三方 lxml 扩展库与 xpath 的使用方法？

前面一章中说到了使用 BeautifulSoup 对象来解析爬虫过程中下载的网页，而今天说的则是使用另外一种扩展库 lxml 来对网页完成解析。同样的，lxml 库能完成对 html、xml 格式的文件解析，并且能够用来解析大型的文档、解析速度也是相对比较快的。要掌握 lxml 的使用，就需要掌握掌握 xpath 的使用方法，因为 lxml 扩展库就是基于 xpath 的，所以这一章的重点主要还是对 xpath 语法使用的说明。1、导入 lxml 扩展库、并创建对象 1# -*- coding: UT

2021-04-04 11:11:43 262 2

原创认识爬虫：User-Agent 是什么，如何使用 fake_useragent 扩展库随机生成各种 UA？

很多网站服务器往往通过判断客户端请求头中的 User-Agent 包含的操作系统信息、浏览器信息等来给不同的客户端浏览器发送不同的页面显示更好的效果。因此，在爬虫过程中就需要将我们自己的请求身份伪装成某种浏览器，而这个伪装信息就包含在 User-Agent 字段的赋值中，所以才要研究如何随机的生成各种不同的 User-Agent 的值来伪装我们的爬虫身份。1、浏览器的 UA 字符串服务器对客户端请求头的 UserAgent 检测又称为 UA 检测，UA 值的字符串标准格式一般为：浏览器标识 (操作系统标

2021-04-03 10:52:00 778 2

原创认识爬虫：怎么使用代理 IP 规避反爬虫以及使用爬虫获取更多可用的免费代理 IP？

在一些网站服务中，除了对 user-agent 的身份信息进行检测、也对客户端的 ip 地址做了限制，如果是同一个客户端访问此网站服务器的次数过多就会将其识别为爬虫，因而，限制其客户端 ip 的访问。这样的限制给我们的爬虫带来了麻烦，所以使用代理 ip 在爬虫中是非常有必要的。要使用代理 ip 进行爬虫就面临两个问题，一是怎么使用、这个就相对简单，另一个是怎么获取这么多的代理 ip。获取代理 ip 可以去代理 ip 的站点购买、也有免费的代理 ip 站点，相对来说买的代理 ip 的质量更高一些，最后，我们

2021-04-02 09:40:38 327

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

课堂点名系统.zip+完整源码

批量PDF水印.zip+完整源码

自动关机小工具.zip

动态时钟.zip+完整源代码

春联生成器.zip+完整源代码

Excel数据合并拆分器.zip

Excel数据分组汇总器.zip

Excel数据处理器整合版.zip

数据文本转换器，可完成对文本文档（.txt）、CSV文档、Excel文档的格式转换！

PyQt自制的可最小化小闹钟，附完整源码！

PyQt5开发的猜数字游戏，附完整源码！

Python开发的二维码生成器，已打包成exe桌面应用！

使用Python语言开发的C盘垃圾清理工具！

空空如也