- 博客(24)
- 收藏
- 关注
RSS订阅原创 用循环结构程序自动化计算——计数循环
低阶目标：利用for循环结构来完成已知次数的自动化处理，掌握计数循环结构应用方法高阶目标：学会利用for循环解决生活中的实际问题链接: 数学王子高斯是如何实现的？高斯用来一种聪明的方法，很快就算出了这么“麻烦”的计算题。不过，如果当时你也在课堂上，只要你带着一台计算机，可能比高斯算的还快呢。如何用计算机解决这个问题呢，请同学们思考解决方法。代码如下（示例）：三、迁移运用尝试一下以下几个问题：1、有一个5层的金字塔，最上边有一块石头，第二层3块石头，问最下边有几块石头？2、据说，古代有个人发明了
2023-11-06 16:03:43
399
原创 WebDriverException: Message: ‘chromedriver‘ executable needs to be in PATH.
问题描述：在使用Jupyter Notebook 对数据进行抓取的过程中出现了WebDriverException: Message: 'chromedriver' executable needs to be in PATH.的错误问题原因：chromedriver.exe安装出现问题（没有安装或者安装的chromedriver.exe版本有问题等）解决方法：1. 打开谷歌浏览器，输入：chrome://version查看浏览器的版本：2.下载合适的chromedriver.exeh
2020-08-04 16:01:20
683
原创 3 静态网页爬取②使用requests库实现HTTP请求
3 静态网页爬取3.3 使用requests库实现HTTP请求1. 生成请求2. 查看状态码与编码3. 请求头与响应头处理4. Timeout设置5. 生成完整HTTP请求3.3 使用requests库实现HTTP请求requests库是一个原生的HTTP库，比urllib3库更为容易使用。requests库发送原生的HTTP 1.1请求，无需手动为URL添加查询字串，也不需要对POST数据进行表单编码。相对于urllib3库，requests库拥有完全自动化Keep-alive和HTTP连接池的功能。
2020-08-01 17:16:32
1500
原创 3 静态网页爬取①urllib3库实现爬取
3 静态网页爬取3.1 介绍静态网页爬虫的基本流程3.2 使用urllib3库实现爬取1.生成请求2.请求头处理3. Timeout设置4.请求重试设置5. 生成完整HTTP请求6.完整代码3.1 介绍静态网页在网站设计中，纯粹HTML（标准通用标记语言下的一个应用）格式的网页通常被称为“静态网页”，静态网页是标准的HTML文件，它的文件扩展名是.htm、.html，可以包含文本、图像、声音、FLASH动画、客户端脚本和ActiveX控件及JAVA小程序等。静态网页是网站建设的基础，早期的网站一
2020-08-01 16:56:23
1444
原创 2 网页前端基础HTTP
2 网页前端基础HTTP2.1 HTTP请求方式与过程1 请求方法2. 请求（request）与响应（response）RequestResponse2.2 常见HTTP状态码1.HTTP状态码种类2. 常见HTTP状态码2.3 HTTP头部信息1. HTTP头部类型2 常用的字段2.4 Cookie1. Cookie机制2. Cookie的存储方式3. Cookie的实现过程Socket2.5 Python网络编程Socket库1. socket协议类型2. socket函数2.6 使用Socket进行T
2020-08-01 15:48:38
302
原创 1 爬虫认识以及环境配置
1 爬虫认识以及环境配置1.1 认识爬虫1.1.1 爬虫的概念1.1.2 爬虫的原理1.通用网络爬虫2. 聚焦网络爬虫3. 增量式网络爬虫4. 深层网络爬虫1.1.3 爬虫的合法性1.1.4 robots协议robots.txt 的样例robotparser 模块1.1.5 常用方法1.2 认识反爬虫1.2.1 网站反爬虫的目的与手段1. 通过User-Agent校验反爬2. 通过访问频度反爬3. 通过验证码校验反爬4. 通过变换网页结构反爬5. 通过账号权限反爬1.2.2 爬取策略1.3 环境配置1
2020-08-01 13:34:45
235
原创 问题解决：ModuleNotFoundError: No module named ‘pyecharts‘
问题描述ModuleNotFoundError Traceback (most recent call last)<ipython-input-1-b72d66a4b471> in <module>----> 1 from pyecharts.charts import Scatter 2 import pyecharts.options as opts 3 import numpy as np
2020-07-26 15:12:13
8697
原创 5 使用pandas进行数据预处理
5 使用pandas进行数据预处理5.1 合并数据5.1.1 堆叠合并数据1. 横向表堆叠2.2. 纵向堆叠——concat函数5.1 合并数据5.1.1 堆叠合并数据1. 横向表堆叠什么是横向表堆叠？当axis=1的时候，concat做行对齐，然后将不同列名称的两张或多张表合并。当两个表索引不完全一样时，可以使用join参数选择是内连接还是外连接。在内连接的情况下，仅仅返回索引重叠部分。在外连接的情况下，则显示索引的并集部分数据，不足的地方则使用空值填补。当两张表完全一样时，不论join参数
2020-07-26 10:29:02
609
原创 4 pandas统计分析基础 下
4 pandas统计分析基础4.4 使用分组聚合进行组内计算4.4.1 使用groupby方法拆分数据1.groupby方法的参数及其说明2.GroupBy对象常用的描述性统计方法4.4.2 使用agg方法聚合数据1.agg和aggregate函数参数及其说明2.agg方法求统计量3.agg方法与自定义的函数4.4.3 使用apply方法聚合数据4.4.4 使用transform方法聚合数据4.5 创建透视表与交叉表4.5.1 使用povit_table函数创建透视表1.pivot_table函数常用参数及
2020-07-25 17:39:45
422
转载 4 pandas统计分析基础 上
4 pandas统计分析基础4.1 读写不同数据源的数据4.1.1 读取数据库1.数据库数据读取2 数据库数据存储4.1.2 文本文件读取1.读取2.文本文件储存4.1.3 读写Excel文件1.Excel文件读取2.Excel文件储存4.2 掌握DataFrame的常用操作4.2.1 查看DataFrame的常用属性4.2.2 查改增删DataFrame数据1.查看访问DataFrame中的数据——数据基本查看方式1.查看访问DataFrame中的数据——loc，iloc访问方式1.查看访问DataFra
2020-07-25 17:17:19
239
原创 3 Matplotlib数据可视化基础
Matplotlib数据可视化基础3.1 pyplot基础语法、绘图流程1.创建画布与创建子图2.添加画布内容3.保存与展示图形3.2 散点图与折线图（分析特征间的关系）1 散点图scatter函数2 折线图plot函数3.3 直方图、饼图与箱线图（分析特征内部数据分布与分散状况）1 直方图bar函数2饼图pie函数3 箱线图boxplot函数3.1 pyplot基础语法、绘图流程1.创建画布与创建子图第一部分主要作用是构建出一张空白的画布，并可以选择是否将整个画布划分为多个部分，方便在同一幅图上绘
2020-07-23 15:26:09
357
原创 2 NumPy 数值计算基础-3-NumPy统计分析
2 NumPy 数值计算基础2.3 利用 NumPy 进行统计分析2.3.1 读写文件形式2.3.2 读取文本格式的数据2.3.3 使用数组进行简单统计分析直接排序间接排序去重与重复数据2.3.4 常用的统计函数2.3 利用 NumPy 进行统计分析2.3.1 读写文件形式NumPy文件读写主要有二进制的文件读写和文件列表形式的数据读写两种形式save函数是以二进制的格式保存数据。 np.save("…/tmp/save_arr",arr)load函数是从二进制的文件中读取数据。 np.load
2020-07-23 15:09:44
262
原创 2 NumPy 数值计算基础-2-矩阵与通用函数
2 NumPy 数值计算基础2.2 NumPy 矩阵与通用函数2.2.1 创建与组合矩阵2.2.2 矩阵的运算2.2.3 认识ufunc函数2.2.4 ufunc函数的广播机制2.2 NumPy 矩阵与通用函数2.2.1 创建与组合矩阵使用mat函数创建矩阵： matr1 = np.mat(“1 2 3;4 5 6;7 8 9”)使用matrix函数创建矩阵：matr2 = np.matrix([[123],[456],[789]])使用bmat函数合成矩阵：np.bmat(“arr1 arr2
2020-07-23 14:56:22
271
原创 2 NumPy 数值计算基础-1-数组部分
2 NumPy 数值计算基础2.1 掌握 NumPy 数组对象 ndarray2.1.1 创建数组对象1．数组属性：2．数组创建3．数组数据类型2.1.2 生成随机数2.1.3 通过索引访问数组1．一维数组的索引2．多维数组的索引2.1.4 变换数组的形态改变数组形状使用ravel函数展平数组使用flatten函数展平数组组合数组切割数组2.1 掌握 NumPy 数组对象 ndarray2.1.1 创建数组对象1．数组属性：ndarray（数组）是存储单一数据类型的多维数组。2．数组创建
2020-07-23 14:48:30
232
原创 Pyecharts基础可视化-概述
module 2 Pyecharts基础可视化①Part 1 基础概述Part 2 绘图逻辑2.1 选择图表类型，引入相关模块2.2 添加数据2.3 显示、保存图表2.4 全局配置组件：定制图表Part 1 基础概述Echarts 是一个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。而 Python 是一门富有表达力的语言，很适合用于数据处理。当数据分析遇上数据可视化时，pyecharts 诞生了。pyecharts 分为 v0.5.X 和 v1 两个大版本，
2020-07-23 11:49:35
216
原创 可视化基础 ②基础语法
module 1 可视化基础②Part 2 基础语法2.1 pyplot基础语法、绘图流程1.创建画布与创建子图2.添加画布内容3.保存与展示图形2.1 具体应用1、绘制散点图2、折线图3 柱状图4 饼图5 注释6 标题Part 2 基础语法2.1 pyplot基础语法、绘图流程1.创建画布与创建子图第一部分主要作用是构建出一张空白的画布，并可以选择是否将整个画布划分为多个部分，方便在同一幅图上绘制多个图形的情况。最简单的绘图可以省略第一部分，而后直接在默认的画布上进行图形绘制。2.添加画布内容
2020-07-22 12:58:33
179
原创 可视化基础 ①基础概述
module 1 可视化基础①Part 1 基础概述1.1 数据可视化1.2 Python数据可视化1.3 Matplotlib可视化Part 1 基础概述1.1 数据可视化数据可视化，是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。1.2 Python数据可视化Python 是一门富有表达力的语言，很适合用于数据分析。Python有很多数据可视化的package，主要分为探索性分析方向的（Matp
2020-07-22 12:42:15
219
原创 1 python数据分析概述
1 python数据分析概述1.1 概述数据分析的概念数据分析的流程数据分析的应用场景1. 客户分析2. 营销分析：3. 社交媒体分析4. 网络安全5. 设备管理6. 交通物流分析7. 欺诈行为检测1.2 熟悉Python数据分析的工具Python 数据分析优势Python数据分析常用类库1．IPython——科学计算标准工具集的组成部分2．NumPy(Numerical Python)—— Python 科学计算的基础包3．SciPy——专门解决科学计算中各种标准问题域的模块的集合4．Pandas——数据
2020-07-06 23:46:52
876
原创 2.1 python函数
2.1 python函数2.1.1 函数自定义函数第一种方法第二种方法2.1.2函数练习自定义求序列偶数个数的函数2.1.1 函数自定义函数第一种方法def function(x,y): return 'result’例：自定义一个函数，能求出一组给定数组中奇数的个数def Sum(x,y=1): return x+y第二种方法y = lambda x:x+1# 第二种方式y = lambda x:x**2y1 = lambda x:x[1]res = Sum(1, 2
2020-07-04 21:04:24
163
原创 1.5 python文件操作
1.5 python文件操作1.5.1 文件的具体操作打开文件写数据(write)读数据(read)part 1part 2总结打开文件文件操作方法1.5.2 操作实例1.5.1 文件的具体操作打开文件f = open('test.txt', 'w')在python，使用open函数，可以打开一个已经存在的文件，或者创建一个新文件：open(文件名，访问模式)写数据(write)f = open('test.txt', 'w')f.write('hello world,\n')f.wr
2020-07-04 20:49:27
590
2
原创 1.4 字符串&字典操作
1.4 字符串操作1.4.1 字符串及其索引&切片字符串的创建索引&切片1.4.2 字符串常见的操作字符串的常见方法举例1.4.3 字典的创建及索引创建出现重复键不可以列表做为键访问字典中的元素1.4.4 字典的常用操作新增键值对单个多个删除1.4.5 字典推导式 _batch1.4.1 字符串及其索引&切片字符串的创建# 单引号string = 'My name'# 双引号string = "My name"# 三引号，可以跨行string = '''Myna
2020-07-04 10:09:49
4326
1
原创 1.3 程序流程控制语句
1.3 程序流程控制语句1.3.1 常用的操作符算术操作符赋值操作符比较操作符逻辑操作符1.3.2 条件判定语句单个if的条件判定语句if...else...的条件判定语句if...elif...else的条件判定语句1.3.1 常用的操作符算术操作符赋值操作符比较操作符逻辑操作符注意算术操作符一般会返回一个数，而比较和逻辑操作符会返回布尔值True或False。# 比较运算符，返回True or Fasleres = 1 < 2# 比较运算符，连续返回True or F
2020-07-04 08:58:34
185
原创 1.1 python编程基础准备工作
1.1 python编程准备工作1.1.1 认识pythonpython的优点python的缺点适用方向参考资料1.2 python环境搭建搭建方案安装路径如何插入一段漂亮的代码片1.1.1 认识pythonpython的优点简单、易学免费、开源可扩展性可嵌入性跨平台性丰富的第三方类库python的缺点运行速度框架选择太多适用方向Web开发数据分析师数据挖掘工程师自动化运维：批量处理大量的运维任务游戏开发者自动化测试机器学习参考资料1: Python官方文档.2:
2020-07-04 00:00:21
141
原创 1.2 python的list操作
1.2 python的list操作1.2.1 python基础程序输出注释创建写入txt文档变量1.2.2 python中的number数据类型number的具体数据类型math模块1.2.3 列表列表的构建及索引列表的构建列表的索引列表的切片列表元素的增删改操作列表的新增操作列表的改操作列表的删除操作列表推导式补充：for循环的格式使用for循环构建列表列表推导式代替for循环构建列表1.2.1 python基础程序输出输出print('hello world')结果hello world
2020-07-03 14:14:41
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人