- 博客(45)
- 收藏
- 关注
RSS订阅原创 pandas-1-Series和DataFrame介绍
其中的键（'name'，'age'，'city'）将成为 DataFrame 的列名，对应的值（列表）将成为该列的数据。可以看到，DataFrame 有两个索引：一个是行索引（在这个例子中是 0 到 3），另一个是列索引（在这个例子中是 'name'，'age'，'city'）。使用字典创建DataFrame实例时，利用DataFrame可以将字典的键直接设置为列索引，并且制定一个列表作为字典的值，字典的值便成为该索引下所有的元素。每个值都有一个与之相关联的标签，这些标签在这个例子中是0到5的整数。
2023-07-14 21:41:51
397
原创 理想的实验
这里更关注的是“因果关系”，谁是因，谁是果？→班级规模对学生分数的影响→教育水平对工资水平的因果效用，个体接受更多的教育所带来的工资增长量→殖民地制度对经济增长的影响理想条件下的实验通常是假设出来的这个问题让我们思考如果能进行理想的实验，我们会怎样做。这通常涉及到一种假设情况，我们可以完全控制并随机分配影响因果关系的所有潜在变量。这是一种理论上的设想，可以帮助我们设计实际的研究方法。研究人员如何运用观察数据（不是随机实验产生的数据）来逼近真实实验。
2023-06-11 13:05:52
1345
原创 第八章-大数据分析-Power Query应用
1 利用power query合并多个工作簿数据1.1 源数据文件夹内含有很多的excel表格，这些工作簿的字段是相同的。【注意】数据在合并的时候，要求每个表格的标题字段名保持一致。否则合并数据将会出错。1.2 操作步骤1：新建一个空工作表——数据——查询数据——从文件(F)——从文件夹(F)步骤2：选择目标文件夹——确定步骤3：点击“转换数据”——跳转至“Power Query编辑器”界面步骤4：步骤：步骤：步骤：2 利用power query合并
2022-05-28 20:27:01
1518
原创 第七章-数据分析-数据透视表的应用
学习资料https://www.lanrenexcel.com/5-steps-to-pivot-table/https://zhuanlan.zhihu.com/p/749950271 通过数据透视表分析数据数据透视表虽然好用，但是分析的源数据必须满足在第1章《1.3Excel中源数据表常见错误暨规范化处理方法》中所讲述的数据规范要求，否则不能直接秀析。1.1 单个行列字段布局（1）要求（2） 结果预览图（3） 操作1.2 多个行字段布局（1）要求（2）结果预览图
2022-05-27 23:56:51
1735
原创 第六章-数据统计-EXCEL常用函数使用技术
1 Excel四则运算1.1 表达式1.2 常见错误2 Excel单元格行列混合引用3 常见函数应用3.1 综合类最大值——MAX()最小值——MIN()第N大值 ——LARGE(区域或数组，N)第N小值——SMALL(区域或数组，N)平均值——AVERAGE()排名——RANK()3.2 计数COUNT函数——返回包含数字以及包含参数列表中的数字的单元格的个数。利用COUNT函数可以计算单元格区域或数字数组中数字字段的输入项个数。COUNTA函数——返回参数列表中非空值的
2022-05-10 23:12:21
1656
原创 第五章-单元格区域名称管理技术应用
操作1：点击水费价格对应的单元格，再左上角重命名为"水分价格"。“实用"操作类似操作2：在金额单元格数据”=水费价格*实用"回车刚才的操作可以在"公式"下的”名称管理器"看到。
2022-05-09 23:16:08
100
原创 第四章-数据清洗-高效率管理内外部数据应用
1 数据录入指南1.1 我们的源数据表从哪里来?1.1人工从键盘录入数据。 比如学生考试成绩表，个人基本信息等，需要人工输入后才能分析汇总。1.2从外部数据导入。 类似公司数据库、CRM系统，OA系统，网站、云端数据等导入到Excel工作表。 举例:学校食堂要分析同学们的消费数据，可以从食堂消费系统导出数据。那么食堂的消费数据从哪里来? 就是同学们在办理饭卡的时候，就登记了自己的基本信息。在吃饭刷卡的时候，系统就记录了每个学生的刷卡金额。 类似食堂消费系统、学校
2022-05-09 22:59:13
312
原创 第三章-数据管理-数据名称管理技术应用
1 通过数据验证避免数据录入错误1.1 输入信息提醒操作：选中区域——“数据”——“数据验证”——在弹出的"数据验证"界面，切换至"输入信息"页面，输入相关内容即可。1.2 输入信息提醒（会报错版）要求：输入身份证为18位，否则报错。操作：选中区域——“数据”——“数据验证”——在弹出的"数据验证"界面，切换至"设置"页面，输入相关内容即可。1.3 输入信息提醒（制作下拉菜单）操作：选中区域——“数据”——“数据验证”——在弹出的"数据验证"界面，切换至"设置"页面——“允许"下拉菜单选中
2022-05-09 21:15:46
185
原创 第二章-数据打印-文件管理及文件打印设置
1 工作簿及工作表数据保护1.1 设置工作簿打开密码为"123"，否则不能打开工作簿操作：文件——信息——保护工作簿——用密码进行加密——两次输入密码1.2 清除打开密码并设置工作簿编辑密码为"456"，否则只能只读，不能编辑清除密码只需要把1.1设置的密码删除即可。设置编辑密码：在另存为界面点击"工具"，选择"常规选项"，输入密码即可。1.3 设置源数据表,不能被点中单元格,只能浏览步骤1：将所有单元格选中——“开始"选项卡的"数字”，点击更多——在"设置单元格格式"界面切换至"保护"页
2022-05-06 22:15:41
453
原创 第一章-数据规范-数据分析报表设计标准
0 前言本笔记是对“潭州课堂”的“Excel数据处理与分析（湖南大学通识课）”课程的整理，建议大家到平台上通过视频进行学习，效果更好（老师超级有趣，课程干货满满）。1 Excel数据应用层工作流程1.1 Excel工作流程数据存储-数据处理-数据分析-数据的呈现1.2 Excel相关名词解析工作簿：通常所说的Excel文件1.3 认识鼠标的三大状态选择柄：用于选择单元格区域移动柄：用于移动或配合ctrl键盘复制单元格区域填充柄：复制、填充单元格区域，包括数据、公式等，双击有惊喜！1
2022-05-05 01:13:44
3042
原创 ML模型评估
一、评估方法留出法hold-out留出法直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即$D=S \cup T,S \cap T = \varnothing ，在，在，在S上训练处模型后，用上训练处模型后，用上训练处模型后，用T$来评估其测试误差，作为对泛化误差的估计。注意：训练/测试集的划分要尽可能保存数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。——例如，在分类任务中至少要保存样本的类别比例相似。交叉验证cross validatio
2021-09-14 22:22:14
249
原创 ML基本概念
数据集data set样本sample、示例instance特征feature、属性attribute属性值attribute value属性空间attribute space、样本空间sample space——属性张成的空间特征向量feature vector——样本可以在空间中找到自己的坐标位置，由于空间中的每个点对应一个坐标向量，因此可以把一个示例称为一个特征向量学习learning、训练training——从数据中学到模型的过程；学得模型对应了关于数据的某种潜在规律——假设hypoth
2021-09-13 15:43:08
216
转载 4-八爪鱼boss直聘信息采集
目录4-1-综合实践背景4-2-综合实践操作1-打开网页2-按关键词进行搜索3-报错“当前IP地址可能存在异常访问”4-数据采集4-3-思考参考文献4-1-综合实践背景小张是某高校管理学研究生，在毕业课题中需要采集boss直聘武汉地区的相关数据，而小张同学因为是人文科学背景没有接触过爬虫，在网上搜索很多资料后，现在她找到你希望你帮她采集boss直聘网的相关数据，你应该怎么做呢？boss直聘武汉地区网站：https://www.zhipin.com/wuhan/4-2-综合实践操作1-打开网页打开
2021-08-22 20:35:03
2654
1
转载 3-八爪鱼自定义数据采集（关键词循环、数据格式化）
目录3-1-京东关键词循环与特殊字段登录账号，设置Cookie设置循环按关键词搜索3-2-豆瓣数据格式化1.替换2、正则表达式替换3、正则表达式匹配4、去除空格5、添加前缀6、添加后缀7、日期时间格式化8、HTML转码3-3-正则表达式1、正则表达式简介2、正则表达式的用途3、常用元字符及描述4、边界匹配3-4-练习与思考参考资料3-1-京东关键词循环与特殊字段京东链接：https://www.jd.com登录账号，设置Cookie进入八爪鱼打开京东的链接与“2-自动识别初体验”的微博登录设置一致
2021-08-19 18:13:24
6882
转载 2-八爪鱼的自动识别（Cookie设置、翻页与循环）
目录2-1-知识储备Cookie2-2-微博数据抓取（登陆Cookie设置）1-在八爪鱼页面打开微博的官网2-切换至“浏览模式”3-登录微博4-设置Cookie5-输入关键词6-自动识别网页，完成数据采集2-3-豆瓣图书数据抓取（翻页与循环）1-登陆八爪鱼，进入豆瓣的采集页面2-自动识别网页3-采集各个图书的链接4-循环打开各个网页采集相关信息5-点击采集开始对最终数据进行抓取2-4-采集流程逻辑1-八爪鱼的工作原理2-八爪鱼的流程逻辑案例1案例2案例32-5-思考参考资料2-1-知识储备Cookie
2021-08-18 14:28:14
8516
3
转载 1-初识八爪鱼
文章目录1.八爪鱼软件界面2.运行逻辑[以爬取36Kr快讯为例]3.思考1.八爪鱼软件界面下载地址：免费下载-Windows大数据采集软件下载 - 八爪鱼采集器 (bazhuayu.com)2.运行逻辑[以爬取36Kr快讯为例]打开八爪鱼采集器，在主页的搜索框中输入36kr快讯的地址，点击开始采集在屏幕右侧的操作提示中，点击自动识别网页，点击后会进入到识别网页的过程等网页识别完成后我们就看到了八爪鱼自动识别的结果点击生成采集设置按钮点击保存并开始采集数据采集的方式有2种，一个是
2021-08-15 15:03:01
927
原创 爬虫-验证码-图形验证码的识别
文章目录准备工作基本识别方法进一步处理转灰度二值化处理convert('1')方法指定二值化的阈值完整代码准备工作step1:安装tesseractstep2:安装tesserocr基本识别方法#1.导包import tesserocrfrom PIL import Image#2.创建image对象，打开本地文件image = Image.open('code.jpg') #3.调用tesserocr的image_to_text()方法，传入Image对象完成识别result =
2021-05-10 17:38:04
126
原创 Django-6-设计注册、登陆网页
文章目录在templates目录下创建regist.html文件：修改learn/models.py文件,加入如下代码：同步一下数据库（我们使用默认的数据库 SQLite3，无需配置）在learn下的views.py中加入：修改blog目录下的urls.py：在templates目录下创建login.html文件：在templates目录下创建regist.html文件：<html > <head> <title>regist</titl
2021-05-07 20:41:40
113
原创 Django-5-管理界面
文章目录建立超级用户编辑learn目录下的admin.py文件：运行服务器建立超级用户使用python manage.py createsuperuser 建立超级用户编辑learn目录下的admin.py文件：from django.contrib import admin# Register your models here.from learn.models import Personadmin.site.register(Person)运行服务器打开浏览器，并在浏览器地址栏输
2021-05-07 20:36:19
79
原创 Diango-4-视图
文章目录1-视图层2-请求对象: HttpRequest 对象（简称 request 对象）2-1-GET2-2-POST2-3-body2-4-path2-5-method3-响应对象：HttpResponse 对象3-1-HttpResponse()3-2-render()3-3-redirect()1-视图层一个视图函数，简称视图，是一个简单的 Python 函数，它接受 Web 请求并且返回 Web 响应。响应可以是一个 HTML 页面、一个 404 错误页面、重定向页面、XML 文档、或者一
2021-05-06 16:16:57
72
原创 Django-3-模型（数据库）
文章目录1-Django ORM1-1-什么是ORM1-2-使用 ORM 的好处：1-3-使用 ORM 的缺点：1-4-ORM 解析过程:1-5-ORM 对应关系表：2-数据库配置创建 MySQL 数据库( ORM 无法操作到数据库级别，只能操作到数据表)语法：3-定义模型3-1-创建 APP4-数据库操作4-1-添加数据4-2-获取数据4-3-更新数据4-4-删除数据参考资料Django 对各种数据库提供了很好的支持，包括：PostgreSQL、MySQL、SQLite、Oracle。Django 为这
2021-05-06 15:57:34
143
原创 Django-2-模板
文章目录path() 函数Django模板1）在 learn目录下新建templates 文件夹，里面新建home.htmlviews.py将视图函数对应到网址blog/urls.py访问http://127.0.0.1:8000/home2）在templates目录中创建list1.html文件：修改 learn/views.py修改blog/blog/urls.py访问 http://127.0.0.1:8001/list/网站模板的设计写一个 base.html 来包含通用文件（include)首页
2021-05-06 15:36:07
96
原创 Django-1-MVC\NTV
文章目录Django简介MVC/MTV介绍1）MVC2）MTVDjango的MTV模型组织path() 函数创建Django项目新建一个django项目(project), 名称为blog新建一个应用（app)，名称为learn把新定义的app加到settings.py中的INSTALL_APPS中定义视图函数（访问页面时的内容）1）打开learn目录中的views.py,修改其中的源代码2）修改blog/blog/urls.py3）打卡浏览器，访问'http://127.0.0.1.8000/'Djang
2021-05-06 00:00:50
85
原创 DM-朴素贝叶斯分类-基本原理
文章目录一、朴素贝叶斯分类的基本原理（1）几个基本概念（2）朴素贝叶斯分类（3）例题二、最小风险型贝叶斯分类（Minimum Risk Bayes Classification）（1）原理（2）例题三、连续数值型属性的类条件概率计算一、朴素贝叶斯分类的基本原理（1）几个基本概念（2）朴素贝叶斯分类朴素贝叶斯分类模型基于贝叶斯公式，以最大后验概率为分类准则的分类方法，这等价于最小错误率准则。用数学公式描述如下：设X={x1,x2,...,xm}X=\{x_1,x_2 , ...,x_m\}X={
2021-04-30 17:32:40
162
1
原创 爬虫-动态渲染页面爬取-Selenium
文章目录1-Selenium介绍2-准备工作3-基本使用4-声明浏览器对象5-访问页面browser.get(url)6-查找节点7-节点交互8-动作链9-执行JavaScript—execute_script()10-获取节点信息11-切换Frame—switch_to.frame()12-延时等待12-1-隐式等待—implicitly_wait()12-2-显式等待—WebDriverWait()12-3-等待条件及其含义13-前进forward()、后退back()14-Cookies15-选项卡管
2021-04-29 13:54:49
466
原创 爬虫-非关系型数据库存储-Redis
目录）NoSQL介绍0.Redis数据库介绍1. 准备工作2. Redis 和 StrictRedis3. 连接 Redis4. 键操作5. 字符串操作6. 列表操作7. 集合操作8. 有序集合操作9. 散列操作10. RedisDumpredis-dumpredis-loadNoSQL介绍NoSQL，全称 Not Only SQL，意为不仅仅是 SQL，泛指非关系型数据库。NoSQL 是基于键值对的，而且不需要经过 SQL 层的解析，数据之间没有耦合性，性能非常高。非关系型数据库又可细分如下。键值
2021-04-25 21:19:22
290
原创 爬虫-Beautiful Soup-基本原理
文章目录1-基本介绍2-解析器3-原理介绍1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取1）节点选择器⭐常用情况小案例2）关联选择器常用情况小案例3）方法选择器⭐常用情况小案例4）层级选择器5）CSS选择器⭐常用方法小案例参考文献1-基本介绍BeautifulSoup 提供一些简单的、Python 式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取
2021-04-24 21:27:22
448
原创 pandas-数据类型转换
文章目录查看数据类型将$2.39转换为浮点数字符型特征转换为数值型⭐map的使用：replace的使用：查看数据类型df['xxx'].dtypes将$2.39转换为浮点数item_price列的数据是这样的$2.39dollarizer = lambda x: float(x[1:-1])data['item_price'] = data['item_price'].apply(dollarizer)字符型特征转换为数值型⭐map的使用：houseprice[‘MSZoning’]=
2021-04-24 19:55:21
177
原创 pandas-数据选择loc、iloc函数
文章目录1）iloc-根据行号（1）常用情形（2）举例获取行提取行列2）loc-根据索引index（1）常用情形（2）举例提取单行提取多行单个元素多行多列参考文献1）iloc-根据行号（1）常用情形代码说明df.iloc[[0]]单行：第1行df.iloc[[0,1]]多行：第1行、第2行df.iloc[:3]多行：第1行至第3行df.iloc[0,1]单个元素：第1行、第2列df.iloc[[0,2], [1,3]]行列：第1行，第3行；第2列，
2021-04-24 19:40:15
162
原创 爬虫-xpath-全国城市名称爬取
文章目录1）需求分析2）基本思路3）程序（1）导包（2）使用requests发起响应，获得网页数据（3）利用XPath解析数据并将其保存到本地'（4）运行程序4）运行效果1）需求分析url = ‘https://www.aqistudy.cn/historydata/’2）基本思路首先使用requests模块获取网页数据；其次，利用xpath解析数据，获取热门城市和所有城市的名字；最后，将数据保存到列表中；ul_list = ‘//div[@class=“all”]/div[@class=
2021-04-24 17:51:42
443
原创 爬虫-xpath-4k图片解析下载
文章目录1）需求分析2）基本思路3）程序（1）导包（2）使用requests发起响应，获得网页数据（3）利用XPath解析数据并将其保存到本地运行程序4）运行效果1）需求分析网站：http://www.netbian.com/meinv/爬取下图所示图片，并保存到本地。2）基本思路首先使用requests模块获取网页数据；其次，利用xpath解析数据，获取li列表，‘//div[@class=“list”]/ul/li’然后，循环，提取a标签里面的img标签的src，即可获得图片最后，将数
2021-04-24 17:10:18
186
原创 爬虫-Ajax-爬取今天头条街拍美图
文章目录需求分析步骤首先，打开今日头条的首页http://www.toutiao.com/其次，在搜索框中，输入“街拍”，返回页面如下：然后，打开开发者工具，在网络中“CTRL+R”刷新界面，筛选出XHR要提取的数据在哪里？不同Ajax的区别程序step1:定义一个方法来获取每次请求的结果需求分析步骤首先，打开今日头条的首页http://www.toutiao.com/其次，在搜索框中，输入“街拍”，返回页面如下：然后，打开开发者工具，在网络中“CTRL+R”刷新界面，筛选出XHR要提取的数
2021-04-22 21:36:14
132
原创 爬虫-代理的基本原理
文章目录1-基本原理2-代理的作用3-爬虫代理4-代理分类4-1根据协议区分4-2根据匿名程度区分⭐5-常见代理设置我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么美好，然而一杯茶的功夫可能就会出现错误，比如 403 Forbidden，这时候打开网页一看，可能会看到 “您的 IP 访问频率太高” 这样的提示。出现这种现象的原因是网站采取了一些反爬虫措施。比如，服务器会检测某个 IP 在单位时间内的请求次数，如果超过了这个阈值，就会直接拒绝服务，返回一些错误信息
2021-04-22 21:24:32
98
原创 爬虫-会话和Cookies
@TOC在浏览网站的过程中，我们经常会遇到需要登录的情况，有些页面只有登录之后才可以访问，而且登录之后可以连续访问很多次网站，但是有时候过一段时间就需要重新登录。还有一些网站，在打开浏览器时就自动登录了，而且很长时间都不会失效，这种情况又是为什么？其实这里面涉及会话（Session）和 Cookies 的相关知识。1-静态网页和动态网页在开始之前，我们需要先了解一下静态网页和动态网页的概念。1-1静态网页这里还是前面的示例代码，内容如下：<!DOCTYPE html><htm
2021-04-22 21:17:20
87
原创 爬虫-爬虫的基本原理
文章目录1-爬虫概述1-1发起请求，获取网页1-2解压数据，提取信息1-3保存数据1-4自动化程序2-能抓怎样的数据3-JavaScript 渲染页面参考文献1-爬虫概述简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。【B站】网络爬虫与浏览器的区别：浏览器是展示数据的，而网络爬虫是采集数据的。网络爬虫的定义：模拟客户端发送请求获取响应数据，按照一定规则，自动从互联网上获取信息的程序。作用：从互联网上获取我们需要的信息1-1发起请求，获取网页爬虫首先要做的工作就是获取网页，这里就是
2021-04-22 21:03:01
117
原创 爬虫-HTTP基本原理与网页基础
文章目录1- HTTP基础知识1-1 URI与URL定义关系1-2 超文本1-3 HTTP 和 HTTPS1-4 HTTP 请求过程1-5 请求请求方法（Request Method）请求的网址（Request URL）请求头请求体Content-Type 和 POST 提交数据方式的关系。1-6 响应响应状态码响应头响应体2- 网页基础2-1网页的组成HTMLCSS3. JavaScript2.2.2 网页的结构2-3 节点树及节点间的关系2-4 CSS选择器⭐#id.class标签名嵌套选择并列关系其他
2021-04-22 20:48:52
155
原创 爬虫-Ajax-爬取新浪微博数据
文章目录一些知识点Ajax分析方法查看请求过滤请求利用python模拟Ajax请求分析请求分析响应点击Preview，查看请求的响应内容查看具体内容具体操作step1:定义一个方法来获取每次请求的结果step2:定义解析方法提取所需信息step3：改变since_id获取所需数据step4:运行结果参考文献一些知识点Ajax 有其特殊的请求类型，它叫作 xhr。Ajax分析方法查看请求首先，用 Chrome 浏览器打开微博的链接 https://m.weibo.cn/u/2830678474，随后
2021-04-19 14:58:49
339
转载 爬虫-Ajax 数据爬取
为什么要使用Ajax?有时候我们在用 requests 抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用 requests 得到的结果并没有。这是因为 requests 获取的都是原始的 HTML 文档，而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果，这些数据的来源有多种，可能是通过 ==Ajax ==加载的，可能是包含在 HTML 文档中的，也可能是经过 JavaScript 和特定算法计算后生成的。对于第一种情况，数据加载是
2021-04-19 10:35:14
132
原创 爬虫-关系型数据库存储-MySQL
1. 准备工作在开始之前，请确保已经安装好了 MySQL 数据库并保证它能正常运行，而且需要安装好 PyMySQL 库。$ pip3 install PyMySQL在进行python访问MySQL数据库时，程序报错：OperationalError: (2003, “Can’t connect to MySQL server on ‘localhost’ ([WinError 10061] 由于目标计算机积极拒绝，无法连接。)”)解决办法：https://blog.csdn.net/BigData
2021-04-18 21:02:45
95
原创 爬虫-文件存储-txt\json\csv
文章目录1-文本打开方式2-文件写入方法第一种第二种（推荐）3-TXT 文本存储基本介绍示例4-JSON文件存储-import json基本介绍读取-json.loads()字符串读取json文件保存为json文件-json.dumps()5-CSV存储-import csv写入列表形式写入同时写入多行字典形式写入-利用pandas的读取1-文本打开方式r：以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。rb：以二进制只读方式打开一个文件。文件指针将会放在文件的开头。r+：以读写方
2021-04-18 20:00:05
120
2
pandas-3-利用loc、iloc进行数据选择
2023-07-27
pandas-2-数据索引index
2023-07-27
pandas-1-Series和DataFrame介绍
2023-07-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人