- 博客(55)
- 收藏
- 关注
RSS订阅原创 爬虫Scrapy框架学习
Scrapy是一个功能强大的爬虫框架，Scrapy中的网络请求都默认的是异步模式，请求和返回都是由引擎去自动分配处理1、什么是Scrapy？ Scrapy的整个结构包含了四部分： Scheduler(调度器)、Downloader(下载器)、Spiders(爬虫)、Item Pipeline(数据管道) Scheduler(调度器)主要负责处理引擎发送过来的requests对象（包含params、data、cookies、request headers等） 会把请求的u.
2021-06-09 15:03:59
290
3
原创 协程以及queue队列学习
异步：在一个任务没有完成的时候就可以执行其他的任务，并且多个任务之间不受影响同步：一个任务结束之后才能继续执行下一个任务多协程原理：一个任务在执行的过程中遇到等待就会先去执行其他的任务，当等待结束再来执行之前的那个任务。（在计算机中 ，这种任务之间切换的非常快速，看上去就像执行多个执行）在Python中使用gevent模块可以实现异步任务，也就是多协程在Python中gevent并不是标准库，所以是需要安装的，window电脑直接使用pip install gevent命令，之后点击ent.
2021-06-07 16:45:14
350
原创 正则表达式学习以及re模块
Python中的正则表达式一般都是使用re模块来实现的，在re模块中包含多个可以实现匹配需求的函数以及多个匹配方式的标志一、re模块中的部分基础匹配符号 "." 匹配任意一个字符（\n）除外 "^" 匹配字符开头 "^aa"匹配的是以aa开头的 "$" 匹配字符结尾 "aa$"匹配的是以aa结尾的 "*" 匹配*前的字符0次或者是多次 "+" 匹配前一个字符1次或者多次 "?" 匹配.
2021-06-07 10:47:52
149
原创 邮件以及定时的学习
1、邮件 发送邮件的步骤： 连接邮件服务器 使用邮箱账号密码登录 填写收件人、主题、正文 发送邮件 使用到的两个库是smtplib（内置库，不需要安装）以及email库 连接服务器需要使用smtplib这个库，SMTP代表简单邮件传输协议，相当于计算机之间发邮件的约定 以下是参考代码： import smtplib from email.mime.text import MIMEText fro.
2021-05-27 15:39:59
147
原创 selenium 的了解以及应用
selenium是一个强大的Python库，它可以控制浏览器打开、输入、点击等操作，就像是有一个真正的用户在操作一样静态网页：就是单纯用HTML语言写出来的网页就是静态网页动态网页：像类似于QQ音乐这种需要的数据不在HTML源代码中，而是在JSON中，在爬取的时候就需要找到JSON数据的真实url，这种 就是动态网页使用selenium时需要使用浏览器的驱动，如果使用谷歌浏览器的话，需要下载对应的或者是近似版本的谷歌驱动，谷歌驱动下载网址：http://npm.taobao.org/.
2021-05-20 17:24:28
347
1
原创 cookies以及session学习
学习cookies学习session存储cookies读取cookies在网页的请求方式中，一共分为四种，分别是get，post，head以及options，但是后两者基本不常用。post是网页的另一种请求方式，在请求是get请求会把参数都显示在网页链接中，所以最后的请求链接是非常长的而post请求不会再链接中显示参数，而是隐藏起来，换句话说，get是明文显示，而post是非明文显示。通常，get请求应用于获取网页数据，像之前的requests.get()，而post是应用于向网页提交数据.
2021-05-13 17:07:21
75
原创 openpyxl模块的应用
安装模块 命令：pip install openpyxl 或者是在pycharm中的搜索openpyxl的模块然后进行安装写入数据 导入模块 import openpyxl 利用openpyxl.Workbook()函数创建新的workbook(工作薄)对象，就是创建新的空的Excel文件。 wb=openpyxl.Workbook() wb.active就是获取工作薄的活动表，通常指的是第一个表，也就是sheet1 sheet=wb..
2021-03-19 15:40:54
1468
原创 NetWork的学习
NetWork面板的功能：记录当前页面上面的所有请求，一般页面显示之后NetWork都是空的，因为NerWork是记录的实时请求，所以 页面成功打开之后就没有了，需要按F5刷新再次请求在NetWork里面会有一些选项，红色的圆圈（一般浏览器默认是打开的，用高亮显示）表示启用NetWork开始监控，旁边灰色圆圈带斜杠表示清空面板上的信息。Preserve Log的作用是保留日志请求，如果不点亮，在页面进行跳转的时候就会清空记录在下面我们可以看到一些选择，ALL（查看全部）/XHR（.
2021-03-16 16:16:45
263
原创 BS4的学习
温馨提示： 安装bs4模块的命令是：pip install bs4 BeautifulSoup 是从bs4模块中导入出来的 安装BeautifulSoup4的命令：pip install BeautifulSoup4 -i https://pypi.douban.com/simple pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple1、BeautifulSoup模块 在程序中对于数据的.
2021-03-16 16:12:21
94
原创 前端的常识
1、HTML语言 HTML并不是编译型语言，而是一种用来描述网页的语言，类似于建筑图纸对于建筑的作用 HTML文档==网页 HTML(Hyper Text Markup Language)是用来描述网页的一种语言，也叫作超文本标记语言2、HTML的常见格式 <html> <head> 网页头的具体内容 </head> <body> .
2021-03-16 16:11:09
72
原创 爬虫常识
1、爬虫的步骤是： 获取数据: 爬虫会拿到我们要它去爬的网址，像服务器发出请求，获得服务器返回的数据。 解析数据:爬虫会将服务器返回的数据转换成人能看懂的样式。 筛选数据:爬虫会从返回的数据中筛选出我们需要的特定数据 存储数据：爬虫会根据我们设定的存储方式，将数据保存下来，方便我们进行后一步的操作。2、res=requests.get(url) 这里的res是一个对象，它是一个requests.models.Response类，简单来说就是一个请求响应对象， .
2021-03-16 16:08:57
92
原创 爬虫了解
一、什么是爬虫？ 爬虫就是通过编写程序，模拟浏览器上网，然后让其去互联网上面抓取数据的过程二、爬虫在场景中的分类 通用爬虫 抓取系统重要组成部分，抓取的是一整张页面 聚焦爬虫 建立在通用爬虫的基础之上，抓取的是页面中特定的局部的内容 增量式爬虫 检测网站中数据更新的情况，只会抓取网站中更新的数据三、反爬机制与反反爬策略 反爬机制 是一种门户网站，可以通过一定的策略或者是技术手段，来防止爬虫程序对于网站数据的爬取 反反爬.
2021-03-15 18:01:02
102
原创 MySQL数据库的使用方法以及常用命令
一、MySQL的安装登录命令 1、对MySQL进行初始化 mysqld --initialize-insecure --user=mysql 2、安装MySQL Mysqld install 3、启动MySQL net start mysql 4、登录MySQL mysql -u root -p二、SQL语句的书写规则 1、SQL语句要以分号（;）结尾 2、SQL语句不区分大小写 关键字大写...
2021-01-25 15:07:16
259
原创 MySQL的安装步骤
MySQL的安装步骤一、下载MySQL安装包 下载的网址：https://dev.mysql.com/downloads/mysql/ 下载之后把压缩包解压到安装MySQL的位置二、配置环境变量 解压好之后开始配置环境变量，打开解压好的安装包然后找到里面的bin目录添加到： 电脑右击属性——高级系统设置——高级——环境变量——系统变量——Path 之后双击pa...
2021-01-20 10:42:48
87
原创 mysql设置密码报错
mysqladmin: connect to server at 'localhost' failed的解决方法问题：安装完mysql后，启动mysql服务，接下来为mysql设置用户root的密码，结果报出以下错误： mysqladmin: connect to server at 'localhost' failed error: 'Access denied for user 'root'@'local...
2021-01-19 11:53:57
245
原创 Pandas总结
Pandas总结 一、pandas中的DataFrame函数以及对象 下面介绍 DataFrame 的基本功能：（其中，df 为任意 DataFrame） df.values： 返回 ndarray 类型的对象 df.index： 获取行索引 df.columns： 获取列索引 ...
2021-01-14 10:26:55
718
原创 Numpy模块总结大全
Numpy模块总结大全 1、Numpy中常用的函数 array(): 用于生成numpy.ndarray类型的数据，类似于列表 mean()： 此函数的主要作用是求平均值 median(): 此函数主要是求数组中的中位数 abs(): 此函数求...
2021-01-08 18:16:01
219
原创 单变量、多变量分析绘图
单变量、多变量分析绘图 1、单变量分析绘图 单变量其实就是我们通常接触到的数据集中的一列数据 单变量分析是数据分析中最简单的形式，其中被分析的数据只包含一个变量，因为它是一个单一的变量， 它不处理原因或者关系 单变量分析的主要目的是描述数据并找出其中存在的模式，也就是“用最简单的概括形式反映...
2021-01-05 18:38:40
1773
原创 Seaborn的使用以及调色板的设置
Seaborn的使用以及调色板的设置 1、Seaborn简介 Seaborn是基于Python并且非常受欢迎的图形可视化库，并且在matplotlib的基础上进行了更高级的封装 使用作图更加方便快捷，可以通过极简的代码做出十分具有价值并且非常美观的图形 同样在使用的时候需要导...
2021-01-04 15:54:31
1799
原创 绘制双Y轴坐标系及其设置
绘制双Y轴坐标系及其设置 1、绘制双Y轴坐标系 在数据分析时，有时候我们需要在同一坐标图中比较两种数据在时间序列上面的关系 由于两种数据的单位和数据并不统一，也是不同的类型的数据，因此我们不能用一个Y轴来共同衡量两类 不同的数据，这时候我们就需要绘制双Y轴图。 绘制...
2020-12-31 14:44:57
1302
原创 柱状图、直方图、散点图、饼图讲解
柱状图、直方图、散点图、饼图讲解1、柱状图 柱状图适用场合是二维数据集（每个数据点包括两个值x和y），但只有一个维度需要比较。 例如：年销售额就是二维数据，”年份”和”销售额”就是它的两个维度，但只需要比较”销售额”这一个维度 特点：柱状图利用柱子的高度来反应数据的差异，肉眼对于高度的差异很敏感，辨识效果非常好！ 柱状图的使用方法： 前面的折线图使用的是plot函数，但是柱状...
2020-12-30 10:49:25
6552
原创 关于numpy中的arange函数和range函数的应用
使用range函数获取类似于0.5、1.0、1.5、2.0、2.5这样的数字， 很多同学在用的时候回报出一下错误： 在此需要强调一下，range函数中的步长是不能使用小数的，必须使用整数，但是如果有的同学说我想要获取类似于0.5、1.0、1.5、2.0、2.5的数字该怎么办？ 可以使用numpy中的arange函数，使用方法和range函数类似,具体使用方法如下图： ...
2020-12-24 18:02:04
389
1
原创 seaborn安装成功但是导入时出现错误
ImportError: DLL load failed: 找不到指定的模块在命令框中执行以下命令：1、pip uninstall scipy seaborn 重新卸载seaborn2、pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scipy seaborn 之后重新安装一下，-i后面的...
2020-12-22 10:28:32
1032
原创 关于anaconda3安装好之后输入conda以及jupyter notebook报出错误或者是命令不存在的问题解决方法
问题一： 1、如果anaconda3安装好之后输入conda报出命令不存在问题！ 首先可以看一下安装之后一下软件存不存在？ 如果不存在的话建议重新安装，如果存在的话可以先在cmd命令框中输入conda看一下会不会出现正常的信息，如果报出conda不是文件命令的话就需要配置环境变量环境变量的配置：首先点开右击桌面的此电脑（计算机/我的电脑），之后点击属性，之后...
2020-12-21 12:26:38
2336
原创 Matplotlib可视化图形中文设置、自定义刻度以及多图显示
Matplotlib可视化图形中文设置、自定义刻度以及多图显示 1、中文显示 事实上，matplotlib是支持unicode编码的，中文乱码的主要问题是没有找到合适的中文字体。 如果想要实现Matplotlib显示中文我们有三种方法： 第一种：直接修改Matplotlib配置文件matplotlibrc 第二种：动态修改配置 ...
2020-12-15 18:53:25
1243
原创 数据可视化模块Matplotlib的使用以及折线图
数据可视化模块Matplotlib的使用以及折线图 1、Matplotlib是什么？ Matplotlib是一个Python的2D绘图库，它可以在各种平台上以各种硬拷贝格式和交互环境生成具有出版品质的图形。 Matplotlib师徒让简单的事情变得更简单，让无法实现的事情变得可能实现，是Python中最常用的可...
2020-12-15 16:23:15
383
原创 数据分析中的日期时间以及操作方法
数据分析中的日期时间以及操作方法 1、日期和时间数据类型 时间序列数据（Time Series Data）是在不同时间上收集到的数据，这类数据是按时间排序收集到的，用于描述现象 随时间变化的情况 Python标准库包含了日期和时间数据的数据类型，datetime模块是开始处理时间数据最广泛的。...
2020-12-14 15:25:55
1544
原创 数据的多层索引以及多层索引的排序
数据的多层索引以及多层索引的排序 1、多层索引的创建 对于Series对象： 示例： import pandas as pd Se=pd.Series([1,2,3,4],index=[["张三","张三","李四","李四"], ...
2020-12-14 15:24:16
804
原创 数据的分组以及统计
给数据分个班1、对数据进行分组 单列分组 Pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作 而进行分组之后是一个DataFrameGroupBy object,是一个分组后的对象 df.groupby("gender") 但是因为分组之后是一个DataFrameGroupBy object对象，所以可以使...
2020-12-08 18:36:38
1077
原创 java安装15.0.1版本的jdk之后没有jre文件夹的解决方法以及环境变量配置
解决安装jdk15.0.1版本之后没有jre文件夹的方法：第一步： 按window+R之后出来运行框——输入cmd——之后切换到安装jdk15.0.1的安装目录的bin目录下 我的目录是：D:\Java\jdk-15.0.1 之后执行以下命令：bin\jlink.exe --module-path jmods --add-modules java.desktop --output jre 执行之后就会看到文件夹下面有jr...
2020-12-05 19:25:43
8024
7
原创 数据合并以及排序学习
5、数联璧合1、数据的合并，数据的合并主要是有两种方式 轴向合并： 轴向连接（concatenation）,pd.concat()可以沿一个轴将多个DataFrame对象连接在一起，形成一个新 的DataFrame对象。 concat()函数可以将数据根据不同的轴作进行合并。我们先看一下concat()的常用参数： 语法： pd.concat(objs, axis=...
2020-12-04 19:01:58
460
原创 jupyter notebook不能打开网页的设置
根据以下操作进行设置，使jupyter notebook可以打开浏览器：第一步： 首先在cmd命令框中输入jupyter notebook --generate-config 第二步： 复制上面图片中出现的路径在本地打开找到以下文件 第三步： ...
2020-11-27 12:12:50
1527
原创 常见的字符编码格式分类（一）
详情请点击链接： https://blog.csdn.net/byf0521hlyp/article/details/80365045
2020-11-24 13:38:45
311
原创 数据以及空值数据处理方法
第四节 数据七十二变1、对于简单的数据删除空值数据（NaN）——对于简单的数据进行过滤，如果对于负责的 DataFrame对象进行使用则会存在空值数据过滤不干净 import pandas as pd——导入模块 li=[2,NaN,4,6,NaN,4]——数据集 se=pd.Series(data=li)——生成Series对象 se.notnull()——对是否是空值数据进行判...
2020-11-22 21:32:22
6675
原创 在anaconda中的jupyter里面运行numpy程序报出在使用numpy时报错RuntimeWarning: numpy.dtype size changed类似的错误原因
在anaconda中的jupyter里面运行numpy程序报出在使用numpy时报错以下错误：RuntimeWarning: numpy.dtype size changed类似的错误原因 因为安装的numpy版本太高，和其他的库不匹配解决方法 第一步：卸载numpy pip uninstall numpy 第二步：安装低版本的numpy库 ...
2020-11-22 12:49:32
749
原创 pandas读写表格
第三节：一、用pandas对于表格的读写操作 1、对于CSV格式文件的写入： （1）使用函数to_csv函数 import pandas as pd df=pd.DataFrame(data=数据)————生成一个DataFrame对象 df.to_csv(path_or_buf="文件名.csv",encoding="utf_8_sig"...
2020-11-09 14:33:38
257
原创 Series和pandas讲解
第二节1、Series的属性与方法： Series中一般常用的参数就是data、index，其中的data就是我们处理的数据，index就是这个数据的行索引 Series中的函数一般有index、values以及items,values、index、items返回的对象分别是List、Index、 Zip类型的数据，为了方便我们使用和观察数据，可以使用series.index.tolist()和list(series.it...
2020-11-09 14:31:33
509
原创 数据分析了解
第一节：运筹帷幄，决胜千里1、 Pandas模块是python中最重要的数据分析工具包，是Panel Data Analysis的缩写，Pandas 是基于NumPy 的一种工具， 该工具是为了解决数据分析任务而创建的,Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集 所需的工具,Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 Matplotlib和Seaborn是最常用的数据可视化的工具包，解决如何通过数据来绘制图表，来更好的展示数.
2020-11-09 14:29:46
118
原创 对于IO模块以及shutil模块的函数功能的介绍以及引用
os 模块的应用os.sep 可以取代操作系统特定的路径分隔符。windows下为 ‘\’os.name 字符串指示你正在使用的平台。比如对于Windows，它是’nt’，而对于Linux/Unix用户，它是 ‘posix’os.getcwd() 函数得到当前工作目录，即当前Python脚本工作的目录路径os.getenv() 获取一个环境变量，如果没有返回noneos.putenv(key, value) 设置一个环境变量值os.listdir(path) 返回指定目录下的所有文件和目录名o
2020-07-14 23:40:34
126
原创 ##深拷贝与浅拷贝
浅拷贝：常见的浅拷贝方式有两种：方式一： “=”拷贝方式 a=10b=aa=a+1print(a,b)list=[1,2,3]list1=listlist.append(4)print(list,list1) 方式二： 用copy函数import copylist...
2020-04-28 22:11:42
102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人