python爬虫及数据可视化
文章平均质量分 69
Echo_Wish
分享一下自己的心得和对自己对你的一个认真学习的一个鼓励一个flag吧。现在主要在分享python人工智能相关的知识。分享正能量以及交流一些软件的用法比如linux和编程语言(现在主要在学python和linux)。希望我的博客能带给你一个正能量的心情以及以后能一起交流一下如何写出更好更优雅的代码。
展开
-
NumPy 高级教程——GPU 加速
通过结合上述技巧,你可以在 NumPy 中实现 GPU 加速,提高代码的执行效率。选择合适的工具和技术取决于你的具体应用场景和计算任务。希望本篇博客能够帮助你更好地理解和运用 NumPy 中的 GPU 加速技术。原创 2024-01-08 08:39:12 · 2846 阅读 · 0 评论 -
NumPy 高级教程——并行计算
通过结合上述技巧,你可以在 NumPy 中实现并行计算,提高代码的执行效率。选择合适的工具和技术取决于你的具体应用场景和计算任务。希望本篇博客能够帮助你更好地理解和运用 NumPy 中的并行计算技术。原创 2024-01-07 09:15:22 · 1000 阅读 · 0 评论 -
NumPy 高级教程——性能优化
通过结合上述技巧,你可以显著提高 NumPy 代码的执行效率,使其更适用于大规模数据和计算任务。NumPy 的聚合操作是通过底层优化实现的,因此比 Python 的内置函数更高效。Python 提供了一些性能分析工具,例如 cProfile 和 line_profiler,可以帮助你识别代码中的性能瓶颈并进行优化。通用函数是一种能够对数组进行逐元素操作的函数,它们在底层使用编译的代码执行操作,从而提高性能。广播是一种机制,允许 NumPy 在执行操作时处理不同形状的数组,而无需进行显式的复制。原创 2024-01-06 09:37:21 · 592 阅读 · 0 评论 -
NumPy 高级教程——存储和加载数据
NumPy 提供了灵活而强大的工具,使得存储和加载数据变得简单而高效。通过使用这些功能,你可以轻松地在不同步骤和项目之间传递数据,从而更好地组织和管理你的数据科学工作。希望本篇博客能够帮助你更好地理解和运用 NumPy 中的数据存储和加载功能。原创 2024-01-05 08:47:24 · 530 阅读 · 0 评论 -
NumPy 高级教程——结构化数组
结构化数组是 NumPy 中用于处理异质数据的重要工具,通过定义复杂的数据类型,我们可以创建具有不同字段的数组,类似于表格或数据库中的行。结构化数组提供了访问、修改、排序和条件筛选数据的灵活性,同时也方便与 Pandas DataFrame 进行交互。希望本篇博客能够帮助你更好地理解和运用 NumPy 中的结构化数组功能。原创 2024-01-04 09:11:29 · 602 阅读 · 0 评论 -
NumPy 高级教程——内存布局
通过学习以上内容,你可以更好地理解 NumPy 中的内存布局,以及如何在创建、拷贝、修改数组时控制数组的存储顺序。在一些涉及性能优化的场景中,正确选择内存布局方式可以提高数组操作的效率。希望本篇博客能够帮助你更好地运用 NumPy 处理多维数组。原创 2024-01-03 08:47:51 · 533 阅读 · 0 评论 -
NumPy 中级教程——随机数生成
通过学习以上 NumPy 中的随机数生成操作,你可以更灵活地生成不同分布的随机数、设置随机种子以及进行随机排列和抽样等操作。这些功能在模拟实验、蒙特卡罗模拟和机器学习中都得到广泛应用。希望本篇博客能够帮助你更好地理解和运用 NumPy 中的随机数生成功能。原创 2024-01-02 08:53:22 · 443 阅读 · 0 评论 -
NumPy 中级教程——线性代数操作
通过学习以上 NumPy 中的线性代数操作,你可以更灵活地进行矩阵运算、行列式计算、特征值和特征向量的求解等操作。这些功能在科学计算、数据分析和机器学习等领域都具有重要作用。希望本篇博客能够帮助你更好地理解和运用 NumPy 中的线性代数操作。原创 2024-01-01 10:30:28 · 786 阅读 · 0 评论 -
NumPy 中级教程——通用函数(ufuncs)
通过学习以上 NumPy 中的通用函数,你可以更灵活地进行数组元素级的操作,支持一元通用函数、二元通用函数、多数组操作、聚合操作等。这些功能在数据处理和科学计算中都起到了重要的作用。希望本篇博客能够帮助你更好地理解和运用 NumPy 中的通用函数。原创 2023-12-31 10:59:38 · 479 阅读 · 0 评论 -
NumPy 中级教程——广播(Broadcasting)
通过学习以上 NumPy 中的广播机制,你可以更灵活地处理不同形状的数组,进行一致的运算。广播使得代码更加简洁、可读,减少了显式的形状匹配操作,提高了代码的可维护性。希望本篇博客能够帮助你更好地理解和运用 NumPy 中的广播功能。原创 2023-12-30 08:53:29 · 625 阅读 · 0 评论 -
NumPy 中级教程——数组操作
通过学习以上 NumPy 中的数组操作,你可以更灵活地处理和分析数组数据。这些功能包括数组的切片、索引、形状操作、合并与分割、数组运算、统计与数学函数等。希望这篇博客能够帮助你更好地理解和运用 NumPy 中的数组操作。原创 2023-12-29 08:59:03 · 410 阅读 · 0 评论 -
Pandas 高级教程——高级时间序列分析
通过学习以上 Pandas 中的高级时间序列分析技术,你可以更灵活地处理和分析时间序列数据。这些方法包括重采样、移动窗口操作、滞后和超前、季节性分解、自相关和偏自相关分析以及时间序列模型的拟合。希望这篇博客能够帮助你更好地运用 Pandas 进行高级时间序列分析。原创 2023-12-28 10:11:47 · 492 阅读 · 0 评论 -
Pandas 高级教程——高级分组与聚合
在高级分组与聚合中,我们可以定义自己的聚合函数。# 使用 apply 方法通过学习以上 Pandas 中的高级分组与聚合操作,你可以更灵活地处理各种数据集,实现更复杂的分析需求。这些技术在实际数据分析和建模中经常用到,希望这篇博客能够帮助你更好地理解和运用 Pandas 中高级的分组与聚合功能。原创 2023-12-27 08:44:04 · 414 阅读 · 0 评论 -
Pandas 高级教程——IO 操作
通过学习以上 Pandas 中的高级 IO 操作,你可以更灵活地处理各种数据源,从而更方便地进行数据分析和处理。这些功能为数据科学家和分析师提供了丰富的工具,帮助他们更高效地处理和利用数据。希望本篇博客能够帮助你更好地掌握 Pandas 中高级 IO 操作的方法。原创 2023-12-26 08:48:14 · 554 阅读 · 0 评论 -
Pandas 高级教程——数据可视化
通过学习以上 Pandas 中的数据可视化技术,你可以更好地展现数据的特征、趋势和分布。这些图形可以用于报告撰写、数据分析和决策支持等场景。希望这篇博客能够帮助你更深入地掌握 Pandas 中高级的数据可视化方法。原创 2023-12-25 08:44:59 · 750 阅读 · 0 评论 -
Pandas 高级教程——多级索引
多级索引是 Pandas 中用于处理层次化数据的强大工具,通过多级索引,你可以更灵活地组织和分析数据。在实际应用中,多级索引常用于处理时间序列、多维度数据等场景。希望这篇博客能够帮助你更好地理解和运用 Pandas 中的多级索引。原创 2023-12-24 09:19:52 · 672 阅读 · 0 评论 -
Pandas 高级教程——自定义函数与映射
Pandas 提供了强大的功能,允许你使用自定义函数和映射来处理数据。在实际数据分析和处理中,这些功能为我们提供了灵活性和可定制性。本篇博客将深入介绍如何使用 Pandas 进行自定义函数和映射操作,通过实例演示如何应用这些技术。apply 方法允许你使用自定义函数对 DataFrame 的列或行进行操作。# 自定义函数# 对 'Age' 列应用自定义函数通过本篇博客的学习,你应该对 Pandas 中的自定义函数和映射操作有了更深入的理解。这些功能可以让你更灵活地处理和转换数据,适应不同的业务需求。原创 2023-12-23 09:27:50 · 493 阅读 · 0 评论 -
Pandas高级教程——性能优化技巧
通过结合以上技巧,你可以有效地优化 Pandas 代码,提高处理大型数据集的效率。避免使用循环,而是使用 Pandas 的内置函数进行操作。Pandas 提供了多个优化的内置函数,例如 apply、map、transform 等,它们在执行时会更高效。Pandas Profiling 是一个用于生成数据报告的库,可以帮助你了解数据集的性能瓶颈。Dask 是一个用于并行计算的库,可以与 Pandas 配合使用,加速处理大型数据集的操作。选择合适的数据类型可以减少内存使用,提高性能。原创 2023-12-22 09:09:49 · 558 阅读 · 0 评论 -
Pandas中级教程——时间序列数据处理
通过学习以上 Pandas 中的时间序列数据处理技术,你可以更好地处理时间相关的数据,从而进行更精确的分析和预测。这些功能对于金融分析、气象分析、销售预测等领域都非常有用。希望这篇博客能够帮助你更深入地掌握 Pandas 中级时间序列数据处理的方法。原创 2023-12-21 09:50:45 · 442 阅读 · 0 评论 -
Pandas 中级教程——数据分组与聚合
自定义聚合函数# 应用自定义聚合函数通过学习以上 Pandas 中的数据分组与聚合技术,你可以更灵活地对数据进行分析和总结。这些功能对于理解数据分布、发现模式以及制定进一步分析计划都非常有帮助。希望这篇博客能够帮助你更好地掌握 Pandas 中级数据分组与聚合的方法。原创 2023-12-20 09:05:40 · 390 阅读 · 0 评论 -
Pandas中级教程——数据合并与连接
通过学习以上 Pandas 中的合并与连接技术,你可以更好地处理多个数据集之间的关系,提高数据整合的效率。在实际项目中,理解这些技术并熟练运用它们是数据分析的重要一环。希望这篇博客能够帮助你更深入地掌握 Pandas 中级数据合并与连接的方法。原创 2023-12-19 08:47:04 · 445 阅读 · 0 评论 -
Pandas 中级教程——数据清理与处理
Pandas 是一个强大的数据分析库,它提供了广泛的功能来处理、清理和分析数据。在实际数据分析项目中,数据清理是至关重要的一步。在这篇博客中,我们将深入介绍 Pandas 中的一些中级数据清理和处理技术,通过实例演示如何应用这些技术来提高数据质量和可用性。通过以上这些技术,你可以更好地清理和处理数据,使其更适合进行进一步的分析。在实际项目中,数据清理和处理是一个迭代的过程,需要根据具体情况灵活运用这些技术。在实际项目中,我们通常需要从不同的数据源加载数据,比如 CSV 文件、Excel 表格或数据库。原创 2023-12-18 08:40:07 · 479 阅读 · 0 评论 -
python知识补充02
Get新知识:windows 宿主机 映射文件夹到VMware Linux 虚拟机首先要在虚拟机关机情况下,编辑虚拟机设置,选项配置下,启用共享文件夹,选择主机文件夹路径,确定。进入虚拟机,使用// yum -y install open-vm-tools-desktop open-vm-toolsmkdir /app ;vmhgfs-fuse .host:/ /app命令 将共享文件夹下的内容挂载到虚拟机路径下,其中/app 是虚拟机下自定义的文件夹路径,执行成功后在虚拟机对应文件夹下就存在原创 2022-03-06 22:49:46 · 796 阅读 · 0 评论 -
Python基础知识补充
datetime 模块的使用补充:在 操作日期数据时,可能需要对日期进行比较,加减等操作。代码示例:# 导入datetime 模块后# data[1] = 2000.1.2,data[2]类似 strt_date = datetime.datetime.strptime(data[1], '%Y.%m.%d')end_date = datetime.datetime.strptime(data[2], '%Y.%m.%d')weeks_temp = round((end_date - star原创 2021-12-20 23:04:09 · 132 阅读 · 0 评论 -
python Web开发02
pip 导出安装包使用如下命令 将当前python 环境下的全部第三方包 导出为 txt 文件pip freeze > requirements.txt使用如下命令将 txt 文件中的第三方包pip install -r requirements.txtjpype 调用 jar 包环境:python 3.6.8 + jpype1 0.6.3 + jdk 1.8""" 基本的开发流程如下: ①、使用jpype开启jvm ②、加载java类原创 2021-09-27 09:17:16 · 249 阅读 · 0 评论 -
python Web开发01
Get新知识:nginx + gunicorn + flask 部署web项目nginx 的安装和配置一、安装编译工具及库文件yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel二、安装 PCRE(让 Nginx 支持 Rewrite 功能)#下载最新版本的,注意不要用pcre2wget https://jaist.dl.sourceforge.net/project/pcre/pcre/8.原创 2021-09-27 09:16:21 · 167 阅读 · 0 评论 -
Matplotlib_Study01
Matplotlib_Study01极坐标雷达图代码:# 标签labels = np.array(['艺术A', '调研I', '实际R', '常规C', '企业E', '社会S'])# 数据个数dataLenth = 6# 数据data = np.array([1, 4, 3, 6, 4, 8])# 生成从0开始到6.28的6个并且不可能包括6.28 的一个数组# 这里又将原数组赋给另一个变量跟之后的数组处理分开是因为在绘制标签时并不需要处理数组angles1 = np.lin原创 2021-05-22 19:19:59 · 265 阅读 · 1 评论 -
Pyecharts_Study01
pyecharts_Study01折线图代码:from pyecharts.charts import *from pyecharts.components import Tablefrom pyecharts import options as optsfrom pyecharts.commons.utils import JsCodeimport randomimport datetime# from pyecharts.globals import CurrentConfig#.原创 2021-05-22 19:14:25 · 553 阅读 · 0 评论 -
Scrapy_Study03
Queue (队列对象)Queue是python中的标准库,可以直接import Queue引用;队列是线程间最常用的交换数据的形式python 的多线程的思考对于资源,加锁是个重要的环节。因为python原生的lit,dict等 ,都是not thread safe的。而Queue ,是线程安全的,因此满足使用条件下,建议使用队列初始化: class Queue Queue(maxsize) FIFO先进先出包中的常用方法:Queue. qsize() 返回队列的大小Queue原创 2021-04-19 18:05:20 · 175 阅读 · 1 评论 -
Scrapy_Study02
案例 jd图书爬虫jd图书网站爬取比较容易,主要是数据的提取spider 代码:import scrapyfrom jdbook.pipelines import JdbookPipelineimport refrom copy import deepcopyclass JdbookspiderSpider(scrapy.Spider): name = 'jdbookspider' allowed_domains = ['jd.com'] start_urls =.原创 2021-04-19 18:04:49 · 162 阅读 · 0 评论 -
Scrapy_Study01
Scrapyscrapy 爬虫框架的爬取流程![](https://img-blog.csdnimg.cn/img_convert/5da03b4c82d023e5daef3125e239f39f.png#align=left&display=inline&height=632&margin=[object Object]&originHeight=632&originWidth=976&size=0&status=done&style=n原创 2021-04-19 18:03:38 · 1670 阅读 · 0 评论 -
Pandas_Study02
pandas 数据清洗1. 去除 NaN 值在Pandas的各类数据Series和DataFrame里字段值为NaN的为缺失数据,不代表0而是说没有赋值数据,类似于python中的None值。数据的缺失有很多原因,缺失不是错误、无效,需要对缺失的数据进行必要的技术处理,以便后续的计算、统计。可以通过numpy 模块的 nan 得到NaN 值。首先,可以通过isnull 和 notnull 方法查看有哪些NaN值,这两个方法返回的布尔值,指示该值是否是NaN值,结合sum 方法可以获取每列空值的数目以原创 2021-04-19 15:36:30 · 251 阅读 · 0 评论 -
Pandas_Study01
pandas 入门概念series 和 dataframe 这是pandas 中最为基本的两个概念,series 类似于一维数组,可以近似当成普通的数组进行操作,对于series 默认会有行索引为它索引,但特殊的同时与普通的一维数组不同 列表只能有从0开始的整数索引,而series则可以自定义标签索引,这一点来看,跟字典又比较相似,因此series又可以拥有类似字典的操作方式,series 的标签索引可以随时更新修改替换。series 提供有很多方便的方法,用于判断值为空的 isnull, notnull原创 2021-04-19 15:34:17 · 330 阅读 · 0 评论 -
flask_study学习笔记
flask_study安装:windows环境下:使用pycharm创建一个新的虚拟环境,在env环境下使用pip install flask安装即可Linux环境下:见python爬虫笔记使用配置文件settings,在这个文件中保存所有的配置信息。env:环境,一般时开发环境,生产环境,测试环境debug:一般适用于开发,测试环境,可以及时更新代码,并且会将错误信息返回页面变量的类型:默认str(不包含斜杠的字符串)有 int,float,path(包含斜杠的字符串),uuid(原创 2020-12-30 15:37:50 · 172 阅读 · 0 评论 -
pyhton爬虫学习
pyhton爬虫学习1.准备工作import bs4 #网页解析,获取数据import urllib.request,urllib.error #制定URL,获取网页数据import xlwt #进行excel操作import re #正则表达式,进行数据的筛选import sysimport sqlite3原创 2020-11-28 09:31:55 · 367 阅读 · 0 评论 -
python基础知识
python基础知识简单复习pycharm的简单配置settings->editor->file and code temlates#-*- codeing = utf-8 -*- 编码#@Time : ${DATE} ${TIME} 时间#@Author : chengcheng 作责#@File : ${NAME}.py 文件名#@Software : ${PROJECT_NAME} 文件运行环境修改设置后新建文件自动生成的注释#-*- codeing = utf原创 2020-11-28 09:25:53 · 182 阅读 · 0 评论