- 博客(47)
- 资源 (2)
- 收藏
- 关注
原创 Python字符串和日期时间格式转换
两个参数必要参数示例返回,Timestamp是原数据格式示例返回2024-02-05示例返回2024-02-05,pd.Series是具体的列,pd.Series是具体的列。
2024-02-05 11:37:18 682
原创 SQL使用技巧(3.2)递归层次查询Hive、Orcale和TDH
递归层次查询的orcale 和 hive实现,hive实现主要依赖于支持orcale语法
2023-03-20 14:24:07 4063
原创 Graphviz绘制模型树1——软件配置与XGBoost树的绘制
通过graphviz绘制XGBoost二分类模型中树的绘制,to_graphviz()和plot_tree()
2022-08-20 16:47:13 2862
原创 FineReport导入Excel数据的完整示例
FineReport导入Excel数据到指定数据库二.配置模板web属性帆软“模板”——“模板web属性”,进行如下配置,主要目的是将“导入Excel”的按钮加入到工具栏中(双击即可),配置到web模板中。配置后点击“预览”按钮,选择“填报预览”预览结果如下图,主要是“导入Excel”和“提交”两个按钮。下面主要还是要配置接入数据库,否则做这些都没有意义三.定义数据连接PostgreSQL数据连接指南 下载
2022-08-19 21:23:17 15422
原创 分类任务评估1——推导sklearn分类任务评估指标
二分类问题中,准确率、精准率、召回率、F1值、ROC曲线、AUC值都是基于混淆矩阵展开计算的。
2022-06-19 14:59:28 3083
原创 大数据单机学习环境搭建(10)Pycharm中操作spark和hive
目录1.环境准备2.Pycharm连接Hive3.Pycharm执行py脚本3.1SparkSql操作数据的方式3.2一个完整的pyspark脚本1.环境准备需要提前准备Hadoop、Hive、Spark和Anaconda,以及Pycharm连接Linux的Anaconda环境,具体见本人如下相关文章。Hadoop本地单节点安装Linux使用yum安装MysqlHive单节点安装和启用Spark单节点安装与pyspark使用Linux单节点Anaconda安装和Pycharm连接另外,还可以
2022-05-20 16:07:16 2420
原创 大数据单机学习环境搭建(9)Spark单节点安装与pyspark使用
Spark Local模式环境部署和使用,包含python操作sparksql的使用案例
2022-05-20 11:35:01 1869
原创 大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接
目录1.Anaconda安装1.1下载1.2安装1.3验证2.环境使用和第三方库(包)安装2.1新环境搭建2.2pyspark安装包pip install3.Pycharm连接3.1解释器添加3.2环境验证1.Anaconda安装1.1下载官方下载Linux版个人下载资源分享1.2安装1.自行上传到Linux系统/opt文件夹下2.执行安装命令按图执行# 安装anacondash Anaconda3-2021.05-Linux-x86_64.sh按图操作直至完成3.重启环境
2022-05-19 11:46:49 737
原创 FineReport帆软报表使用入门
本文基于帆软内部数据库演示报表的基本创建和使用,不做“工作目录”,“服务器”,“定义数据集”等其他数据源的配置介绍。 内容浅显,但能说明该工具最常用的功能。目录1.模板数据集1.1第一个数据集ds11.2第二个数据集ds22.筛选区编辑2.1参数添加2.2文本控件2.3多选框控件核心设置:数据字典构建3.报表区编辑3.1单元格元素小技巧:自增ID——select(#0)3.2单元格属性核心功能1:横纵扩展核心功能2:左父单元格***帆软了解数据决策系统 可以了解到帆软的全部功能。帆软学院 网址有视频
2022-05-17 18:03:40 27264
原创 大数据单机学习环境搭建(3)Hive安装和启用
目录1.Java和Hadoop安装2.MySQL安装3.Hive安装包和依赖包4.Hive安装、配置、启用4.1安装4.2配置4.3初始化数据库4.4查看mysql作为hive的元数据存储是否成功4.5使用hive和beeline1.Java和Hadoop安装见我的另一篇文章 Hadoop3本地单节点安装2.MySQL安装见我的另一篇文章 Linux使用yum安装Mysql3.Hive安装包和依赖包Hive官网下载,懒得下载可白嫖。见免费资源 Hive安装包和依赖包,提取码:o1ms4.Hiv
2022-05-13 17:30:34 2855
原创 大数据单机学习环境搭建(2)Linux使用yum安装Mysql
最简单的傻瓜式安装,如果之前安装但没成功,请按照步骤进行,不要跳,不要跳,不要跳1.MySQL卸载无论rpm还是tar.gz的安装包,先看看自己当前的mysql安装情况rpm -qa|grep mysql2.MySQL安装# 3.mysql安装# mysqk的安装与删除 https://blog.csdn.net/weixin_43102784/article/details/122696078# 3.1下载MySQL(5.7版本)的yum源wget 'https://dev.mysql
2022-05-13 15:22:53 603
原创 大数据单机学习环境搭建(6)Hive优化实现
目录一.SQL查询优化的核心思想1.1(内练固本)模型优化——预处理思想1.2(外练强身)技术优化1.2.1表设计优化——好的开端是成功的一半1.2.2查询任务优化——锦上添花二.Hive化实现方案2.1表的设计优化2.1.1表设计优化2.1.2表数据优化2.2模型的设计优化2.3JOB任务优化2.3.1DQL语句——语法编写常识2.3.2Job作业执行优化一.SQL查询优化的核心思想1.1(内练固本)模型优化——预处理思想注:所谓预处理就是提前准备好,形同饭店的备菜环节,应该先把要用到的菜洗、切等
2022-05-11 11:04:08 394
原创 大数据单机学习环境搭建(7)SQL的DQL查询优化
SQL查询优化的核心思想1.模型优化(内练固本)——预处理思想1.1复杂SQL拆分1.2数据合并、可行性和可用性评估2.技术优化(外练强身)2.1表设计优化——好的开端是成功的一半2.2查询任务优化——锦上添花1.模型优化(内练固本)——预处理思想注:所谓预处理就是提前准备好,形同饭店的备菜环节,应该先把要用到的菜洗、切等预处理好,等客人点菜了直接炒就好。预处理环节层层递进,适合复杂任务的拆分处理,简单任务“杀鸡焉用牛刀”。模型设计优化的思路需要在工作中养成,很重要但很难像技术优化那样清晰可见,可能
2022-05-11 11:01:49 271
原创 Python任务进度条的简单设置
tqdm是python进度条的使用包,以下简单示例,list=range(1000),循环进度为每间隔0.2秒执行一次。from tqdm import tqdmfrom time import sleepfor i in tqdm(range(1000)): sleep(0.2) # 休眠0.2s pass Jupyter Notebook的使用案例1lt = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']for var in tq
2022-05-05 16:00:02 1038
azkaban-solo-server-3.81.0.tar
2022-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人