- 博客(50)
- 收藏
- 关注
RSS订阅原创 特征选择｜模型解释｜Pearson相关系数｜JS散度｜SHAP算法
本文主要介绍特征选择过程中常用的两种大方法：相关性分析和模型解释，相关性分析中介绍了Peaerson相关系数和JS散度的方法，模型解释中主要介绍了SHAP算法
2024-06-03 18:10:52
1305
原创 jupyter notebook anaconda环境下查看｜加载｜更换内核
倘若我们发现使用pip安装相应包的虚拟环境和jupyter notebook的python解释器位置不同，这时我们需要将jupyter notebook的python解释器位置调整至虚拟环境中相应位置，有两种方法。在conda虚拟环境中使用pip安装相应package， 但是在jupyter notebook中加载该package时报错。此时，除去包安装出现问题以外，我们需要考虑是否是包安装位置与notebook引擎位置不一致。
2024-05-31 11:23:30
514
原创 决策树｜随机森林 GBDT XGBoost｜集成学习
本文首先介绍了决策树的数学背景，同时介绍集成学习相关的bagging boosting 模型理论，最后介绍了随机森林模型和两种最常用的随机森林模型算法GBDT 和XGBoost
2024-05-27 21:06:38
1144
1
原创 ABtest假设检验知识｜配对检验｜比率检验｜单向表-列联表检验
本文介绍了ABTest中两样本均值差检验的统计学原理，并给出具体实例进行两样本均值差检验，同时补充的配对检验｜比率检验｜单向表检验｜列联表检验的相应方法
2024-05-25 00:37:44
1192
原创 Exception in thread “main“ org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] null
libsnappy.so
2024-04-05 14:31:43
455
原创 报错Unable to instantiate SparkSession with Hive support because Hive classes are not found.解决方法
java.lang.ClassNotFoundException: org.apache.spark.sql.hive.HiveSessionState；javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
2024-04-04 23:23:48
1956
原创 SparkSQL基本数据抽象RDD/DataFrame/Dataset介绍[附操作代码]
spark SQL数据结构，RDD｜DataFrame｜Dataset 结构梳理和相互转换
2024-03-31 01:03:30
573
原创 macos安装local模式spark
c. 添加以下三条连接，使得spark能够找到对应的hadoop和相应的包。2. 打开sparkshell。然后执行并生效系统环境变量。然后执行并生效系统环境变量。可以看到很多输出，最后找到。b. 其次替换配置文件。
2024-02-07 00:49:32
1095
原创 mac解决anaconda虚拟环境安装jupyter notebook问题
安装时使用 -m 参数能够指定该python解释器安装在当前默认的路径下，也就是我们目前打开的虚拟环境路径之下。因此为能够增加nbextension功能，需要进行如下操作。使用远端镜像比较慢，可以采用国内景象进行下载，相关的。在建立虚拟环境时，要指定使用python的版本。此时的jupyter notebook 亲测是。此时相应环境的python解释器将会被关联在。使用 -i 参数符我们便可以手动设置下载镜像。我的虚拟环境显示如下。
2024-01-14 23:25:46
675
1
原创 mac jupyternote崩溃恢复
dump文件就会出现在该路径下filename文件中。如果使用.py结尾，则可以通过pyCharm直接进行查看。jupyter notebook 同样支持历史dump，但是注意dump文件只限于本次会话中存在过的各种操作。使用方法是：在该会话中的任意一个jupyter notebook 交互界面的代码单元格中输入。所有经过python解释器解释过的内容都会记录在python历史文件中，位置在。然后可以通过vim操作进行查看。如果还不是很清楚，可以参照。
2023-11-24 11:51:04
442
原创 python matplotlib绘图参数总结
首先建立画布，建议使用，将所有的绘制任务都分配到ax对象上进行。注意，除非使用1*1的画布分区，否则此时ax将会是一个二维数组，需要以数组的形式获取不同位置的ax对象。
2023-11-13 09:52:37
463
原创 github分支处理stash,rebase,merge,fastforward以及分支代码提交主分支
Git采取的是增量式文件存储系统，类似于hadoop中的redo log 或者是MySql主从模式下的bin log，因此每一次提交实质上记录的是与上一次提交相比不同的记录。分为三个区的目的也非常明确，就是能够将本地未跟踪代码以及仓库版本代码进行隔离，并且能够极大程度上为本地未跟踪代码入库提供便利。，stash操作只能以快照的形式处理每一次压栈，并且每一次压栈所存储的快照之间是不能够合并的。是git软件未对代码进行跟踪的位置，我们修改代码就如同没有版本管理软件一般操作；暂存区(staging area)
2023-11-03 23:55:02
324
原创 Latex公式语法
文章目录矩阵｜行列式｜大括号关键词资料矩阵｜行列式｜大括号关键词begin{array}end{array}\left\right\vdot \cdot \ddot \ldot资料打印矩阵｜行列式的技术博客在这里
2022-02-02 19:13:42
1006
原创 python常用包总结
文章目录python 常用包总结numpy包方法对象字段对象方法计算比较python 常用包总结numpyimport numpy as np包方法np.arange() 用于生成一维数组>>> np.arange(12)array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11])np.array() 用于将list转化为相应ndarray数组>>> a=list(range(12))>
2022-01-19 23:05:58
1159
原创 Mac Conda全操作总结
文章目录Mac Conda 全操作总结Anaconda 安装Conda 虚拟环境进入Mac Conda 全操作总结Anaconda 安装安装教程链接常用指令简介Conda 虚拟环境进入激活虚拟环境$ conda init bash/zsh** 然后重启Terminal取消激活 $ conda config --set auto_activate_base false # 将false改为true设置默认环境为conda** 然后重启Terminal...
2022-01-17 15:45:22
1312
原创 hadoop集群虚拟机布置教程
文章目录1 搭建多集群平台1.1 最小镜像下载1.2 在Workstation中安装1.3 安装secureCRT1 搭建多集群平台1.1 最小镜像下载参考简书博文1.2 在Workstation中安装参考这里1.3 安装secureCRT参考这里
2021-02-23 11:55:01
142
原创 Anaconda配置虚拟环境并为Jupyter notebook添加内核｜功能
conda jupyternotebook安装anaconda安装jupyter notebook为jupyter notebook 添加目录功能使用pip 安装jupyter notebookipykernel为jupyter notebook 添加新内核
2021-02-04 08:10:21
13226
原创 [整理]数据库连接池配置文件
文章目录c3p0 xml格式文件设置c3p0 xml格式文件设置<c3p0-config> <!-- 默认配置，如果没有指定则使用这个配置 --> <default-config> <property name="driverClass">com.mysql.cj.jdbc.Driver</property> <property name="jdbcUrl">jdbc:mysql://
2020-08-11 10:04:51
788
原创 [整理]String&StringBuilder&StringBuffer区别
文章目录String与StringBuffer的区别具体区别StringBuffer的常用方法String与StringBuffer的区别简单地说，就是一个变量和常量的关系。StringBuffer对象的内容可以修改；而String对象一旦产生后就不可以被修改，重新赋值其实是两个对象。具体区别StringBuffer的内部实现方式和String不同，StringBuffer在进行字符串处理时，不生成新的对象，在内存使用上要优于String类。所以在实际使用时，如果经常需要对一个字符串进行修改，例如插
2020-08-02 20:18:41
161
原创 [整理]tomcat服务器web.xml配置文件
<?xml version="1.0" encoding="UTF-8"?><web-app xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml
2020-07-31 03:01:55
187
原创 Eclipse EE 配置web application
文章目录Eclipse EE IDE配置安装Tomcat服务器建立web项目web 项目连接tomcat服务器Eclipse EE IDE配置首先需要注意的是， Eclipse SE IDE 同样可以build web项目，但是需要下载相应的Java EE plugins，具体方法是 help->install new software然后下载与Java EE 有关的插件。具体方法可以参考这篇博文。同时，更建议直接到Eclipse官网下载64位 Eclipse EE IDE，里面自动集成了所有E
2020-07-30 19:18:22
527
原创 java与javac使用总结
文章目录java与javac配置自定义包与外部包依赖java 与 javac 版本匹配问题java与javac配置自定义包与外部包依赖需要建立classpath用户环境变量(User Environment Variable)，其中第一个变量值为 .; 表示当前文件夹路径，否则可能在使用java编译运行时会产生找不到主函数的错误，设置的方法详见这里。其次，用户自定义包以及外部包也需要添加到classpath中，这样在使用javac解释过程中不用再使用-cp指令指定相关包路径。注意，在解释器运行过程中
2020-07-30 06:40:20
242
原创 java jdk及javac使用
文章目录SDK与JDKServlet包及javac解释器SDK与JDKJDK(Java Development Kit)属于SDK(Software Development Kit)的一个子集，其中包含JRE(Java Runtime Environment)以及相应的jar包、class源码与帮助文件；我们先贼经常使用的JDK8甚至是更高的版本基本上都是JavaSE的相应JDK版本。Servlet包及javac解释器Servlet包属于JavaEE相应JDK版本，因此在JavaSE JDK相应版
2020-07-30 00:40:53
260
原创 Tomcat服务器配置及问题解析
文章目录源代码下载安装配置解决闪退问题增加Tomcat系统环境变量源代码下载进入Apache官方网站点击project找到Tomcat进入下载页面：https://tomcat.apache.org/download-70.cgi注意，下载binary distribution而不是source code，否则可能会出现依赖包无法找到的情况安装配置由于Tomcat完全由java语言编写，所以运行Tomcat服务器需要电脑安装有Java JDK作为支持。在运行Tomcat之前，需要配置系统环境变
2020-07-29 21:35:56
296
原创 [整理]Windows系统操作总结
删除windows服务win+Rservices.msc打开服务3. 找到相应服务名称4. elevated 模式打开windows cmd[位于C:\Windows\System32路径下]5. 输入> sc delete service_name设置系统环境变量win+Rsysdm.cpl 打开系统变量3. 萱蕚advanced -> system environment...
2020-07-15 07:25:38
242
原创 [整理]Python中时间格式
文章目录Python中时间格式总览time类datetime类Python中时间格式总览python 中时间一般存储为三种格式：timedatetimeCalender三种格式本身又都接受或者是能够转化成long型的timestamp(时间戳)或者是String型format形式因此我们一般都是用其中的内置函数将他们转化成时间戳进行传递或者是转化成相应的时间字符串进行输出注意，几乎所有的时间相关format都是以下对应格式：(%Y-%m-%d %H:%M:%S ,%w)注意，所有转
2020-07-15 05:53:12
1026
原创 [整理]windows Win+R指令汇总
文章目录查看运行服务查看运行服务执行指令services.msc功能：可以查看正在运行的注册进程可以手动打开以及关闭MySQL数据库
2020-07-13 09:50:49
10071
1
原创 Hibernate配置文件设置记录
文章目录配置实体类与DB表单映射关系配置实体类与DB表单映射关系IDEA中配置.xml文件创建选项过程在这里向.xml文件中导入dtd约束，采用联网方式：作为mapping dtd, 应当导入第二个作为configuration dtd, 应当导入第一个<!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://w
2020-07-13 09:47:49
162
原创 [整理]Python不同装饰器解释
文章目录装饰器基本结构Property装饰器装饰器基本结构装饰器的本质便是在函数中调用函数，被装饰器调用的函数在装饰器函数执行额过程中正常运行， 但是装饰器函数本身可能还会完成一系列的功能。def wrapper(f): def inner(): print('1111') f() print('22222') return return inner@wrapper # func = wrapper(func)
2020-07-13 03:26:00
171
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人