daotian

原创 python confing.ini

在上面的示例中，config文件被分为两个部分：Database和Logging。每个部分都包含一些键值对，用于指定配置项和它们的值。在这个例子中，Database部分包含了连接数据库所需的配置信息，Logging部分包含了应用程序日志的配置信息。在Python中，config文件一般采用 .ini 格式来编写，即以扩展名为.ini的文件形式存储。在Python中，可以使用configparser模块来读取和解析config文件。

原创 python config.yml

这个代码将config.yml文件读取到一个Python字典中，然后通过字典访问相应的配置信息。注意，在PyYAML的新版本中，必须指定Loader选项，否则会出现警告信息。config.yml是一个常用的配置文件格式，通常用于存储应用程序的配置信息。这个配置文件包含两个部分，一个是数据库配置信息，另一个是日志配置信息。可以根据具体的应用程序需要自行添加或修改。要在Python中读取config.yml文件，可以使用PyYAML库。

原创 员工离职预测

集成学习的主要思想是将多个弱分类器按照某种方式组合起来，形成一个强分类器。目前集成学习可分为三种类型，分别是Bagging，Boosting，Stacking。 Bagging，把数据集通过有放回的抽样方式，划分为多个数据集，分别训练多个模型。针对分类问题，按照少数服从多数原则进行投票，针对回归问题，求多个测试结果的平均值。 Boosting，与Bagging一样，使用的相同的弱学习器，不同的是以自适应的方法顺序地学习这些弱学习器，即每个新学习器都依赖于前面的模型，并按照某种确定性的策略将它

原创 git commit 详解

● 将暂存区的文件提交到本地仓库并添加提交说明$ git commit -m "本次提交的说明"● add 和 commit 的合并，便捷写法，未跟踪的文件是无法提交$ git commit -am "本次提交的说明"● 跳过验证继续提交$ git commit --no-verify$ git commit -n● 撤销上一次提交，并将暂存区文件重新提交，编辑器会弹出上一次提交的信息，可以在这里修改提交信息$ git commit --amend● 修复提交，同时修改提交信息$ gi.

原创 神经网络中怎么解决梯度消失问题

在深度网络中，网络参数的学习是通过反向传播的链式求导法则来求 Loss 对某个参数 的偏导数，然后进行参数更新的。因此造成梯度消失的原因主要有两个：1.当网络层 数很深，而当前的参数所在层又靠近网络的输入时，求导链就会非常长；2.如果其中的某些中间结果的值很小，并经过链式的累成作用，最终求得的梯度值就会接近于零，而导致参数得不到更新。可通过以下方法解决梯度消失的问题：1. 选用合适的激活函数。比如 ReLU 或者 Leaky ReLU。因为像 Sigmoid 和 Tanh 这样的激活函数，会.

原创 Sigmoid与Softmax的应用与不同

一、Sigmoid1、函数公式：公式中，z是单个原始输出值，如原始输出值为[-0.5，0.3， 1.5， -2.0]，则z1=-0.5，z2=0.3，z3=1.5，z4=-2.0；sigmoid函数连续，光滑，严格单调，以(0,0.5)中心对称，是一个非常良好的阈值函数。sigmoid函数把一个实数压缩到(0,1)，当z无穷大时，函数值趋于1，反之趋于0；我们知道(0,1)与概率值的范围是相对应的，这样sigmoid函数就能与一个概率分布联系起来了。我们经常说的...

原创 指纹无法登陆 win10关闭windows hello 尝试再次运行安装程序

win10指纹功能故障的解决方法：1.、按 “Windows 徽标键+X”，启动设备管理器。找到您的指纹（生物识别）驱动，右键卸载，重启设备。再次打开设备管理器，点击 “操作”>“扫描检测硬件改动”，Windows 会在联网状态下寻找合适的驱动进行安装。安装后再次重启设备。2.、按 “Windows 徽标键+R”，输入 “services.msc”，回车启动服务管理器。找到 Windows Biometric Service 服务，将其停止。3.、找到 C:\Windows\System32

原创 Python并发之Asyncio

import asyncioimport aiohttpimport timeimport concurrent.futuresimport multiprocessing# 异步网页下载async def download_one(url): async with aiohttp.ClientSession() as session: async with session.get(url) as resp: print("read {} from {}".format(res.

原创 Python并发之futures

python并发与并行详解：import requestsimport timeimport concurrent.futuresimport threading# 单线程版下载def download_one(url): resp = requests.get(url) print("read {} from {}".format(len(resp.content), url)) def download_all(sites): for site in sites: d

原创 阿里云服务器（centos）安装MySQL

1.下载MySQL安装包https://mirrors.huaweicloud.com/mysql/Downloads/MySQL-8.0/ 我选择的版本是8.0.21，下载 mysql-8.0.21-linux-glibc2.12-x86_64.tar.xz 文件 2.把安装包上传到Linux在根目录下创建export目录，在export目录下创建data，servers，softwa...

原创 MySQL密码过期ERROR 1862 (HY000)

报错内容：ERROR 1862 (HY000): Your password has expired. To log in you must change it using a client that supports expired passwords.解决方法：1、 用忽略授权表的方法进入mysql 首选打开my.cnf文件vim /etc/my.cnf 在[mysqld]下添加skip-grant-tables 2、进入mysql，查看root用户的详细...

原创 DeepFM：用预训练权重去初始化embedding weights和frozen embedding weights

Usetf.initializers.identity()to set theembeddings_initializerofSparseFeat,and settrainable=Falseto frozen embedding weights.import numpy as npimport tensorflow as tffrom deepctr.models import DeepFMfrom deepctr.feature_column import SparseFeat...

原创 DeepFM保存、加载模型和权重

# To save/load weights,you can write codes just like any other keras modelsmodel = DeepFM()model.save_weights('DeepFM_w.h5')model.load_weights('DeepFM_w.h5')# To save/load models,just a little differentfrom tensorflow.python.keras.models import sa.

原创 提取DeepFM的embedding vectors

feature_columns = [SparseFeat('user_id',120,),SparseFeat('item_id',60,),SparseFeat('cate_id',60,)]def get_embedding_weights(dnn_feature_columns,model): embedding_dict = {} for fc in dnn_feature_columns: if hasattr(fc,'embedding_name'): .

原创 详解高级Python调度器APScheduler

APScheduler介绍1. APScheduler官网介绍Advanced Python Scheduler (APScheduler) is a Python library that lets you schedule your Python code to be executed later, either just once or periodically.2. APScheduler有四种组件：Triggers （触发器）触发器包含调度逻辑，每个作业都有自己的触发器，根据设置

原创 机器学习之数据编码OneHotEnconder/LabelEnconder

OneHotEnconder/LabelEnconder在机器学习中，通常需要对类别型变量单独做处理，这是因为模型的输入项基本都需要是数值型变量，而类别变量本身不带数值属性，所以需要进行一层转换。一、OneHotEncondr1、为什么要独热编码因为大部分算法是基于向量空间中的度量来进行计算的，为了使非偏序关系的变量取值不具有偏序性，并且到圆点是等距的。使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码，会让

原创 python深拷贝与浅拷贝

深拷贝与浅拷贝直接赋值：其实就是对象的引用（别名），你变我也变。浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象。深拷贝(deepcopy)： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象。...

原创 python伪多线程

python伪多线程python为什么不能多线程； 怎么用python实现并行。一、多线程、多进程、守护线程1.1 进程狭义定义：进程就是一段程序的执行过程。广义定义：进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。第一，进程是一个实体。每一个进程都有它自己的地址空间，一般情况下，包括文本区域（text region）、数据区域（data region）和堆栈（stack

原创 jupyter notebook切换新环境

1、确认本地环境conda info -e 或者conda env list2、复制你所需要的环境conda create -n sophon_env --clone basesophon_env是要创建的环境名称base是要拷贝的环境名称3、 激活新环境activate sophon_env4、下载ipykernelconda install ipykernel5、将新建的环境插入到jupyter notebookpython -m ipykerne

原创 基于KNNImputer缺失值填充

sklearn.impute.KNNImputerImputation for completing missing values using k-Nearest Neighbors.Each sample’s missing values are imputed using the mean value fromn_neighborsnearest neighbors found in the training set. Two samples are close if the feature..

原创 python系列 -- 数据分析、算法速查表（机器学习、神经网络、可视化）

原创 机器学习调参--gridSearchCV（网格搜索交叉验证）

gridSearchCV（网格搜索）的参数、方法及示例1.简介GridSearchCV的sklearn官方网址：http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCVGridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化的结果和参数。但是这个方法适合于小数据集，一旦

原创 centos 安装node.js

下载地址：https://nodejs.org/en/download/2、通过ftp工具上传到linux服务，解压安装包tar -xvf node-v10.16.0-linux-x64.tar.xz3、移动并改名文件夹cd /usr/local/mv /var/ftp/pub/node-v10.16.0-linux-64 ./mv node-v10.16.0.0-linux-64/ nodejs4、让npm和node命令全局生效　　方式一：环境变量方式（这种方式似乎..

转载 无服务器Serverless详解

前言最近关于 Serverless 的讨论越来越多。看似与前端关系不大的 Serverless，其实早已和前端有了颇深渊源，并且将掀起新的前端技术变革。此次分享根据个人理解和总结，从前端开发模式在serverless的演进、Serverless 常见服务商提供的解决方案以及 基于Serverless 的前端开发模式等方面，与大家探讨 Serverless 中的前端开发模式。一、前端开发模式的演进image.png首先回顾一下前端开发模式的演进，我觉得主要有四个阶段。。1、基于模板渲染

原创 python使用pip出现/bin/python: bad interpreter: No such file or directory

pip list 后出现了报错：-bash: /mnt/anaconda/envs/py3/bin/pip: /mnt/anaconda/envs/py3/bin/python: bad interpreter: No such file or directory1、我之前修改了创建好的虚拟环境的名称，导致报错，修改回原来的名称就好了。2、若不是第一种情况，可以尝试下面这种方法：which pip/mnt/anaconda/envs/zdt_evn/bin/pipwhich py

原创 linux中clear报错：terminals database is inaccessible的解决方法

在linux中，输入clear，报错是"terminals database is inaccessible"，主要原因是Path for Anaconda3 is set in .bashrc. It is interfering with clear command.解决方法如下：1、在"~/.brashrc" 中添加下面内容：export TERM=vt100export TEMCAP=$INFORMIXDIR/etc/termcap2、source .brashrc文件s.

原创 lightgbm分类算法代码实现

# coding: utf-8# pylint: disable = invalid-name, C0111import jsonimport lightgbm as lgbimport pandas as pdimport numpy as npfrom sklearn.metrics import mean_squared_errortry: import cPick...

原创 conda安装、升级、查询、删除、激活环境、镜像等

安装linux环境bash Anaconda3-2019.07-Linux-x86_64.sh#yes+回车 #然后重启terminalwindow环境：直接双击安装exe文件，然后根据安装向导进行安装升级升级Anaconda需要先升级condaconda update conda #基本升级conda update anaconda #大的升级conda update anaconda-navigator //update最新版本.

原创 各数据库默认的端口号

各种数据库的端口号（默认）一 ：Oracle驱动：oracle.jdbc.driver.OracleDriver URL：jdbc:oracle:thin:@<machine_name><:port>:dbname 注：machine_name：数据库所在的机器的名称，如果是本机则是127.0.0.1或者是localhost，如果是远程连接，则是远程的IP地址；port：端口号，默认是1521二：SQL Server...

原创 机器学习XGBoost模型调参技巧和代码实现

常规操作，先吹一下XGBoost：XGBoost的核心思想是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数f(x)，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数。最后只需要将每棵树对应的分数加起来就是该样本的预测值。XGBoost对GBDT进行了一系列优化，比如损失函数进行了二阶泰勒展开、目标函数加入正则项、支持并行和默认缺失值处理等，在可扩展性

原创 机器学习集成学习 Ensemble Learning（常用集成算法汇总）

一、Voting 投票1、voting原理假设有1000种分类器，每个分类器预测的正确率只有50.5%，如果以预测类别最多的作为预测结果，则准确率可达到60%，如果有10000种分类器，则准确率可达到84%左右。该结果的前提是分类器彼此独立，但是现实中它们都在同一个数据集上进行训练，可能会犯同样的错误，所以准确率会有降低。2、Voting可以分为硬投票法（Harding Voting）和软投票法（Soft Voting）-- 硬投票法根据分类器预测的结果出现最多的类别作为预测值。--

原创 python读取json文件

pandas.read_json()函数的参数如下：pandas.read_json(path_or_buf=None, orient=None, typ='frame', dtype=True, convert_axes=True, convert_dates=True, keep_default_dates=True, numpy=False, precise_float=False...

原创 神经网络常用的sigmoid和softmax激活函数

sigmoid函数（也叫逻辑斯谛函数）：　引用wiki百科的定义：　　A logistic function or logistic curve is a common “S” shape (sigmoid curve).　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。sigmoid激活函数(也叫logistic_activate...

原创 2019 CCF 乘用车销量预测

赛题通道：https://www.datafountain.cn/competitions/352baseline单模0.57，祝各位好运！！！import pandas as pdimport numpy as npimport lightgbm as lgbfrom sklearn.metrics import mean_squared_error as msefrom tq...

原创 量化交易学习网站

1、知乎专栏： 清华大学量化投资协会成果集萃：https://zhuanlan.zhihu.com/thuquant2、知乎话题：量化交易：https://www.zhihu.com/topic/19815465/hot3、知乎专栏: 量化交易&宽客: https://zhuanlan.zhihu.com/JoinQuant...

原创 解决ubuntu无法连接网络问题

问题描述：今天打开虚拟机，突然发现unbuntu无法连接网络，火狐浏览器一直显示‘无法连接服务器’，郁闷了很久，网上其他的修改配置文件都试了一遍，发现都没起作用。然而突然发现这个方法可行，操作很简单：首先验证下我们的问题是一致的：1、首先输入：ifconfig，发现没有静态ip；2、ping www.baidu.com，发现无法连接；解决方法：1、关掉网络：sudo servi...

原创 逻辑回归 - - 原理推导

逻辑回归的主要思想：根据现有的数据对分类边界进行建立回归公式，以此进行分类。此处“回归”的意思是对要找到最佳的拟合参数集。目录一、逻辑回归是分类算法二、逻辑回归的函数（Sigmoid函数）三、Logistic的损失函数四、梯度下降法求解损失函数五、逻辑回归的优缺点一、逻辑回归是分类算法Logistic本质上是一个基于条件概率的判别模型(Discriminativ...

原创 指数平滑（时间序列预测）

目录一、指数平滑二、指数平滑详解1、一次指数平滑（又叫简单指数平滑，simple exponential smoothing， SES）2、二次指数平滑3、三次指数平滑4、平滑系数a的选择5、指数平滑效果一、指数平滑1、定义：指数平滑法实际上是一种特殊的加权移动平均法。指数平滑法进一步加强了观察期近期观察值对预测值的作用，对不同时间的观察值所赋予的权数不等，...

原创 特征工程（调整 算法模型上限的必备技能）

传授业内圣经：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。目录特征选择的方法一、业务知识二、Filter（过滤法）1、 方差筛选法：2、皮尔逊相关系数法：（主要用于回归算法中）3、互信息法4、假设检验三、Wrapper（包装法）四、Embedded（嵌入法）1、正则化2、基于树模型的特征选择法五、特征组合六、深度学习进行选择...

原创 python连接数据库

1、连接远程Oracleimport cx_Oracle# cx_Oracle.connect(user, password, ip:port/database_name, encoding)conn = cx_Oracle.connect('zdt','zdt','11.22.66.66:1521/cxk',encoding='utf-8')# create a cursorc...