算法
张一爻
这个作者很懒,什么都没留下…
展开
-
一个GPU版本的遗传算法迭代xgboost最优参数的示例,这里用的是自定义损失函数
## 混合打乱数据# for i in tqdm(range(20),desc="随机打乱数据"):gamma = 0### 自动计算alpha值的取值范围 取负例的比例, "n_estimators":int(w2)#11 #即基评估器的数量。这个参数对随机森林模型的精确性影响是单调的,n_estimators越 大,模型的效果往往越好。原创 2023-11-26 19:54:38 · 625 阅读 · 0 评论 -
pymoo包NSGA2算法实现多目标遗传算法调参详细说明
n_var定义的是待求解的XXX变量数量n_obj定义的是待求解fff问题数量定义的是约束条件的数量xl定义的是待求解的XXX参数的下限xu定义的是待求解的XXX参数的上限f1,f2定义问题g1,g2定义约束条件。原创 2023-10-10 19:31:46 · 2110 阅读 · 0 评论 -
增长预测模型之逻辑斯蒂模型
from datetime import datetime,timedeltafrom sklearn.metrics import mean_squared_errorfrom scipy.optimize import curve_fitfrom scipy.optimize import fsolveimport matplotlib.pyplot as pltfrom json ...原创 2020-04-22 14:32:54 · 4087 阅读 · 0 评论 -
统计函数demo
def to_array(x): # 公共函数转数据结构 if isinstance(x,np.ndarray): return x else: if isinstance(x,(list,tuple)): return np.array(x) elif isinstance(x,set): return np.array(list(x)) to_array({1,2,3原创 2021-09-07 16:16:44 · 129 阅读 · 0 评论 -
求两个地理坐标在地球上曲面的直线距离
math 坐标计算两点之间的距离(公式)from math import radians, cos, sin, asin, sqrt#公式计算两点间距离(m)def distance_from_longlat_asmath_function(lng1 = 120.12802999999997,lat1 = 30.28708,lng2=115.86572000000001,lat2 = 28.7427): lng1, lat1, lng2,lat2 = map(radians, [float(l原创 2021-09-02 13:45:30 · 251 阅读 · 0 评论 -
生成补充待测试词
from itertools import permutationsimport redef create_char_map(str_range = 'lowercase',chinese_path = False): iter_range = lambda char_range : map(lambda x : chr(x),char_range) func_dict = {'lowercase':iter_range(range(97,122)) ,原创 2020-07-21 19:22:21 · 88 阅读 · 0 评论 -
概率论中的数学期望
在描述统计当中,数学期望通常是均值概率论中,其实也没有多大差别,数学期望表达的是事件在概率确定时最终发生的期望值。这里有一个思维转换,为何均值也是期望值呢?需要联系一下回归的公理论证,譬如切比雪夫大数定理。简单来说,当事件发生的发生足够多时,概率会逐渐接近理论上的均值。所以,得到事件的经验概率时,就可以近似的等于理论的真实概率。引申一下,方差本质上也是在围绕数学期望做摆动。而数学期望的这个原理,则可以很好的表达一些预期的长期收益可能性。方法也极其简单,既:∑n>1(概率∗收益) \su原创 2020-07-29 16:39:40 · 4075 阅读 · 0 评论 -
贝叶斯原理做最大似然估计实现拼写纠错
import numpy as npimport jieba import pandas as pdimport refrom itertools import permutationsimport timefrom sys import exc_info,stdoutimport tracebackfrom os import getcwdimport osdef shorterror(func): def In(*vars): try :原创 2020-07-29 10:14:38 · 140 阅读 · 0 评论 -
语言模型平滑优化<add one smoothing>&<add k smoothing>&<interpolation>
def find_file(key_word,dir = os.getcwd()): file_paths = [os.path.join(dir, f) for f in listdir(dir) if os.path.isfile(os.path.join(dir, f)) and key_word in os.path.join(dir, f)][0] return file_paths# 加载文本corpus = find_file("南方网 3.csv")stop_word原创 2020-08-07 12:55:06 · 880 阅读 · 0 评论 -
NLP基础处理流程&Torch版TFIDF&Ngram
import numpy as npimport torchimport reimport jiebaimport pandas as pdfrom tqdm import tqdmimport os.pathfrom os import listdirimport torchfrom IPython.display import display, Imagefrom itertools import permutations#显示所有列pd.set_option('display.原创 2020-08-06 15:02:34 · 504 阅读 · 0 评论 -
pytorchGPU|CPU自动推断版线性回归demo
from sklearn.datasets import load_diabetesfrom sklearn.utils import shuffleimport torchimport matplotlib.pyplot as pltfrom tqdm import tqdmimport numpy as npdef is_GPU(tensor): ''' 函数名 : cpu 或者 gpu 自动推断函数 :param tensor: tensor结构数据 :r原创 2020-08-21 03:44:27 · 310 阅读 · 0 评论 -
退火算法求最小值范式
import numpy as npimport matplotlib.pyplot as pltdef f(x=1): #待最小函数 return np.random.randn(100000)[x]f()def PDE(DE,t,k=1): return np.exp((DE)/(k*t))def DE_function(new,old): return new - olddef jump(DE,T,k=1): return PDE(DE,T,k) &原创 2020-08-26 13:46:05 · 287 阅读 · 0 评论 -
倒排表模块
# -*- encoding: utf-8 -*-'''@File : inverted_index.py@Time : 2020/10/06 00:31:42@Author : DataMagician @Version : 1.0@Contact : 408903228@qq.com'''# here put the import libfrom jieba import cut as jiebacutfrom numpy import ndar原创 2020-11-03 23:29:06 · 291 阅读 · 1 评论 -
自动建模推理机的可决系数模块
import numpy as npdef R_Square(train_X,test_x,train_Y,test_y,functin=None): y,p_y = XGBRegressor_model(train_X,test_x,train_Y,test_y) n = test_y.size one_vector = np.ones(n) """$$ \bar{y}=\frac{1}{n} \sum_{i=1}^{n} y_{i} $$""" y_ = (1原创 2020-11-17 16:48:54 · 267 阅读 · 0 评论 -
2020年末coding复习之kmeans
df_for_kmeans=df[pd.isna(df1.经度)!=True]df_for_kmeans=df[pd.isna(df1.纬度)!=True]kmeans_data = df_for_kmeans[["纬度","经度"]].to_numpy()train_x ,train_y,test_x,test_y = kmeans_data[:10000],df_for_kmeans.职位名称.to_numpy()[:10000],kmeans_data[10000:],df_for_kmeans原创 2020-11-26 00:54:23 · 231 阅读 · 1 评论 -
2020年末coding复习之 KNN及变种实验记录
import numpy as npdef euclidean_metric(x,y): return np.sqrt(((x-y)**2).dot(np.ones_like(x)))def KNN(train_x,train_y,test_x,k=3,Lambda=euclidean_metric): train = np.array(sorted({Lambda(train_x[i],test_x):train_y[i] for i in range(train_y.shape[原创 2020-11-25 01:34:02 · 250 阅读 · 2 评论 -
粗糙的短文本抽取
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport jiebadf = pd.read_csv("/Users/magu/Documents/新闻分析/凤凰网新闻1.csv")papers = list(df[df.columns[-1]])def sorted_dict(items_,item_id = 1): return sorted(items_.items(),key=lam原创 2021-08-16 15:51:15 · 87 阅读 · 0 评论