weixin_37684231的博客

原创 conda创建新环境时404问题 linux

conda创建环境报错404

原创 Could NOT find Protobuf (missing: Protobuf_LIBRARIES Protobuf_INCLUDE_DIR)

Could NOT find Protobuf (missing: Protobuf_LIBRARIES Protobuf_INCLUDE_DIR)

原创 基于pybind11的c++开发cuda算子用于python调用

基于pybind11的cuda与c++ python的混合编程技术

原创 win10+2019+cuda11.6 nvcc fatal : Cannot find compiler ‘cl.exe‘ in PATH

CUDA编程过程中遇到的”cl.exe“找不到问题。

原创 win10系统出现拒绝ssh连接问题

win10系统出现拒绝ssh连接问题

原创 基于PUN2的VR多人在线交互解决方案

基于PUN2和Unity开发VR多人同时在线交互应用的完整案例，包含详细代码及注意事项。

原创 Unity3D获取当前键盘按键及Unity3D鼠标、键盘的基本操作

键盘：GetKey 当通过名称指定的按键被用户按住时返回trueGetKeyDown 当用户按下指定名称的按键时的那一帧返回true。GetKeyUp 在用户释放给定名字的按键的那一帧返回true。GetAxis(“Horizontal")和GetAxis(“Verical”) 用方向键或WASD键来模拟-1到1的平滑输入键盘判断：If(Input.GetKeyDown(KeyCode.A)){//KeyCode表示包含键盘所有键print(“按下A键

原创 gpu算力列表

此链接为gpu算力列表官方数据https://developer.nvidia.com/zh-cn/cuda-gpus#compute

原创 thinkPad电脑无人操作时休眠设置

1.运行注册表管理器，win+r ，输入regedit.exe2.定位到HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Power\PowerSettings\238C9FA8-0AAD-41ED-83F4-97BE242C8F20\7bc4a2f9-d8fc-4469-b07b-33eb785aaca03.右键单击attributes，选择修改，修改attributes的值为24.电源设置->电源和休眠->其它电源设置->更改

原创 vs2019+cuda10.1模板创建问题

问题：在成功安装vs2019+cuda10.1后进行开发时，找不到图中红框中的cuda模板解决方法：1、关闭所有的Visual Studio程序。2、到C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\Common7\IDE\Extensions下面（这个路径根据你的个人情况而定，反正就是到你安装VS的目录去找就对了）。创建一个新的文件夹NVIDIA\CUDA 10.0 Wizards\10.1。3、在10.1文件夹下

原创 python引用自定义包问题

##########################################################将根目录加入sys.path中,解决命令行找不到包的问题import sysimport oscurPath = os.path.abspath(os.path.dirname(file))rootPath = os.path.split(curPath)[0]sys.path.append(rootPath)###################################

原创 python单例模式

class Single(object): def __init__(self, cfg): cfg = dotdict(cfg) self.bootstrap_servers = cfg.bootstrap_servers self.client_id = cfg.client_id self.topics = cfg.topics def __new__(cls, *args): bootstrap_se

原创 python绘制柱子状图

import matplotlib.pyplot as pltdf = pd.DataFrame({'Percent': [0.05, 0.03, 0.01]}, index=['Inconformity', 'OutofVision', 'None'])# df.plot.bar()# plt.show()import numpy as npplt.figure(figsize=(8,6))#设置x轴柱子的个数x=np.arange(len(df.index)) #课程品类数量已知为1

原创 python基于socket发送消息

# FileName: client.pyimport socketimport pandas as pdport = 8001 # 端口和上面一致host = "localhost" # 服务器IP，这里服务器和客户端IP同一个sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)for i in range(10): sock.sendto(("Successful! Message %s! " % i).encode

原创 python多线程

def thread_it(func, *args): '''将函数打包进线程''' # 创建 t = threading.Thread(target=func, args=args) # 守护 !!! t.setDaemon(False) # 启动 t.start() thread_it(fun)

原创 python 操作mysql类封装

# -*- coding: utf-8 -*-import pymysqlimport numpy as npimport pandas as pdfrom sqlalchemy import create_engineclass MysqlOp(): def __init__(self, host='127.0.0.1', user='root', passwd='123456', port=3306, db='test_db', charset='utf8'):

原创 tkinter 可用字体颜色汇总

#FFC0CB Pink 粉红#DC143C Crimson 深红/猩红#FFF0F5 LavenderBlush 淡紫红#DB7093 PaleVioletRed 弱紫罗兰红#FF69B4 HotPink 热情的粉红#FF1493 DeepPink 深粉红#C71585 MediumVioletRed 中紫罗兰红#DA70D6 Orchid 暗紫色/兰花紫#D8BFD8 Thistle 蓟色#DDA0DD Plum 洋李色/李子紫#EE82EE Violet 紫罗兰#FF00FF M

原创 python操作mysql数据库

# -*- coding: utf-8 -*-import pymysqlimport numpy as npclass MysqlOp(): def __init__(self, host='127.0.0.1', user='', passwd='', port=3306, db='xx', charset='utf8'): self.host = host self.user = user self.passwd = passwd

原创 基于scikit-learn 和 PySpark Pandas UDFs进行大数据分布式预测

# 构造数据import numpy as npimport sklearnfrom sklearn.datasets import make_classificationfrom sklearn.model_selection import train_test_splitfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import GridSearchCVimport panda

原创 pickle保存模型到hdfs

import pickleimport pydoop.hdfs as hdfswith hdfs.open(to_path, 'w') as f: pickle.dump(prediction_model, f)

原创 pyspark解决报错“py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled ”

安装findsparkpip install findspark然后在应用代码脚本头部加入以下两句import findsparkfindspark.init()

原创 python导入自定义工具包

import_str = 'path.path.path.classame'def import_class(import_str): """Returns a class from a string including module and class. """ mod_str, _sep, class_str = import_str.rpartition('.') __import__(mod_str) try: return getattr(

原创 pyspark dataframe字符替换与str2list

feature_df = feature_df.withColumn('col_name', F.split(F.regexp_replace('col_name', '\[|\]', ''), ','))例如：“[‘aa’,‘bb’,‘cc’]”—>[‘aa’,‘bb’,‘cc’]

原创 pyspark dataframe常用操作总结

1.dataframe列数据类型校验isinstance(df.schema["col_name"].dataType, ArrayType)2.将dataframe列中的list数据转化为多行例如：[‘qq’, ‘ww’, ‘ee’]——>qqwweeimport pyspark.sql.functions as Fexploded_df = df.select("exploded_data", F.explode("orig_col").alias("exploded_data")

原创 linux环境安装pyspark

操作系统：Ubuntu 18.04,64位。所需软件： Java 8 +，Python 3.7 +, Scala 2.11.12+安装步骤：Step 1: Java 8安装sudo apt-get updatesudo apt-get install openjdk-8-jdkjava -version安装成功后，会显示如下画面：Step 2: 如果Java安装完成后，我们安装Scala：wget https://downloads.lightbend.com/scala/2.12.8

原创 L1与L2正则化深入解析

原创 典型卷积网络模型参数量及计算量

常用模型的FlOPs和参数量

原创 python相对路径import自定义函数方法

假如工程目录层级级为：project_namesub_file1user1.pysub_file2user2.pyutilsfunc.py若要在user1.py中调用utils中func.py中的方法时需要在user1.py中加入以下代码：import syssys_path = sys.argv[0]sys.path.append('/'.join(sys_path.split('/')[:sys_path.split('/').index(project_name)+1]))

原创 python通过openscoring调用pmml模型

PMML(Predictive Model Markup Language全称是预测模型标记语言，好处在于PMML可以让模型部署环境脱离开发环境，实现跨平台部署，是PMML区别于其他模型部署方法最大的优点。平时主要使用Python建模，导出PMML后便于研发在Java生产环境中部署。为了便于后续线上线下模型校验，需要进反向操作，将已有的PMML文件还原成sklearn中的机器学习模型。操作步骤：1.下载安装Maven2.修改环境变量：vim /etc/profileexport PATH=/Use

原创 sklearn_pandas中DataFrameMapper封装sklearn中函数列名自定义方法

我们在应用DataFrameMapper做一些自定义函数封装时会遇到输出列名自定义受限的问题，比如在下面案例中：from sklearn_pandas import DataFrameMapperfrom sklearn.preprocessing import StandardScalerimport pandas as pddf = pd.DataFrame()df['a'] = [11, 2, 3, 4, 5]df['b'] = [1, 22, 3, 4, 5]df['c'] = [1

原创 Linux系统java安装

1、下载进入Oracle官网进行JDK下载2、创建目录mkdir /usr/javacd /usr/java3、解压tar -zxvf jdk-15.0.1_linux-x64_bin.tar.gz4、环境变量配置vim /etc/profileset java environmentJAVA_HOME=/usr/java/jdk1.8.0_151 JRE_HOME=/usr/java/jdk1.8.0_151/jre CLASS_PATH=.:$JAVA_HO

原创 Yarn-client与Yarn-cluster工作模式原理图

1、Yarn-client模式的工作流程2、Yarn-cluster模式的工作流程Spark框架的工作流程可以归纳为以下几步：（1）在Spark中构建应用Application的运行环境，生成上下文SparkContext，SparkContext注册到资源管理器（例如Standalone、Yarn、Mesos等），申请Executor运行资源；（2）资源管理器为Executor分配资源，启动StandaloneExecutorBackend，Executor会定时发送心跳信息到资源管理器，资源

原创 风控建模中WOE/IV分析详解

1.IV的用途IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑选入模变量过程是个比较复杂的过程，需要考虑的因素很多，比如：变量的预测能力，变量之间的相关性，变量的简单性（容易生成和使用），变量

原创 pyspark自定义类封装2

from argparse import ArgumentParser, RawDescriptionHelpFormatter, Namespacefrom dataclasses import dataclassimport xmltodictimport textwrapfrom pyspark.ml.feature import MinMaxScaler, MinMaxScalerModel, VectorAssemblerfrom pyspark.sql import SparkSe.

原创 hdfs列写路径文件及删除python方法

from pyspark import SparkContextfrom pyspark.sql import SparkSession, DataFrameclass HDFSlisf: def __init__(self, spark: SparkSession): self.spark = spark self.sc: SparkContext = spark.sparkContext self.fs = self.sc._jvm.org.a

原创 pyspark自定义算法类封装

在实际算法训练过程中，pyspark ml中的一些标准算法包并不能解决我们遇到的问题，需要自定义一些算法，具体封装案例如下：from argparse import ArgumentParser, RawDescriptionHelpFormatter, Namespacefrom dataclasses import dataclassimport xmltodictimport textwrapfrom pyspark.ml.feature import MinMaxScaler, MinM

原创 hive表压缩 orc snappy

hsql = f"CREATE TABLE IF NOT EXISTS {out_table} STORED AS orc tblproperties ("orc.compress"="SNAPPY") AS SELECT * FROM {args.table}"spark.sql(hsql)

原创 pyspark写hive表配置压缩格式（‘orc‘,‘snappy‘)

dtc_df.write.format(“orc”).saveAsTable(write_table, compression=“snappy”, mode=“overwrite”)

原创 python符号编码示例

本实例主要实现sklearn应用中，根据前端传入服务器的字符串，快速组装为可执行的pipline，并返回该pipline句柄，供后续程序的调用，比如fit过程及predict过程等，具体代码如下：import pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import LabelEncoderfrom sklearn.prepr

原创 python pip install指定国内源镜像

有时候安装一些依赖包，网不好，直接超时，或者这个包就是死都下不下来的时候，可以指定国内源镜像。　pip install -i 国内镜像地址 包名　e.g. pip install -i http://mirrors.aliyun.com/pypi/simple/ numpy 这是临时指定镜像地址清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://py