2021年04月_WGS.

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 pyspark---udf 多参数传入

思路：闭包+lambda# 判断是否为节假日、调休日、推广日def holiday_judge(l=True, s="2018-01-01", e="2021-12-31"): def process(d, l=True): if l == False: d = (datetime.strptime(d, '%Y-%m-%d') + timedelta(days=3)).strftime('%Y-%m-%d') # 法定节假日

2021-04-30 16:12:34 673 1

原创利用GPU跑深度模型

查看GPU信息状态nvidia-smiGPU：GPU 编号；Name：GPU 型号；Persistence-M：持续模式的状态。持续模式虽然耗能大，但是在新的GPU应用启动时，花费的时间更少，这里显示的是off的状态；Fan：风扇转速，从0到100%之间变动；Temp：温度，单位是摄氏度；Perf：性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能（即 GPU 未工作时为P0，达到最大工作限度时为P12）。Pwr:Usage/Cap：能耗；

2021-04-29 10:55:02 1616

原创 win10 搭建Keras框架

文章目录1. 安装tensorflow-gpu框架1.1 下载CUDA工具包。1.2 下载cudnn。将cudnn的解压下的三个文件bin , include , lib 对CUDA安装目录下的同名文件进行替换注：在哪找你的CUDA2. 选择安装TensorFlow的anaconda环境3. 安装TensorFlow3.1 直接pip安装3.2 先安装好.whl文件，再pip3.3 测试tensorflow-gpu安装完成4. 安装keras框架5. 测试keras安装完成keras为tensorflow

2021-04-29 10:32:56 518

原创 pyspark---SparkSession读取csv时，原来的UTC时间格式自动解析不正确的问题

先看一下csv文件数据（重点是原来的UTC格式的时间）我想要的效果是pyspark读取后，仍是这个UTC格式。看下你的读法是不是和下面一样。如果是解析的会有偏差sc = SparkContext('local', 'ad_position')ss = SparkSession(sc).builder.appName('ad_position').getOrCreate()data = ss.read.options(header='True', inferSchema='True').csv(

2021-04-27 17:08:39 391

原创如何在微信公众号中加入数学公式，及用markdown语法？

markdown nicehttps://mdnice.com/然后就可以用markdown语法了，写完复制到微信公众号即可

2021-04-21 18:16:43 1557

原创推荐系统中的Embedding应用

文章目录1. Word2Vec1.1 Skip-gram2. Airbnb中的Embedding2.1 用在相似推荐中的List Embedding2.1.1 优化一：Booked Listing as Global Context2.1.2 优化二：Adapting Training for Congregated Search2.1.3 冷启动问题2.1.4 效果评估2.2 用在搜索推荐中的Type Embedding2.2.1 Expllicit Negatives for Host Rejectio

2021-04-21 10:53:53 947

原创推荐系统中的双塔模型

文章目录1. 为什么要学习DSSM双塔模型2. DSSM模型理论知识2.1 DSSM模型的原理2.2 DSSM深度语义匹配模型整体结构2.2.1 输入层2.2.2 表示层2.2.3 匹配层2.3 DSSM模型的优缺点3. 推荐领域中的DSSM双塔模型3.1 从NLP领域跨界到推荐领域的DSSM3.2 朴素的DSSM双塔模型，20153.3 百度的双塔模型3.4 谷歌的双塔模型，20194. 实战广告推荐的双塔模型4.1 广告推荐业务场景4.2 广告推荐的DSSM双塔模型结构4.2.1 输入层4.2.2 表示

2021-04-21 10:29:30 4072 6

原创推荐系统经典模型 Wide & Deep 详解 (全网之最)

文章目录摘要简介推荐系统概述Wide & Deep原理Wide部分Deep部分Wide & Deep合并系统实现数据生产模型训练模型服务模型结果App 获取量服务性能代码实现今天我们剖析的也是推荐领域的经典论文，叫做 Wide & Deep Learning for Recommender Systems。它发表于2016年，作者是Google App Store的推荐团队。这年刚好是深度学习兴起的时间。这篇文章讨论的就是如何利用深度学习模型来进行推荐系统的CTR预测，可以说是在推

2021-04-21 10:17:13 6322

原创 Gitlab上传文件夹（多分支、单分支）

文章目录1.下载gitlab服务器上的项目2.提交代码2.1单分支开发2.2多分支开发安装 git https://git-scm.com/downloadsgitlab/github要有一个项目（或者新建一个）1.下载gitlab服务器上的项目找到我们的项目，点击右上角的克隆图标，选择http,然后copy地址。随便找个文件夹新建一个文件夹，用来存放即将拉下来的项目文件。这个文件夹就当做Git拉代码的工作目录进入到新建的问价夹里面，鼠标右键，选择 Git Bash Her

2021-04-19 19:29:47 8934

原创 pyspark---ERROR DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file:...

[Stage 185:> (0 + 1) / 22]21/04/14 20:11:48 ERROR DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file C:\Users\Administrator\AppData\Local\Temp\blockmgr-49a89b4a-7ff8-4ad

2021-04-15 09:40:54 762

原创 pyspark保存文件时报错---java.io.IOException: (null) entry in command string: null chmod 0644

window上运行pyspark程序出现java.io.IOException: (null) entry in command string: null chmod 0644解决方法：下载hadoop.dll文件，拷贝到c:\windows\system32目录中即可hadoop.dll可以在github上下载：https://github.com/4ttty/winutils百度网盘链接：https://pan.baidu.com/s/12-MMoz0LYSbEYl_GMiwb3A提取码

2021-04-13 10:54:22 372

原创 pyspark---agg的用法

文章目录group by agg用法dataframe agg 直接计算group by agg用法pyspark中的agg聚合运算应该才能达到聚合字段的目的, apply的运算都是一行一行的运算且并没有真实的聚合.pyspark中已经对agg操作定义了很多方便的运算函数,可以直接调用来对其进行运算.from:+---------+-------------+-----+-------+-------+-------+-------+--------+|ID |

2021-04-12 14:27:00 7908

原创 pyspark---根据id将多行分解成多列

如下图所示DataFrame ：现在想要的结果是：from pyspark.sql import SparkSessionfrom pyspark.sql import functions as fnspark = SparkSession.builder.appName('test').getOrCreate()df = spark.createDataFrame( [[1, "a", "a11", "a12"], [1, "b", "b11", "b12"], [2, "a",

2021-04-11 17:06:48 368

原创 docker 搭建pyspark环境

文章目录来看下Linux的demo文件目录software文件夹内容编写简单的demo.pydockerfiledocker builddocker run来看下Linux的demo文件目录software文件夹内容编写简单的demo.py'''from pyspark import SparkContextimport osos.environ['JAVA_HOME'] = '/home/software/jdk1.8.0_144' # 这里的路径为java的bin目录所在路径，我这

2021-04-10 15:52:56 1583

原创 pyspark---数据预处理经典demo

文章目录1.先看下造的数据2.创建SparkSession及读取数据3.dataframe基本信息的查看获取列(字段)查看列(字段)个数查看记录数查看维度打印字段树结构显示前n条记录选择某几个字段查看详细信息4.基础操作增加列修改某一列的类型filter过滤过滤 + 选择条件某列的不重复值(特征的特征值)groupByorderBymeansummaxminagg5.UDF基础Python函数lambda表达式pandas udfudf应用多列6.删除去重 dropDuplicates删除某列7.保存Da

2021-04-07 15:14:50 1865

原创 shell脚本重定向生成文件名有？(UNKNOW类型)

shell脚本重定向生成的文件，带有问号看一下shell内容#!/bin/bashecho "train start.........."echo `date +"%Y-%m-%d %H:%M:%S"` >>/data/runtime.txtecho "train end.........."问题所在：runtime.txt后面直接换行了。实际重定向后文件名为 runtime.txt\r解决办法：加个空格再换行...

2021-04-06 10:53:22 377 1

原创修改 Typora 高亮的颜色（====）

Typora 有一个「高亮」的格式，类似于荧光笔，但是感觉默认的颜色偏亮，看久了不舒服，所以利用修改主题文件的方式来自定义颜色。「文件」 ==> 「偏好设置」（或者直接 Ctrl + 逗号），在右边「外观」栏中找到「打开主题文件」打开：打开主题对应的 .css 文件，在最后面加上下面的文字：mark { background: #a9d18e; border-bottom: 0px solid #ffffff; padding: 0.0px; margin: 0 0px;}

2021-04-01 10:10:56 1904