- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 使用pyspark做tf模型预测踩坑记录
背景离线推荐场景在业务中并不罕见，如果对实效性有一定要求，其计算压力会成倍增加，单机环境很难承载计算压力和后续扩展需求，很直接的想法就是借助分布式集群加速计算。这里我们使用pyspark做tf savedmodel的inference，之前没搞过，所以在环境问题上踩了很多坑，这里记录一下。踩坑记录报错信息如下: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed
2021-07-06 22:10:37
3189
1
原创 CRF梯度推导
CRF梯度推导CRF概率公式如下： pθ(y|x)∝exp(∑e∈E,jλjfj(e,y|e,x)+∑v∈V,kμkgk(v,y|v,x))pθ(y|x)∝exp(∑e∈E,jλjfj(e,y|e,x)+∑v∈V,kμkgk(v,y|v,x))p_\theta(y|x)∝exp\left( \sum_{e\in E,j}\lambda_jf_j(e,y|_e,x) + \sum_{v\...
2018-06-02 13:52:40
1623
1
原创 centos7无法使用epel的解决方法
使用如下代码在centos7安装epel源，却无法使用。yum -y install epel-release报错如下：网络没问题，可以ping通epel源的地址，但是就是连不上repo，报错。解决方法：编辑/etc/yum.repos.d/epel.repo，将epel配置信息中的baseurl注释去掉，mirrorlist加上注释，如下：[epel]name=Extra Packag...
2018-05-11 19:43:49
21662
5
原创 解决yum update异常中断产生重复包、依赖冲突等问题
系统版本为Centos7，由于自带的yum源下载速度慢，换成了163源，之后yum update过程中异常中断，导致产生了许多不同版本的重复包，需要进行清除。报错1：There are unfinished transactions remaining解决方法：使用yum-complete-transaction清理未完成事务，需要yum-utils支持yum install yum-ut...
2018-05-09 16:15:58
18077
原创 HIVE中select除了某些字段之外的剩余所有字段
这是HIVE中查询语句的一个小技巧，一个表字段太多，我们想要除个别字段外的剩余所有字段，全部列出来看起来难受，实际上hive语句可以解决这个问题。set hive.support.quoted.identifiers=None; //设置支持倒引号select `(name|id|pwd)?+.+` from tableName;
2017-07-27 11:14:06
23562
2
原创 实现页面停留几秒自动跳转
方法一：利用Handler的postDelayed方法。方法二：利用Timer的schedule方法。这里只贴方法一的代码：Runnable runnable=newRunnable() { @Override public void run() { Intent intent=new Intent(); intent.
2016-06-25 03:28:37
3301
转载 TabLayout+ViewPager+Fragment实现带图标和文字的底部导航栏
布局：xml version="1.0" encoding="utf-8"?>LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" xmlns:app="http://schemas.an
2016-06-25 01:16:30
6617
cudnn-8.0-windows10-x64-v5.1
2018-06-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人