- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 记一次io.grpc.StatusRuntimeException: UNKNOWN的问题
既然是grpc出现的问题，就检查grpc依赖包是否齐全，版本是不是一致的。写Java接口用grpc连接tensorflow-serving，本地在intellij正常跑通都没问题，但是maven打包后运行一直报错。我当时的错误原因是依赖里没加grpc-core，但是本地环境里有grpc-core，所以本地能跑通。顺便一提，grpc-core和grpc-netty-shaded在mvn package时候报warning。总之就是想着确认这几个依赖是不是都没问题，很多bug都是很简单的失误，先别想得太复杂。
2023-08-01 11:28:01
2418
1
原创 gitlab上修改用户密码，本地git提示Remote: HTTP Basic: Access denied
gitlab上修改密码，本地也要同步更新，更新方式是：Windows：控制面板，搜索“凭据管理器”，点击“windows凭据”，下面的“普通凭据”里点git开头的那个，进入编辑密码即可。Linux：在项目路径中，找到.git文件夹。如果没有，很有可能是linux不显示隐藏文件夹。不用管它，cd .git进入.git文件夹，修改config文件中的“url=”后面的。比如：[remote “origin”]url = https://user1:mima123456@git.xxxx.com/p
2020-08-04 10:54:49
1407
1
原创 sqlalchemy.exc.NoSuchModuleError: Can‘t load plugin: sqlalchemy.dialects:presto
看到这个错误提示，正常以为是sqlalchemy的问题，比如版本低。实际上是，python连presto需要pyhive这个包。我的配置是：PyHive（0.6.1）SQLAlchemy（1.0.13）
2020-07-29 08:57:38
7130
4
原创 PySpark RDD的broadcast join的完整实现
PySpark RDD的broadcast join关于spark broadcast join，网上一堆文章讲述其原理，这里就不赘述了。网上也有很多代码实现。但是，1. 很多代码实现，没有考虑join的各种复杂情况，用的例子是一一对应的简单join。而且很多代码是基于sparksql的，而使用sparksql本身就很多坑。2. 大多实现是java和scala版本，没看到有python版本的。总之，用PySpark的话，按照下面的模板实现rdd broadcast join就好了。PySpark版本
2020-07-15 15:29:25
2215
原创 Spark Dataframe 按行随机打乱
Spark Dataframe 按行随机打乱1. 原因做这个是由于算法的训练样本需要打乱。样本打乱在正常情况下有很多方法，比如下载本地用linux的shuf命令。然而我在用spark-tensorflow-connector做tfrecord数据格式转化时，由于spark dataframe中是tfrecord数据，下载本地后为二进制文件，所以按行打乱过程需要在dataframe中进行。2....
2020-03-31 16:09:12
9182
6
原创 PySpark实际应用踩坑
PySpark实际应用踩坑PySpark踩坑记录1. spark-cassandra-connector2. 配置spark master和worker节点的python环境3. PySpark操作Cassandra4. crontab定时任务无法执行总体来说PySpark踩坑记录PySpark是Apache Spark支持python编写的工具，python简单实用，使用python操作sp...
2020-01-25 17:13:29
2266
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人