- 博客(71)
- 收藏
- 关注
RSS订阅原创 语义匹配/semantic textual similarity(STS)任务综述1
sentence embeddingssemantic textual similarityevaluate on standard semantic textual similarity (STS) tasks
2024-12-19 19:34:31
1016
1
原创 本地安装elasticsearch
(1)liux安装jdk1.8Linux下载及安装jdk1.8_Luck_ZZ的博客-CSDN博客(2)安装es在linux上安装elasticsearch简称ES 简单介绍安装步骤 - 韦邦杠 - 博客园需要修改一个地方：cluster.initial_master_nodes: ["node-1", "node-2"]改成cluster.initial_master_nodes: ["node-1"]不然会出现“健康值未连接”的错误访问地址:http://localh
2021-11-10 17:58:50
2075
原创 ImportError: Failed to import pydot. You must install pydot and graphviz for `pydotprint` to work.
安装graphviz不要用pip install安装，否则还是会找不到可执行程序首先：apt-get update安装：sudo apt-get install graphviz然后安装pydot：pip install pydot其中pyparsing会自动安装
2021-09-26 11:26:02
265
原创 解决执行HiveSQL时，报could not be cleaned up的错误
执行load data local inpath出现问题将文件上传到hdfs上执行load data inpath 问题解决
2021-05-16 18:57:20
2583
原创 shell
shell脚本没问题，但是执行失败，可能是shell的解释器出了问题ls /bin/sh -al查看解释器如果是dash切换成bashsudo dpkg-reconfigure dash参考链接https://www.jianshu.com/p/762d4cccee7e
2021-04-25 20:13:59
114
原创 python打印函数图像
# sigmoid函数import numpy as npimport mathimport matplotlib.pyplot as pltx = np.arange(-10, 10, 0.1)y = []for t in x: y_1 = 1 / (1 + math.exp(-t)) y.append(y_1)plt.plot(x, y, label="sigmoid")plt.xlabel("x")plt.ylabel("y")plt.ylim(0, 1)plt.
2021-03-18 20:08:33
795
原创 python grpc
1: pip install grpcio grpc-tools grpcio-tools protobuf2:书写hello.proto3:python -m grpc_tools.protoc -I. --python_out=. --grpc_python_out=. test.proto(生成_pb2.py _pb2_grpc.py)
2021-02-19 11:19:04
147
原创 keras
图像迁移学习import tensorflow as tfkeras = tf.keraslayers = tf.keras.layerscovn_base = keras.applications.ResNet50(weights='imagenet', include_top=False)
2021-01-11 19:38:39
212
原创 resnet将图片与文本作为输入，进行二分类
#!/usr/bin/env python# coding: utf-8# In[1]:import osos.environ["CUDA_VISIBLE_DEVICES"] = '0'# In[2]:import tensorflow as tf# In[3]:keras = tf.keraslayers = tf.keras.layers# In[4]:# 2.0.0-alpha0# In[5]:import matplotlib.pypl
2021-01-10 19:08:15
1112
3
原创 定时任务
（1）如果是乌班图系统安装：apt-get install cron启动：service cron start重启：service cron restart停止：service cron stop检查状态：service cron status查询cron可用的命令：service cron（2）使用crontab -e将定时任务写到文件中* * * * * echo "test crontab is work or not" >> /var/www/html/t
2021-01-08 17:50:09
129
原创 查看linux内核版本
（1）查看linux服务器内核版本cat /proc/version（2）查看Linux版本lsb_release -acat /etc/issue
2021-01-08 13:21:22
264
原创 删除git记录中的大文件
查看哪些历史提交过文件占用空间较大git rev-list --objects --all| grep "$(git verify-pack -v .git/objects/pack/*.idx |sort -k3-n| tail -5 |awk'{print$1}')"重写commit，删除大文件gitfilter-branch --force --index-filter'git rm -rf --cached --ignore-unmatch big-file.jar...
2020-12-28 19:18:56
222
原创 创建分区表，以及将数据写入分区表
创建分区表CREATE TABLE 表名(`字段1` string,`字段2` int) partitioned by(分区字段 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';例子CREATE TABLE my_table(`id` string,`cnt` int) partitioned by(date string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';.
2020-12-28 19:08:27
3831
原创 grpc response python 解析成 json
from google.protobuf.json_format import MessageToJsonserialized = MessageToJson(original)参考链接：https://github.com/googleapis/python-vision/issues/70
2020-11-27 17:52:32
1272
原创 proto依赖其他jar中的proto，生成python的pb文件
使用maven工程目录>Plugins>protobuf>protobuf:compile-python
2020-11-24 21:02:10
699
原创 hive建表语句
（1）只保留表的结构create table table1 as select * from table2 where 2=3（2）保留结构与数据create table table1 as select * from table 2（3）重新命名create table table1(column1_rename, column2_rename) as select column1, column2 from table2...
2020-11-23 11:48:17
226
原创 将dataframe写入hive，出现Spark AnalysisException global table or view not found问题
使用createOrReplaceTempViewproducts.createOrReplaceTempView("products")val q1 = spark.sql("SELECT PERCENTILE(product_price, 0.25) FROM products")如果使用global temp viewproducts.createGlobalTempView("products")val q1 = spark.sql("SELECT PERCENTILE(pr
2020-11-23 11:05:27
284
原创 2020-11-20
hive将字符串数组转成float数组https://stackoom.com/question/3vhFx/%E5%9C%A8Hive%E4%B8%AD-%E5%A6%82%E4%BD%95%E5%B0%86%E5%AD%97%E7%AC%A6%E4%B8%B2%E6%95%B0%E7%BB%84%E8%BD%AC%E6%8D%A2%E4%B8%BA%E6%95%B0%E5%AD%97%E6%95%B0%E7%BB%84
2020-11-20 11:40:12
92
原创 2020-11-18
（0）awk进行shuf awk '{ if (NR % 10 ==1) {print NR, " => ", $0 } }' filename（1）hdfs dfs -getmerge 可以将多个文件合并成一个（2）hive查询写入本地文件 以及 写入hdfs写入本地文件使用local directoryinsert overwrite local directory '/home/mydir/mydir' select * from test;写入hdfs使用director
2020-11-18 20:11:25
80
原创 发布自己的python包
https://python.fasionchan.com/zh_CN/latest/practices/publish-package.html
2020-11-13 10:29:37
89
原创 pytroch how to conver a FloatTensor to LongTensor?
.type(torch.LongTensor)
2020-11-12 14:49:36
138
原创 bert实例
from transformers import BertTokenizertz = BertTokenizer.from_pretrained("bert-base-chinese")# 返回bert切成token之后的结果tz.tokenize("今天的天气怎么样")['今', '天', '的', '天', '气', '怎', '么', '样']# 将token转化成对应的id，如果token不存在，返回未登录词的token 100tz.convert_tokens_to_ids.
2020-11-10 11:35:32
588
原创 jupyter 设置断点
import pdbpdb.set_trace()参考资料https://blog.csdn.net/qq_39362996/article/details/89444855
2020-10-15 14:35:49
2691
原创 spark java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId><version>${spark.version}</version><!--<scope>provided</scope>--> </dependency>所有org.apach
2020-10-15 14:32:20
1877
3
原创 hugging face model hub 下载预训练模型下载加速
https://mirrors.tuna.tsinghua.edu.cn/help/hugging-face-models/
2020-10-01 19:45:37
1841
原创 git pull冲突解决方案
1:忽略本地，强制拉取远程2:未commit3:已commit参考文章：https://www.cnblogs.com/zjfjava/p/10280247.html
2020-09-28 17:52:06
117
原创 ckpt转torch
将tensorflow版本的预训练BERT模型转化为pytorch版本的预训练模型https://huggingface.co/transformers/converting_tensorflow_models.htmlexport BERT_BASE_DIR=/path/to/bert/uncased_L-12_H-768_A-12transformers bert $BERT_BASE_DIR/bert_model.ckpt $BERT_BASE_DIR/bert_config.json $
2020-09-21 14:40:03
1491
原创 LAC使用异常
1:ImportError: libGL.so.1: cannot open shared object file: No such file or directorysudo apt updatesudo apt install libgl1-mesa-glx2:NameError: name 'batch' is not defined关闭ipython，重新启动即可
2020-09-20 20:29:47
564
原创 剑指offer 矩阵中的路径 哪里有问题
# -*- coding:utf-8 -*-class Solution: def __init__(self): self.res = False def hasPath(self, matrix, rows, cols, path): # write code here if not path:return not matrix if not matrix:return False ...
2020-06-08 23:29:06
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人