- 博客(50)
- 资源 (2)
- 收藏
- 关注
原创 [paddlepaddle文本分类样例代码]使用预训练模型Fine-tune完成中文文本分类任务
[paddlepaddle文本分类样例代码]使用预训练模型Fine-tune完成中文文本分类任务一、电脑运行环境二、初始化代码运行环境三、训练模型四、导出模型五、使用Paddle Serving API进行推理部署六、客户端预测一、电脑运行环境显卡:单块Nvidia RTX3090驱动: 460.73.01CUDA版本: 11.2cudnn版本:8.2.0paddlepaddle版本:paddlepaddle-gpu==2.1.3二、初始化代码运行环境#初始化conda环境conda c
2021-10-21 11:13:44
705
原创 Node因版本问题无法运行异步方法
问题描述node 版本为 ~ node --versionv8.11.3运行以下程序时会报下面的错误node bin/server(node:47808) UnhandledPromiseRejectionWarning: TypeError: Cannot read property 'isAsyncFunction' of undefined at Function.c...
2019-04-24 10:21:06
429
原创 Flink源码编译部署Flink
概述通过编译Flink源码,可以更好的了解Flink的内部情况,并可以对以后Flink调试和bug修复提供基础环境。该思路已通过之前编译spark,ranger,hadoop源码等实践得以验证,现复用以前的思路。编译1.编译环境准备环境版本备注Mac OS10.14.1java1.8.0_171scala2.11.12maven3.5....
2019-01-30 10:35:17
4223
3
原创 Mask-RCNN结合docker实战
一、前言:快速部署并使用Mask-RNN模型进行图像识别二、准备环境:环境名版本名nvidia-dockerDocker version 18.03.1-ce, build 9ee9f40NVIDIA-SMI384.69GPUGTX 1080 Ticudarelease 7.0, V7.0.27三、详细步骤:1.拷贝github源代码gi...
2018-11-08 11:06:36
1901
2
原创 Hbase源码编译
一、编译环境和软件版本软件版本LinuxCentOS Linux release 7.2.1511 (Core) 3.10.0-327.22.2.el7.x86_64git1.8.3.1maven3.5.4java1.8.0_181二、编译步骤1.下载源码git clone https://github.com/apache/hbase.g...
2018-10-22 11:31:24
945
原创 ranger 远程调试
ranger 开启远程调试1.在ranger-admin/ews/ranger-admin-services.sh修改JAVA_OPTS=" ${JAVA_OPTS} -XX:MetaspaceSize=256m -Xmx4096m -Xms1024m -agentpath:/opt/jprofiler9/bin/linux-x64/libjprofilerti.so=port=8849 ...
2018-09-18 15:08:28
666
原创 grpc服务集成RESFful JSON API grpc-gateway和swagger-ui界面
文章目录本文目的:集成步骤:一、HelloWorld gRPC服务1.安装所需软件版本2.编写Hello world gRPC服务1)创建一个maven工程2)拷贝gRPC的proto的文件3)拷贝gRPC的server和client的java代码4)编译直接运行二、RESTful JSON gRPC-gateway1.安装gprc-gateway2.修改helloworld.proto文件3.生...
2018-09-18 15:03:31
4188
2
原创 HBase性能调优配置总结
一、HRegion 1.修改HRegion大小hbase.hregion.max.filesize默认:10737418240(10G)单位是:KB说明:如果超出限制值,HRegion会进行splict操作,旧的HRegion会下线,数据不能被写入2.major_compactionhbase.hregion.majorcompaction默认: 7 days...
2018-09-10 15:44:45
611
原创 [HBase事故] HBase regionserver被强制关闭问题分析
[HBase命案系列] HBase regionserver被强制关闭问题分析一.案发现场2018-09-06 15:51:59,685 ERROR [regionserver/node-210:16020.logRoller] regionserver.LogRoller: Log rolling failedjava.lang.StringIndexOutOfBoundsExcept...
2018-09-07 09:53:09
1477
原创 yum 简单运用
yum 简单运用查1.查看有哪些安装的包yum list 2.查看安装的特定包yum search <package_name>yum list installed|grep <package_name>删1.删除指定的包yum -y remove <package_name>加1.安装指定的包yum i...
2018-05-22 17:24:35
231
原创 kubernetes(K8s)-概念-基本组件
K8s-概念-基本组件问题:k8s基本组件有哪些?有什么用?怎么用?解答:常用组件配置Replication Controllerdeployment(deploy)nodeSelectorrepublicate set(rs)podImagePullPolicyservice(svc)job(官网)ConfigMap参考K8s-概念-基...
2018-04-16 15:44:33
772
原创 HDFS-遇到问题解决总结
问题:因为ambari重启HDFS有某个节点失败导致,后续创建目录报错根本原因:name node处于safe modeCaused by: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdf
2018-02-03 18:12:18
2315
原创 git基本使用
Git基本使用问题:git是什么?有什么用?怎么用?解答解析git是分布式版本控制系统应用用于代码管理,多人团队协助使用0.安装#centos默认已安装yum -y install git1.安装后初始配置#配置全局git config --global user.name "Your Name"git config -...
2018-01-16 09:44:19
255
原创 docker使用代理pull gcr仓库镜像
问题:怎么不通过docker hub中转直接pull gcr(谷歌镜像仓库)的镜像呢?1.shadowsocket开代理 本人使用的是deepin深度操作系统(感谢fenghan大神的指导),直接在商店下载Shadowsocket-QT5,配置代理信息:如下填写自己购买的代理服务 2.设置docker代理配置sudo vim /etc/systemd/system/docker.servic
2017-12-28 17:39:29
5259
原创 k8s-基本命令
k8s基本命令问题:常用的命令有哪些?有什么用?怎么用?解答kubectl exec如同docker exec ,进入到pod容器里面的命令kubectl cp拷贝pod里面数据,pod里面容器需要安装tar的命令,从报错信息可以获取。[root@host1 test]# kubectl cp pod-834063700-d9x0p:/entry/cpfile /t
2017-12-14 10:37:27
7148
原创 Mysql-数据导出方法
脚本执行sql文件问题:解答:mysql -h $IP -u $USERNAME -p$PASSWORD -D$DB_NAME$SQL -vvv >> $LOG_FILE
2017-11-30 16:31:22
244
原创 Shell脚本
Shell脚本Shell脚本简介变量1变量命名2环境变量3局部变量4位置变量5特殊变量单引号双引号反引号esc下面的键for条件测试whileuntil循环if判断case判断自定义函数一般不在函数里面调用date命令规范注释代码使用 command 进行命令替换出错退出前描述问题参考简介Java编程使用Java语言编程实
2017-11-30 09:55:40
459
原创 SparkML-note-Kmeans
(本文为本人学习工作总结,如有雷同,不胜荣幸。可联系本人立即修改或者删除)SparkML实现Kmeans问题:什么是Kmeans算法?有什么用?怎么用?解答解析应用1.不同维度鱼类聚类 2.多台集群日志数据按天多维度的聚类 3.用户偏好商品聚类代码实现val labeleRdd = sql("select channel,region,fresh,milk,
2017-11-22 13:14:50
380
原创 sparkML-note-算法总结思维导图
sparkML-note-算法总结思维导图问题:spark ML机器学习算法有哪些常用的算法?怎么分类?解答spark ML 思维导图总结ClassficationClusteringFeatureRegresssionStatisties 思维导图 参考> spark官网
2017-11-14 10:11:54
484
原创 深度学习-note-RNN(循环神经网络)
(本文为本人学习工作总结,如有雷同,不胜荣幸。可联系本人立即修改或者删除)RNN(循环网络)问题:什么是RNN?RNN有什么应用?怎么用?解答:RNN概念循环卷积网络(RNN,Recurrent Neural Networks),将数据关联单个NN,RNN在x(t)时刻得出状态描述S(t),由此输出Y(t);在x(t+1)时刻,产生S(t+1),而Y(t+1)由S(t)和S(t+1)产生。 缺陷:
2017-11-13 20:39:48
526
原创 shell脚本-awk使用
shell脚本之awk使用问题:什么是AWK?有什么用?怎么用?解答AWK是3个创始人的名字首写缩写,用于文本日志处理等的命令.使用#!bin/bash##awk Test#1.处理文本数据#awk中的默认字段分隔符是任意的空白字符(例如空格或制表符),#如果想要读取使用其他字段分隔符的文件,可以使用-F 选项指定,#下面用于指定:冒号awk -F: '{pri
2017-11-13 19:33:54
806
原创 conda install更新速度解决
(本文为本人学习工作总结,如有雷同,不胜荣幸。可联系本人立即修改或者删除)conda install更新速度慢问题:更新tensorflow速度慢怎么办?解决:在已按照conda机器上配置国内镜像站conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set
2017-11-12 11:27:06
10243
1
原创 SparkML-note-PCA
spark ML机器学习问题:什么是主成分分析(PCA)?解答:ps:使用的是ML不是MLib,区别是ML更加的抽象,使用的DataSet(Dataframe为其子集),使用了pipeline将数据进入管道。PCA解析将高维数据降维代码实现(参考官网):import org.apache.spark.ml.feature.PCAimport org.apache.spark.sql._impor
2017-11-11 20:23:37
350
原创 Tensorflow-note-线性回归
Tensorflow实现线性回归问题:怎么使用tensorflow实现简单的线性回归?解答:1.环境准备:Dockerfile构建tensorflow的环境 python 32.实践代码from __future__ import print_functionimport tensorflow as tfimport numpy as np#创建数据x
2017-11-09 23:06:59
235
原创 Docker-note 从入门到
dockerdockerdocker概念组成架构生态docker命令docker 网络略实战安装docker 命令查看runexec 开启交互模式ps查看正在运行的容器 -a包括停止的容器stop停止后台运行kill不建议inspect查看容器信息rm删除容器save保存load导入export备份importsearchcommitbu
2017-11-08 19:56:13
500
原创 Docker-note-实现原理
2.Docker实现原理问题:docker内部是使用什么实现的?解答:cgroups(Control Groups)Cgroups对内存、CPU限制blkio块设备读写限制cpuCPU调度器限制cpusetCPU访问控制cpuacctCPU计数器memory内存资源使用控制Namespace独立环境下不能看到别的机器,数据库使用ipc提高系统通讯效率pid进程隔离net网络隔离ipc消息隔离mnt挂
2017-11-08 17:34:21
321
原创 docker 容器后台运行
容器后台运行问题想要后台启动容器进行调试方案一docker run -d <image_name> tail -f /dev/null方案二docker run -i -t <image_name> [command]然后Ctrl+P+Q即可退出控制台,但是容器没有退出,可使用命令查看: docker psexample:docker run -i -t centos /bin/bash参考
2017-11-07 19:41:50
21446
原创 git-note
git format problem问题:git pull代码下来后,使用idea修改后,git diff查看时发现,多了^M(ASCII码的回车符‘\r’)的符号,因为gitLab服务器是linux系统(LF,换行符),开发环境是win10(CRLF,回车换行符),导致出现代码问题。解决方案参考资料 http://blog.csdn.net/wangweiqiang1325/article/de
2017-11-07 17:19:06
391
原创 Zeppelin interperter 模式设置总结图解2
该配置是在zeppelin的Interpreter的后台配置文件:conf/Interpreter.json spark Interpreter的模块定义那里。特别感谢开发团队组长大神的提示,深入挖掘到zeppelin的Interpreter的shared、scoped和isolated的配置与调优。 [1]Each Interpreter Setting can choose one of
2017-04-13 10:51:30
844
原创 maven 使用错误
使用mvn testmvn test -Dtest=测试包名.测试类名时[ERROR] Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.19.1:test (default-test) on project xxx-xxx: No tests were executed! (Set -DfailIf
2017-04-13 10:51:24
685
原创 TensorFlow anaconda命令备忘
[查看tensorflow安装的版本]anaconda search -t conda tensorflow[选择版本安装]conda install -c anaconda tensorflow [conda install --help]usage: conda install [-h] [--revision REVISION] [-y] [--dry-run] [-f]
2017-04-13 10:51:19
364
原创 Zeppelin interperter 模式设置总结图解1
如有错漏,望请指正,不胜感激。参考:【zeppelin官网】:https://zeppelin.apache.org/docs/latest/interpreter/spark.html#interpreter-setting-option【大神博客】:http://terrence.logdown.com/posts/848908
2017-04-13 10:51:11
374
原创 zeppelin ERROR总结
ERROR [2017-03-23 20:01:50,799] ({qtp331657670-221} NotebookServer.java[onMessage]:221) - Can't handle messageorg.apache.zeppelin.interpreter.InterpreterException: org.apache.thrift.transport.TTranspo
2017-03-24 18:50:37
1515
原创 YARN 命令总结
起因:YARN 使用capability schedule queue调度container,spark 的app卡死在YARN的队列里面无法出来,无奈请教大神时,可用[yarn application [option]]命令去操纵yarn的应用。usage: application -appStates Works with -list to filter appli
2017-03-24 18:50:35
753
原创 Zeppelin interperter 模式设置总结
如有错漏,望请指正,不胜感激。参考:【zeppelin官网】:https://zeppelin.apache.org/docs/latest/interpreter/spark.html#interpreter-setting-option【大神博客】:http://terrence.logdown.com/posts/848908
2017-03-24 18:50:32
462
原创 Linux shell-grep
grep --help备忘录Usage: grep [OPTION]... PATTERN [FILE]...Search for PATTERN in each FILE or standard input.PATTERN is, by default, a basic regular expression (BRE).Example: grep -i 'hello world' menu.h
2017-03-24 18:50:28
321
原创 Linux shell-tail
使用tail --help查看命令用于备忘tail [ -f ] [ -c Number | -n Number | -m Number | -b Number | -k Number ] [ File ]Usage: tail [OPTION]... [FILE]...Print the last 10 lines of each FILE to standard output.
2017-03-24 18:50:25
318
原创 《将博客搬至CSDN》
学生今年大四,从大二暑假开始从0到一进入大数据处理的领域,中途发现机器学习的领域,那时AlphaGO还没火热,就已经听说DNN,后来发现DNN只是ML的一个更深的领域,无奈学习越来越深。实习是大数据应用开发的岗位,身边的大神和大牛们带我玩大数据集群部署,应用开发,运气好到能加入项目组的sparkMLib算法实验室团队,压力与动力一直驱使我寻求内心的呼唤。开始总结大数据应用框架的知识,机器学习的基
2017-03-24 18:50:20
207
Flink基础教程
2019-03-18
gluon动手学深度学习
2018-09-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人