- 博客(50)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 [paddlepaddle文本分类样例代码]使用预训练模型Fine-tune完成中文文本分类任务
[paddlepaddle文本分类样例代码]使用预训练模型Fine-tune完成中文文本分类任务一、电脑运行环境二、初始化代码运行环境三、训练模型四、导出模型五、使用Paddle Serving API进行推理部署六、客户端预测一、电脑运行环境显卡:单块Nvidia RTX3090驱动: 460.73.01CUDA版本: 11.2cudnn版本：8.2.0paddlepaddle版本：paddlepaddle-gpu==2.1.3二、初始化代码运行环境#初始化conda环境conda c
2021-10-21 11:13:44
705
原创 Node因版本问题无法运行异步方法
问题描述node 版本为 ~ node --versionv8.11.3运行以下程序时会报下面的错误node bin/server(node:47808) UnhandledPromiseRejectionWarning: TypeError: Cannot read property 'isAsyncFunction' of undefined at Function.c...
2019-04-24 10:21:06
429
原创 Flink源码编译部署Flink
概述通过编译Flink源码，可以更好的了解Flink的内部情况，并可以对以后Flink调试和bug修复提供基础环境。该思路已通过之前编译spark,ranger,hadoop源码等实践得以验证，现复用以前的思路。编译1.编译环境准备环境版本备注Mac OS10.14.1java1.8.0_171scala2.11.12maven3.5....
2019-01-30 10:35:17
4223
3
原创 Mask-RCNN结合docker实战
一、前言：快速部署并使用Mask-RNN模型进行图像识别二、准备环境：环境名版本名nvidia-dockerDocker version 18.03.1-ce, build 9ee9f40NVIDIA-SMI384.69GPUGTX 1080 Ticudarelease 7.0, V7.0.27三、详细步骤：1.拷贝github源代码gi...
2018-11-08 11:06:36
1901
2
原创 Hbase源码编译
一、编译环境和软件版本软件版本LinuxCentOS Linux release 7.2.1511 (Core) 3.10.0-327.22.2.el7.x86_64git1.8.3.1maven3.5.4java1.8.0_181二、编译步骤1.下载源码git clone https://github.com/apache/hbase.g...
2018-10-22 11:31:24
945
原创 ranger 远程调试
ranger 开启远程调试1.在ranger-admin/ews/ranger-admin-services.sh修改JAVA_OPTS=" ${JAVA_OPTS} -XX:MetaspaceSize=256m -Xmx4096m -Xms1024m -agentpath:/opt/jprofiler9/bin/linux-x64/libjprofilerti.so=port=8849 ...
2018-09-18 15:08:28
666
原创 grpc服务集成RESFful JSON API grpc-gateway和swagger-ui界面
文章目录本文目的：集成步骤：一、HelloWorld gRPC服务1.安装所需软件版本2.编写Hello world gRPC服务1）创建一个maven工程2）拷贝gRPC的proto的文件3）拷贝gRPC的server和client的java代码4）编译直接运行二、RESTful JSON gRPC-gateway1.安装gprc-gateway2.修改helloworld.proto文件3.生...
2018-09-18 15:03:31
4188
2
原创 HBase性能调优配置总结
一、HRegion 1.修改HRegion大小hbase.hregion.max.filesize默认:10737418240(10G)单位是:KB说明：如果超出限制值，HRegion会进行splict操作，旧的HRegion会下线，数据不能被写入2.major_compactionhbase.hregion.majorcompaction默认: 7 days...
2018-09-10 15:44:45
611
原创 [HBase事故] HBase regionserver被强制关闭问题分析
[HBase命案系列] HBase regionserver被强制关闭问题分析一.案发现场2018-09-06 15:51:59,685 ERROR [regionserver/node-210:16020.logRoller] regionserver.LogRoller: Log rolling failedjava.lang.StringIndexOutOfBoundsExcept...
2018-09-07 09:53:09
1477
原创 yum 简单运用
yum 简单运用查1.查看有哪些安装的包yum list 2.查看安装的特定包yum search <package_name>yum list installed|grep <package_name>删1.删除指定的包yum -y remove <package_name>加1.安装指定的包yum i...
2018-05-22 17:24:35
231
原创 kubernetes(K8s)-概念-基本组件
K8s-概念-基本组件问题：k8s基本组件有哪些？有什么用？怎么用？解答:常用组件配置Replication Controllerdeployment（deploy）nodeSelectorrepublicate set(rs)podImagePullPolicyservice(svc)job（官网）ConfigMap参考K8s-概念-基...
2018-04-16 15:44:33
772
原创 HDFS-遇到问题解决总结
问题：因为ambari重启HDFS有某个节点失败导致，后续创建目录报错根本原因：name node处于safe modeCaused by: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdf
2018-02-03 18:12:18
2315
原创 git基本使用
Git基本使用问题：git是什么？有什么用？怎么用？解答解析git是分布式版本控制系统应用用于代码管理，多人团队协助使用0.安装#centos默认已安装yum -y install git1.安装后初始配置#配置全局git config --global user.name "Your Name"git config -...
2018-01-16 09:44:19
255
原创 docker使用代理pull gcr仓库镜像
问题：怎么不通过docker hub中转直接pull gcr(谷歌镜像仓库)的镜像呢？1.shadowsocket开代理 本人使用的是deepin深度操作系统（感谢fenghan大神的指导），直接在商店下载Shadowsocket-QT5,配置代理信息：如下填写自己购买的代理服务 2.设置docker代理配置sudo vim /etc/systemd/system/docker.servic
2017-12-28 17:39:29
5259
原创 k8s-基本命令
k8s基本命令问题：常用的命令有哪些？有什么用？怎么用？解答kubectl exec如同docker exec ,进入到pod容器里面的命令kubectl cp拷贝pod里面数据,pod里面容器需要安装tar的命令，从报错信息可以获取。[root@host1 test]# kubectl cp pod-834063700-d9x0p:/entry/cpfile /t
2017-12-14 10:37:27
7148
原创 Mysql-数据导出方法
脚本执行sql文件问题：解答：mysql -h $IP -u $USERNAME -p$PASSWORD -D$DB_NAME$SQL -vvv >> $LOG_FILE
2017-11-30 16:31:22
244
原创 Shell脚本
Shell脚本Shell脚本简介变量1变量命名2环境变量3局部变量4位置变量5特殊变量单引号双引号反引号esc下面的键for条件测试whileuntil循环if判断case判断自定义函数一般不在函数里面调用date命令规范注释代码使用 command 进行命令替换出错退出前描述问题参考简介Java编程使用Java语言编程实
2017-11-30 09:55:40
459
原创 SparkML-note-Kmeans
（本文为本人学习工作总结，如有雷同，不胜荣幸。可联系本人立即修改或者删除）SparkML实现Kmeans问题：什么是Kmeans算法？有什么用？怎么用？解答解析应用1.不同维度鱼类聚类 2.多台集群日志数据按天多维度的聚类 3.用户偏好商品聚类代码实现val labeleRdd = sql("select channel,region,fresh,milk,
2017-11-22 13:14:50
380
原创 sparkML-note-算法总结思维导图
sparkML-note-算法总结思维导图问题:spark ML机器学习算法有哪些常用的算法？怎么分类？解答spark ML 思维导图总结ClassficationClusteringFeatureRegresssionStatisties 思维导图 参考＞ spark官网
2017-11-14 10:11:54
484
原创 深度学习-note-RNN(循环神经网络)
（本文为本人学习工作总结，如有雷同，不胜荣幸。可联系本人立即修改或者删除）RNN（循环网络）问题：什么是RNN？RNN有什么应用？怎么用？解答：RNN概念循环卷积网络（RNN，Recurrent Neural Networks），将数据关联单个NN，RNN在x(t)时刻得出状态描述S(t)，由此输出Y(t);在x(t+1)时刻，产生S(t+1),而Y(t+1)由S(t)和S(t+1)产生。 缺陷：
2017-11-13 20:39:48
526
原创 shell脚本-awk使用
shell脚本之awk使用问题：什么是AWK？有什么用？怎么用？解答AWK是３个创始人的名字首写缩写，用于文本日志处理等的命令．使用#!bin/bash##awk Test#1.处理文本数据#awk中的默认字段分隔符是任意的空白字符(例如空格或制表符），#如果想要读取使用其他字段分隔符的文件，可以使用-F 选项指定，#下面用于指定：冒号awk -F: '{pri
2017-11-13 19:33:54
806
原创 conda install更新速度解决
（本文为本人学习工作总结，如有雷同，不胜荣幸。可联系本人立即修改或者删除）conda install更新速度慢问题：更新tensorflow速度慢怎么办？解决：在已按照conda机器上配置国内镜像站conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set
2017-11-12 11:27:06
10243
1
原创 SparkML-note-PCA
spark ML机器学习问题:什么是主成分分析（PCA）?解答：ps:使用的是ML不是MLib，区别是ML更加的抽象，使用的DataSet(Dataframe为其子集),使用了pipeline将数据进入管道。PCA解析将高维数据降维代码实现(参考官网)：import org.apache.spark.ml.feature.PCAimport org.apache.spark.sql._impor
2017-11-11 20:23:37
350
原创 Tensorflow-note-线性回归
Tensorflow实现线性回归问题：怎么使用tensorflow实现简单的线性回归？解答：1.环境准备：Dockerfile构建tensorflow的环境 python 32.实践代码from __future__ import print_functionimport tensorflow as tfimport numpy as np#创建数据x
2017-11-09 23:06:59
235
原创 Docker-note 从入门到
dockerdockerdocker概念组成架构生态docker命令docker 网络略实战安装docker 命令查看runexec 开启交互模式ps查看正在运行的容器 -a包括停止的容器stop停止后台运行kill不建议inspect查看容器信息rm删除容器save保存load导入export备份importsearchcommitbu
2017-11-08 19:56:13
500
原创 Docker-note-实现原理
2.Docker实现原理问题：docker内部是使用什么实现的？解答：cgroups(Control Groups)Cgroups对内存、CPU限制blkio块设备读写限制cpuCPU调度器限制cpusetCPU访问控制cpuacctCPU计数器memory内存资源使用控制Namespace独立环境下不能看到别的机器，数据库使用ipc提高系统通讯效率pid进程隔离net网络隔离ipc消息隔离mnt挂
2017-11-08 17:34:21
321
原创 docker 容器后台运行
容器后台运行问题想要后台启动容器进行调试方案一docker run -d <image_name> tail -f /dev/null方案二docker run -i -t <image_name> [command]然后Ctrl+P+Q即可退出控制台，但是容器没有退出，可使用命令查看： docker psexample:docker run -i -t centos /bin/bash参考
2017-11-07 19:41:50
21446
原创 git-note
git format problem问题：git pull代码下来后，使用idea修改后，git diff查看时发现，多了^M（ASCII码的回车符‘\r’）的符号，因为gitLab服务器是linux系统（LF，换行符），开发环境是win10（CRLF,回车换行符），导致出现代码问题。解决方案参考资料 http://blog.csdn.net/wangweiqiang1325/article/de
2017-11-07 17:19:06
391
原创 Zeppelin interperter 模式设置总结图解2
该配置是在zeppelin的Interpreter的后台配置文件：conf/Interpreter.json spark Interpreter的模块定义那里。特别感谢开发团队组长大神的提示，深入挖掘到zeppelin的Interpreter的shared、scoped和isolated的配置与调优。 [1]Each Interpreter Setting can choose one of
2017-04-13 10:51:30
844
原创 maven 使用错误
使用mvn testmvn test -Dtest=测试包名.测试类名时[ERROR] Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.19.1:test (default-test) on project xxx-xxx: No tests were executed! (Set -DfailIf
2017-04-13 10:51:24
685
原创 TensorFlow anaconda命令备忘
[查看tensorflow安装的版本]anaconda search -t conda tensorflow[选择版本安装]conda install -c anaconda tensorflow [conda install --help]usage: conda install [-h] [--revision REVISION] [-y] [--dry-run] [-f]
2017-04-13 10:51:19
364
原创 Zeppelin interperter 模式设置总结图解1
如有错漏，望请指正，不胜感激。参考：【zeppelin官网】：https://zeppelin.apache.org/docs/latest/interpreter/spark.html#interpreter-setting-option【大神博客】：http://terrence.logdown.com/posts/848908
2017-04-13 10:51:11
374
原创 zeppelin ERROR总结
ERROR [2017-03-23 20:01:50,799] ({qtp331657670-221} NotebookServer.java[onMessage]:221) - Can't handle messageorg.apache.zeppelin.interpreter.InterpreterException: org.apache.thrift.transport.TTranspo
2017-03-24 18:50:37
1515
原创 YARN 命令总结
起因：YARN 使用capability schedule queue调度container，spark 的app卡死在YARN的队列里面无法出来，无奈请教大神时，可用[yarn application [option]]命令去操纵yarn的应用。usage: application -appStates Works with -list to filter appli
2017-03-24 18:50:35
753
原创 Zeppelin interperter 模式设置总结
如有错漏，望请指正，不胜感激。参考：【zeppelin官网】：https://zeppelin.apache.org/docs/latest/interpreter/spark.html#interpreter-setting-option【大神博客】：http://terrence.logdown.com/posts/848908
2017-03-24 18:50:32
462
原创 Linux shell-grep
grep --help备忘录Usage: grep [OPTION]... PATTERN [FILE]...Search for PATTERN in each FILE or standard input.PATTERN is, by default, a basic regular expression (BRE).Example: grep -i 'hello world' menu.h
2017-03-24 18:50:28
321
原创 Linux shell-tail
使用tail --help查看命令用于备忘tail [ -f ] [ -c Number | -n Number | -m Number | -b Number | -k Number ] [ File ]Usage: tail [OPTION]... [FILE]...Print the last 10 lines of each FILE to standard output.
2017-03-24 18:50:25
318
原创 《将博客搬至CSDN》
学生今年大四，从大二暑假开始从0到一进入大数据处理的领域，中途发现机器学习的领域，那时AlphaGO还没火热，就已经听说DNN，后来发现DNN只是ML的一个更深的领域，无奈学习越来越深。实习是大数据应用开发的岗位，身边的大神和大牛们带我玩大数据集群部署，应用开发，运气好到能加入项目组的sparkMLib算法实验室团队，压力与动力一直驱使我寻求内心的呼唤。开始总结大数据应用框架的知识，机器学习的基
2017-03-24 18:50:20
207
Flink基础教程
2019-03-18
gluon动手学深度学习
2018-09-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人