- 博客(46)
- 收藏
- 关注
RSS订阅原创 大语言模型激活函数绘图
plt.grid()plt.show()""":return:"""fig, ax = plt.subplots() # 创建图实例plt.grid()# 是否保存图片print("成功保存图片")plt.show()# relu# sigmoid# tanh# swishbeta = 1# silubeta = 1# mish# gelu# celu# elu。
2023-12-26 13:30:02
863
原创 常用hivesql记录
hivesql中很多常用的功能，过段时间没有使用就容易忘记，需要去网上搜索，这里总结一下，省的以后还去去搜，供自己以后参考。
2023-11-09 15:28:04
579
原创 pyspark常用功能记录
pyspark中很多常用的功能，过段时间没有使用就容易忘记，需要去网上搜索，这里总结一下，省的以后还去去搜，供自己以后参考。该中情况一般在需要处理过个行的情况下使用，如果是少数的行处理，可以使用withColumneturn "1"return "0"
2023-09-27 16:13:08
728
原创 B站创建视频分集播放列表
1、打开B站2、登录B站后，点击投稿上传视频。3、上传视频或把视频直接拖拽到页面里；4、点击上传第一个视频后页面下会出现一个+号的按钮，点击+继续上传，上传视频就会出现两个正在上传的进度条；6、如果还有视频要上传的话按上一步继续就可以了，当视频全部上传完后审核通过了就是视频列表了。
2023-07-08 00:37:27
1477
原创 bert结构模型的转换及[unusedxx]的不拆token
业界主流的模型结构包括tensorflow和pytorch，很多时候两者的模型需要转换成中间格式，比如onnx，另外在tokenized的时候需要保留[unusedx]不被分词，但默认的是会分词的，这里记录一下处理方式。torch转onnx方法很多，这里介绍两种方式。
2023-06-14 20:59:30
1098
原创 了解chat-GPT必须要读的论文汇总
今年在nlp领域，最靓的仔要数chat-gpt了，未来也可能颠覆搜索行业，甚至其他行业也会慢慢的被颠覆被取代，作为技术人员，为了保证饭碗，必须跟进相关技术的发展。目前梳理了一下chat-gpt技术的脉络，通过该脉络可以比较系统的了解chat-GPT背后的技术。论文的链接在最后的参考文献中，读者可以自行下载。可以说nlp的发展，从2017年的transformer(Attentino is all you need)文章问世就已经进入了新的纪元。
2023-03-26 12:50:06
1960
1
原创 pyspark多表join中的重名字段取用问题
在pyspark操作过程中，有时会忘记多表join重名字段去用问题，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。
2022-10-13 20:35:11
969
原创 java + scala + spark安装（centos为例）
java + scala + spark安装（centos为例）在环境安装过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。java 安装# 查看包含的java包yum search java 或者。yum list java*# 安装（选择一个版本）yum install java-1.8.0-openjdk-devel.x86_64# 配置环境变量，配置好的见下文# 使配置生效source /etc/profile 或sour
2022-05-25 15:14:43
139
原创 hdfs基本操作
前言在hdfs操作过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。配置java环境hdfs使用需要依赖java，所以首先需要配置java环境(当然需要提前安装java)，配置命令：# java配置export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export PATH=your_dependency_path:$PATHhdfs 基本操作HDFS命令基本格式：hadoop fs -cmd <
2022-04-16 23:35:30
2031
原创 汉字与十六进制的相互转化
导读 最近工作上碰到了一个将16进制串转成汉子的需求，网上查了下，发现有些网页版本的，但离线使用的没有那种可以直接调用的函数，所以这里整理了一下，将转换功能写成一个完整的函数，哪里需要，复制粘贴过去就可以用。16进制转汉字函数定义：def hex2ch(hex_bytes): """ :param hex_bytes: 接受的参数可以是16进制的bytes列表，也可以是单个16进制bytes :return: 返回的结果跟传入的类型一致 """ i
2022-03-09 11:40:59
4511
原创 一文掌握vue前端
最近学习了vue的前端知识，这里做一个整理，一来希望给入门者提供学习，二来为自己以后用到提供一个查询的地方，后续会陆续介绍高阶的内容及项目实战内容。完整的学习内容托管在git及gitee, 欢迎大家收藏学习。基础知识插值操作mustache语法<!-- 1. mustache语法，显示变量值 --><h2>{{msg}}</h2>v-onece指令<!-- 2. v-onece指令 只渲染元素和组件一次, 这可以用优化更新性能 执
2021-03-16 14:31:04
244
原创 【docker】ubuntu部署pytorch环境报错踩坑
最近需要使用docker ubuntu:20.04 + pytorch验证一些实验，按照pc机安装依赖后还会碰到一些问题，现总结如下：libGL.so.1无法找到解决：apt updateapt install libgl1-mesa-glxlibgthread-2.0.so.0无法找到解决：apt updateapt install libglib2.0-0...
2021-03-11 14:37:34
218
原创 文件的编码问题解决
前言很多时候，我们需要在linux(ubuntu，centos等)、mac和windows之间共享一些文件，但是因为各个平台自带支持的编码不一致，有的是GB2312（window默认），有的是utf-8。导致跨平台无法正确打开文件，比如windows下的GB2312编码文件放到mac下，如果mac没有安装GB2312解码器，那打开就乱码。这里总结了文件格式的相互转换，目标当然是全球统一的utf-8,utf-16等utf系列编码。查看文件编码工具安装windows 文件编码格式查看和转换windows
2020-12-24 16:10:53
946
2
原创 git子模块管理操作指引
概述目前基本上绝大多数的公司均废弃了同步时的SVN，转而拥抱分布式的git。为了开发和管理的方便，往往会将一个大的项目拆分成多个子项目进行独立开发，子项目之间的依赖和引用通过子模块的方式使用，对于刚从SVN转过来的用户，使用git管理子模块会碰到各种坑，这里进行一个汇总。添加子模块工程将子模块加到submodulegit submodule add url path # url 为git库的地址，path表示子模块存放的路径，可以是单极文件夹，可以是多级文件夹。执行成功后，在当前项目下可以看到
2020-12-11 10:43:17
257
2
原创 画图&opencv&pyqt等相关显示问题汇总
每次编写代码时进行参数设置#coding:utf-8import matplotlib.pyplot as pltplt.rcParams[‘font.sans-serif’]=[‘SimHei’] #用来正常显示中文标签plt.rcParams[‘axes.unicode_minus’]=False #用来正常显示负号#有中文出现的情况，需要u’内容’...
2020-12-03 19:32:56
152
原创 windows10 通过bat脚本安装软件
通过bat脚本安装软件脚本编写参考文献最近公司需要对外开源一个产品，为了让外界用户尽量简单的使用该产品。打算将依赖软件采用一个脚本的方式进行快速安装。脚本编写这里安装的软件包括：docker， vcxsrv, nodejs 及 使用npm安装adbkit:: 将@echo off:: 设置窗口大小@mode con lines=40 cols=100:: 设置窗口背景颜色color AF:: 设置标题title "auto install tool":: 打印信息 echo "in
2020-11-19 11:38:23
7974
原创 docker容器内连接android手机（mac版）
docker容器内连接android手机（mac版）很多时候，为了环境依赖管理的便利，会选择使用镜像管理，而在有些业务场景需要连接手机，这就需要在容器中连接手机的解决方法。下面介绍如何在mac主机上启动容器，并在容器中连接手机。环境：容器镜像是基于ubuntu构建的， 主机是mac笔记本docker容器安装adbapt-get install android-tools-adbapt-get install android-tools-fastboot母机安装adbkit安装npmnpm是
2020-11-05 10:58:36
2871
1
原创 docker容器在windows上的可视化配置
docker容器在windows上的可视化配置使用docker容器技术替换虚拟机和部署服务是当前的潮流和趋势。大公司使用docker+k8s可以进行计算资源的管理，对物理服务进行管理，部署服务和版本发布时按实际所需资源进行分配，做到资源的充分利用，最典型的是云服务的计算资源调度。而个人使用docker技术好处也很多，比如不同的业务和应用构建不同的镜像保证环境依赖的独立性；每个业务和应用使用不同的镜像，避免了在不同的机器上重新安装环境导致依赖版本不一致带来的结果不一致等问题；构建同一个镜像，不同的用户可以在
2020-09-24 18:59:45
3132
原创 docker容器在mac上的可视化配置
docker容器在mac上的可视化配置使用docker容器技术替换虚拟机和部署服务是当前的潮流和趋势。大公司使用docker+k8s可以进行计算资源的管理，对物理服务进行管理，部署服务和版本发布时按实际所需资源进行分配，做到资源的充分利用，最典型的是云服务的计算资源调度。而个人使用docker技术好处也很多，比如不同的业务和应用构建不同的镜像保证环境依赖的独立性；每个业务和应用使用不同的镜像，避免了在不同的机器上重新安装环境导致依赖版本不一致带来的结果不一致等问题；构建同一个镜像，不同的用户可以在任何地方
2020-09-23 20:19:28
2223
原创 linux常用操作汇总
很多的linux操作总是忘记，这里将常用的linux操作进行汇总，想用时随时查看。查看正在运行的所有端口netstat -ntlp
2020-09-14 14:17:58
102
原创 anaconda管理python版本手册
anaconda管理python版本手册anaconda安装安装查看conda常用的命令。创建python虚拟环境激活虚拟环境python依赖安装关闭虚拟环境移除虚拟环境最近在研究tensorflow2.x的版本，但是公司内部业务使用的是tensorflow1.x，为了保证环境的隔离，打算采用anada来管理不同的python环境。anaconda安装上官网下载anaconda， 安装方式有两种，一个是图形化安装，一个是命令行安装。我的是mac，下载了Graphical installer。下载完成后
2020-08-08 22:40:39
215
原创 nginx搭建文件系统随笔
导读：在上云的时代，服务一般都会采用k8s集群部署服务应用，服务之间通过ceph进行共享数据。但是ceph存在很多问题，一旦ceph服务器卡住会导致共享ceph的业务服务器访问不了数据，并且只要卡住，一般恢复需要比较久的时间。会严重影响到业务。为此需要构建一个专门进行数据存储的服务，比如接入aws云，ali云或腾讯云的s3服务。为了便于与团队的业务进行数据交互，往往会本地服务器进行缓存数据，并且请求服务商的s3服务是需要收钱的。一般的逻辑为：用户向本地数据服务请求数据，本地数据服务查看本地是否有缓存（非最
2020-07-18 19:21:37
733
原创 手把手教你使用tfserving进行模型部署
目录导读tfserving镜像下载模型准备部署模型http接口请求原数据请求http inferencegrpc请求参考文献导读在工业界，模型的部署绝大部分的企业都会选择tfserving工具。本篇文章分享一下如何使用容器进行模型部署并使用部署好的模型。tfserving镜像下载使用docker下载tfserving镜像，关于docker的使用可参考，tfserving包含的版本可在此查看。docker pull tensorflow/serving:2.1.0 # 这里下载的是tf2.1.0的
2020-07-09 19:47:23
7307
8
转载 Prometheus 入门
写在前面的话该篇文章为转载，主要的目的是作者觉得这个文章比较的比较详细，自己也是参考这个文章搭建的prometheus监控系统，故特意转载，[文章链接](https://www.hi-linux.com/posts/25047.html)：https://www.hi-linux.com/posts/25047.html1. 什么是TSDB？TSDB(Time Series Databas...
2020-05-10 15:57:04
134
原创 prometheus配置说明
前面转载了一篇关于prometheus的介绍，这里介绍一下prometheus的配置，为了自己以后可以参考。配置demo# my global configglobal: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The
2020-05-10 14:29:40
719
原创 华硕主板BIOS设置虚拟化技（virtualization technology）
华硕主板BIOS设置虚拟化技（virtualization technology）欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML...
2020-05-02 16:50:36
17734
2
原创 docker基本操作随笔
登陆镜像仓库 docker login hub.docker.com Username: 用户名 pwd: 密码docker镜像基本操作1)下载镜像： docker pull ubuntu:14.04 # ps: pull 是下载镜像的命令；ubuntu是下载的镜像名字，冒号后的14.04是版本号。如果直接使用ubuntu不加版本号，默认是最新版。2) 运行容器 d...
2020-04-08 20:15:14
518
原创 机器学习pipeline业界方案汇总
机器学习pipeline对大型企业来说，是一个比不可少的环境，如果pipeline做的不好，可能会影响到整个公司的数据分析的工作效率。为此，这里汇总一下机器学习pipeline业务方案。对各个方案的介绍，后续慢慢将其完善。1. mleap：2. mlflow3. tfx...
2020-03-31 14:19:02
409
原创 ubuntu golang安装
在ubuntu安装golang时，使用sudo apt-get install golang-go安装制定版本时，往往会失败。此时可以采取下载安装包的方式安装移除已安装的go版本sudo rm -rf /usr/local/go sudo rm -rf /usr/bin/gosudo apt-get updatesudo apt-get -y upgrade下载指定的go版...
2020-03-30 14:23:50
355
原创 制作镜像需要安装的基础软件
最近制作ubuntu镜像，docker运行之后，总是出现一些基础工具没有，需要重新构建，很麻烦，故这里记录一下一般制作镜像是需要的基础工具。apt-get install net-toolsapt-get install iputils-ping...
2020-03-26 21:33:45
209
原创 go get 安装依赖踩坑
在go get或go mod download时，可能会依赖一些其他地方的库或是自己的git库，此时需要更改证书和配置git。一. 证书安装有些服务器需要配置证书，不同的系统有不同的添加证书方法Mac OS X1. add: sudo security add-trusted-cert -d -r trustRoot -k /Library/Keychains/System.keycha...
2020-03-26 21:33:21
953
原创 crontab踩坑
crontab踩坑最近使用crontab处理一下定时任务，但是发现总会碰到各种坑，这里记录一下踩坑过程。创建定位任务创建定时任务有两种方式：一种是命令方式，一种是直接编辑文件方式1终端输入：crontab -e命令输入你的定时任务，如：*/2 * * * * echo "Hello world!" >> /tmp/cron_log.txt #表示每分钟执行一次该任务保...
2020-01-01 15:19:13
1145
原创 docker安装及踩坑
ubuntu16.04 安装docker及踩坑一. docker的安装1. 环境清理如果系统中已经安装了docker，可以先进行卸载sudo apt-get remove docker docker-engine docker-ce docker2. 安装使用http传输的软件包及CA证书sudo apt-get updatesudo apt-get install -y apt...
2019-09-22 13:44:40
197
原创 ubuntu16.04安装pycurl踩坑
ubuntu16.04安装pycurl踩坑在ubuntu16.04上安装了python3.6和pip（pip与python3.6对应），如何在ubuntu16.04上安装python3.6参见这里，接着想安装pycurl，出现安装不成功的问题，下面记录一下如何正确安装python。安装pycurl pip install pycurl通过该命令发现系统中已经自带pycurl2...
2019-05-22 15:56:45
705
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人