- 博客(39)
- 收藏
- 关注
RSS订阅原创 harbor部署与使用
docker login时报错 harbor x509 certificate signed by unknown authority。②IP登录：这个是私有镜像仓库。需要额外配置以下docker的参数，在/etc/docker/daemon.json中添加仓库地址。
2023-02-09 10:08:25
154
原创 paramiko相关
问题一、paramiko.SSHClient()远程执行命令时如何让python同步得到执行结果？（例如远程压缩文件，需要压缩完毕再执行scp下载）1.exec_command()和invoke_shell()，都是远程执行命令的函数。paramiko模块exec_command()函数是将服务器执行完的结果一次性返回给你；invoke_shell()函数类似shell终端，可以将执行结果分批次返回，看到任务的执行情况，不会因为执行一个很长的脚本而不知道是否执行成功。参考：https://bl.
2021-07-19 15:39:09
418
原创 redis相关
一、redis的windows安装与环境搭建：https://www.runoob.com/redis/redis-install.html转载 菜鸟教程安装和环境搭建很简单，看菜鸟教程就足够啦。二、redis密码设置和查看密码：https://www.cnblogs.com/aspsea/articles/10964606.html转载#默认初始好像没有密码#设置密码config set requirepass test123#查询密码config get requi..
2021-02-22 13:49:42
119
原创 mysql8.0 windows安装报错
问题一：命令行不认识mysql这个服务。解决方法：有如下几个命令，记得用管理员权限打开cmd噢。# 启动或停止mysql服务。net start mysqlnet stop mysql#启动后输入命令mysql -u root -p#输入密码xxx问题二：报错ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)解决方法：找了好多好多好多文章，但大多都从my.ini
2021-01-14 13:53:11
223
原创 golang相关
问题一：go get github.com/astaxie/beego 没有反应解决办法：https://blog.csdn.net/zw421152835/article/details/102532675 转载问题点大致是明确的：网络问题不能访问。通过命令 go env 发现，有一个GOPROXY，我们知道npm maven 等都可以设置国内镜像/库地址的，那这个能不能了？当然是可以的。https://github.com/goproxy/goproxy.cn/blob/master/.
2021-01-05 09:48:29
357
原创 minio使用
一、minio是什么？ 对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。 cwx小课堂：如果有很多文件，一台机器放不下，需要放在多台上，那需要这些文件的时候岂不是要维护一张表甚至一个程序，记录哪些文件在哪台机器上？酱就很麻烦。所以使用分布式存储，虽然文件放在很多台机器上，但我们只要访问一个url就可以啦。二、使用python上传文件...
2020-12-10 13:54:28
1407
原创 奇怪的报错
背景：使用dockerfile搭建项目容器，requirments中已经加入所以依赖的库。docker-compose build打包镜像 时，显示所有依赖的库pip succesful。docker-compose up -d 启动容器--use-feature=2020-resolver
2020-11-10 13:36:36
1107
1
原创 git相关
1. cwx小课堂：1）建隧道，远程传入，源主机：127.0.0.1：10180（端口号随便写），目标主机：xxx.xx.xx.xx:xx（git服务器的）2）git clone 项目url（做了映射所以改为127.0.0.1） cd 项目文件夹 git pull2. 过了很久之后重新git clone遇到的问题：报错：fatal: repository 'http://127.0.0.1/xxx/xxxx.git/' not foundweb上提示：在账号中...
2020-11-05 16:27:04
1702
1
原创 python之pdf转txt的两种方法——pdfminer与ocr
各个系统安装命令：https://github.com/tesseract-ocr/tesseract/wiki#centos-fedora-scientificlinux-opensuse-rhel-packages
2020-10-28 09:58:33
2617
原创 kylin配置jdbc遇到的一些问题
安装sqoop教程：https://blog.csdn.net/weixin_33982670/article/details/91454280sqoop报warning解决办法：https://blog.csdn.net/wx1528159409/article/details/87948866hdfs的常用命令：https://www.cnblogs.com/JasonPeng1/p/12541830.html
2020-07-28 10:13:43
190
原创 supervisor简单使用
#查看在运行的程序supervisorctl status #查看supervisor配置文件cat /etc/supervisord.conf#子进程配置文件注：默认子进程配置文件为ini格式，可在supervisor主配置文件中修改。cd /etc/supervisord.dxx.ini配置文件内容[program:mdata]command=python3.7 run.py #命令directory=/root/x.
2020-07-21 10:40:24
118
原创 elasticsearch相关问题
// 查询xx列的distinct值{ "aggs": { "xx": { "terms": { "field": "xx", "size": 20 } } }}
2020-06-23 16:45:36
534
原创 linux一些常用命令
# 查看所有进程ps aux | less#查看某个模糊匹配进程ps aux | grep 字符# 后台运行nohup 命令 &# 杀掉进程kill -9 进程号
2020-06-15 09:32:24
121
原创 docker的一些常用命令
查看正在运行的容器docker ps -a 进入容器docker exec -it mdata /bin/bash退出容器但不关闭,注意要大写哦~ctrl+P+Q
2020-06-12 14:37:58
221
转载 这篇进程线程写得太好了！膜拜！
https://blog.csdn.net/lzy98/article/details/88819425?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159177386719195239804767%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=159177386719195239804767&biz_id=0&ut
2020-06-11 09:21:00
149
原创 编码要好好学呀
https://cloud.tencent.com/developer/article/1343240https://www.ibm.com/developerworks/cn/java/unicode-programming-language/index.html
2020-01-10 12:02:18
110
原创 python @click与任务选择
先贴官方文档与翻译：https://click.palletsprojects.com/en/7.x/ 这个是官方文档。 （我进来看可以有什么type，竟然没有list，于是我机制的用str代替嘻嘻嘻）https://blog.csdn.net/weixin_43411585/article/details/99709274 这个是别人翻译的。然后我用这个去控制 一组方...
2019-11-07 16:28:10
275
原创 python装饰器
https://www.cnblogs.com/serpent/p/9445592.html讲的巨好。感觉任何我想达到的目的通过他的代码都可以实现！！！
2019-11-07 11:35:29
112
原创 工作目录和相对路径。
http://c.biancheng.net/view/5693.html这个讲的很详细。我原本以为 相对路径是文件对文件的相对路径。但实际上，应该是文件相对于工作目录的路径。例如：目录如下m:---bin-------p.py 主文件---lib-------u.py 方法文件，其中有open('xx.sql')---sql-------xx....
2019-11-06 10:15:51
619
原创 navicat安装包
百度网盘：链接：https://pan.baidu.com/s/1TA9VcFWRuE7S7K7Kiiy4eg提取码：uky2里面有一个安装文件一个破解压缩包。同事给我的，亲测有效。同事都超级好呜呜呜，为了报答这份恩情，我觉得给广大网友共享也算回报社会了。如果网盘有问题了，可以留言给我。：)ps小菜鸟会原来越努力回报这么好的同事的~~~！...
2019-09-24 15:49:16
3632
4
原创 clickhouse相关
https://clickhouse-driver.readthedocs.io/en/latest/features.htmlhttps://github.com/mymarilyn/clickhouse-driverfrom clickhouse_driver import Clientclient = Client('172.xx.x.xx')res= client.execu...
2019-09-04 17:51:10
1024
原创 linux文件传输
https://www.jianshu.com/p/2d057453117f rz,sz 命令。从本地上传和下载。https://www.cnblogs.com/Alan-Jones/p/7488179.html 压缩文件夹命令。https://blog.csdn.net/M983373615/article/details/82251504 服务器之间传文件。...
2019-08-05 13:50:06
93
转载 plotly
https://blog.csdn.net/u012897374/article/details/77857980https://zhuanlan.zhihu.com/p/62743944
2019-07-17 15:19:58
286
转载 crontab定时器
https://www.jb51.net/article/120484.htm1.写好python文件2.crontab -e 写入定时3.写好后直接运行不需要重启注意！！！无论是python里的还是crontab里都要用绝对路径！！！！！看是否写成功可以使用打印日志的方法检查定时器是否运行。...
2019-07-15 17:35:28
96
原创 pandas和dataframe
https://blog.csdn.net/weixin_32820767/article/details/82314778 pandas dataframe 读写 与 txt 读写https://blog.csdn.net/weixin_41888503/article/details/81205203 pandas 追加写入。https://blog.csdn.net/xiangxi...
2019-07-09 16:51:26
161
转载 聚类
https://blog.csdn.net/wind_blast/article/details/78779987 他自己写的聚类算法https://blog.csdn.net/wukai0909/article/details/72639174 from scipy.cluster.vq import vq,kmeans,whiten 注释详细。https://blog.csdn....
2019-07-09 14:36:27
114
转载 jieba
https://www.jianshu.com/p/1d525c86515d 很全而且详细，包括自定义词典，关键词等。https://blog.csdn.net/cg_Amaz1ng/article/details/79536801 结巴分词后的generator转List操作。...
2019-07-08 11:30:25
72
原创 clickhouse和mysql和pgsql在Jupyter上链接
clickhousefrom sqlalchemy.engine import create_engineimport pandas as pdch_engine=create_engine('clickhouse://172.xx.x.xx:8xxx/audience')pd.read_sql('show tables',ch_engine)mysqlimport ...
2019-07-03 18:05:58
1064
2
原创 screen 和 jupyter
linux下screen -S 会话名称 //创建会话screen -R 会话名称或编号 //进入会话 detached变成attachedscreen -ls //会话列表ctrl+a+d //离开，但后台还开着ctrl+c ...
2019-07-02 14:55:23
650
原创 20181007 增加到33*5=165个关键字的（相似度+SVM方法）代码
导入词向量模型：单独拉出来，因为模型加载很慢！# -*- coding:UTF-8 -*-from sklearn import svm #SVM导入import codecsfrom __future__ import division #除法#词向量导入import sysimport codecs #可以以特定编码打开文件import jiebaimpo...
2018-10-07 20:42:14
303
转载 TFIDF的一些知识。（实际我只用到了TF）
https://blog.csdn.net/spynao/article/details/50186531 自编词频统计（没什么用）。https://www.cnblogs.com/ybjourney/p/4824903.html from sklearn.feature_extraction.text import TfidfTransformerfrom sklearn...
2018-10-07 13:09:26
1100
原创 关键词-句子-最大相似度-维度
首先生成生成 维度为 在最大相似度的向量# -*- coding:UTF-8 -*-from sklearn import svm #SVM导入import codecsfrom __future__ import division #除法#词向量导入import sysimport codecs #可以以特定编码打开文件import jiebaimport ji...
2018-09-24 15:53:44
1200
原创 20180923 word2vec相似度改进（不浪费句子）
没有词向量就丢掉，不放进词集合里，不浪费句子，的改进。#!/usr/bin/python# -*- coding: UTF-8 -*-from __future__ import division #除法import sysimport codecs #可以以特定编码打开文件import jiebaimport jieba.posseg as psegreload(sys...
2018-09-23 14:30:49
1769
原创 9.23 DENSE改进
import kerasfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Activation, Bidirectional, LSTMfrom keras.optimizers import SGD, Adagradfrom keras.callbacks import TensorBo...
2018-09-23 09:52:03
283
转载 Keras__softmax
https://blog.csdn.net/u013378306/article/details/64923361 粗略讲了softmax代码意义https://blog.csdn.net/qq_35082030/article/details/77170284 详细下面是在我数据集上实现的代码 import kerasfrom keras.models import...
2018-08-10 19:30:01
759
原创 词向量求平均合成句向量
#!/usr/bin/python# -*- coding: UTF-8 -*-import sysimport codecs #可以以特定编码打开文件import numpy as npreload(sys) #zzh说这种方法不好，不要再用了！！！ 可是真的很好用啊 QAQsys.setdefaultencoding('utf-8')impo...
2018-07-21 19:32:23
5570
3
原创 word2vec全部弹幕比较句子相似度情感五分类
#!/usr/bin/python# -*- coding: UTF-8 -*-import sysimport codecs #可以以特定编码打开文件import jiebaimport jieba.posseg as pseg# reload(sys) zzh说这种方法不好，不要再用了！！！# sys.setdefaultencoding('utf...
2018-07-14 14:54:24
1601
转载 jupyter
https://blog.csdn.net/DataCastle/article/details/78890469 最全https://blog.csdn.net/u013023297/article/details/71082881 简洁https://blog.csdn.net/red_stone1/article/details/72858962 入门1. 如果没有输出可...
2018-07-14 14:36:36
188
转载 词向量
https://www.jianshu.com/p/52ee8c5739b6https://blog.csdn.net/churximi/article/details/51472300https://code.google.com/archive/p/word2vec/https://blog.csdn.net/u011531010/article/details/55062245https:/...
2018-07-14 12:12:38
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人