- 博客(77)
- 资源 (20)
- 收藏
- 关注
RSS订阅原创 ClickHouse数据恢复记录
项目场景：ClickHouse集群 数据备份,恢复.遇到报错:Application: DB::Exception: Directory /var/lib/clickhouse/metadata/system exists: while loading database `system` from path /var/lib/clickhouse/metadata/system问题描述：经过对比,发现 ClickHouse的meta目录下的数据,都是 对store下数据建立的符号链接.备份
2022-02-22 11:22:46
1594
原创 在防火墙开启下 使用Kafka-manager
在防火墙开启下 使用Kafka-manager知名端口kafka 集群和Kafka-manager 通信的默认端口包括:2181/tcp 2888/tcp 3888/tcp 9092/tcp 8999/tcp如果只在防火墙上配置这几个端口,manager仍然会报错:如果把防火墙完全打开,则没有问题, 从抓包来看,manager还通过临时端口进行通信.因此需要开启IP的白名单.具体命令如下:firewall-cmd --permanent --add-rich-rule="rule famil
2022-02-19 16:54:35
1290
原创 MySQL连接优化配置
2、show processlist;查看连接数，可以发现有很多连接处于sleep状态，这些其实是暂时没有用的，所以可以kill掉3、show variables like “max_connections”;查看最大连接数，应该是与上面查询到的连接数相同，才会出现too many connections的情况4、set GLOBAL max_connections=1000;修改最大连接数，但是这不是一劳永逸的方法，应该要让它自动杀死那些sleep的进程。5、show global varia
2021-11-02 17:42:24
278
原创 CentOS7 阿里yum
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoyum clean allyum makecache
2021-10-22 10:35:17
152
原创 Docker 镜像导入导出
docker save image_name > /tmp/image_name.tardocker load < /tmp/image_name.tardocker system prune
2021-10-20 09:17:39
108
原创 docker命令整理
查看容器的IP地址：docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' container_name_or_id或者：docker inspect 容器ID | grep IPAddress启动docker及composesystemctl start dockerdocker-compose up -ddocker-compose logsdocker network ls进..
2021-03-12 09:13:09
137
原创 Linux 缺少 libgconf库 libgconf-2.so.4 =＞ not found
libgconf-2.so.4 => not foundyum install GConf2 -yOK
2020-11-18 09:52:23
2145
原创 Centos下安装dpdk
https://blog.csdn.net/yrx0619/article/details/82754681http://core.dpdk.org/doc/quick-start/https://blog.csdn.net/weixin_38582656/article/details/97272490
2020-09-09 12:38:48
534
原创 CentOS 7 xplico-1.2.2 编译
xplico 最新版本是1.2.2 ， 官网提供了 ubuntu上的安装方式。但是没有提供在CentOS上的。只能通过源码进行编译安装。rpm包链接下载的rpm包，在安装时会报缺少各种依赖。而且不知道依赖包对应是什么版本，肯定不能用最新版本。[root@localhost code]# rpm -ivh --test xplico-1.2.2-2.el7.x86_64.rpm 警告：xplico-1.2.2-2.el7.x86_64.rpm: 头V4 RSA/SHA1 Signature, 密钥
2020-08-18 17:30:40
464
原创 libxml 编译报错：“Py_NotImplementedStruct can not be used when making a shared object”
CentoOS 7 下：python 3.6libxml 编译时，提示python编译报错：/usr/bin/ld: /usr/local/python3/lib/python3.6/config-3.6m-x86_64-linux-gnu/libpython3.6m.a(abstract.o): relocation R_X86_64_32S against `_Py_NotImplementedStruct’ can not be used when making a shared object
2020-08-03 17:41:21
568
原创 C++ 学习（3）--- && 右值引用
&& 右值引用 是 C++ 11中新增加的功能。C++中的&和&&浅析C++11右值引用和move语义左值、左值引用、右值、右值引用c++为什么用右值引用c++11 右值引用 && std::move()
2020-08-03 11:05:49
140
原创 C++ 学习（2）--- virtual
虚函数通过基类的指针调用该成员函数时，将根据指针指向的对象类型确定调用的函数，而非指针的类型是C++ 多态的一种体现，属于 函数的重写， 而非 重载。 要求函数的名称，参数完全一致。class Animal{ public: void eat() { std::cout << "I'm eating animal food." }};class Dog : public Animal{ public: void eat() { std::cout .
2020-07-31 18:43:56
134
原创 C++ 学习（1）--- 构造函数
Knows what functions C++ silently writes and calls.如果自己没有声明， 编译器会为类声明：一个默认构造函数一个析构函数一个copy构造函数一个copy assignment 操作符所有这些函数都是public 且inline的。class Empty { public: Empty(){...} Empty(const Empty &rhs) { ...} ~Empty() {...} Empty &
2020-07-31 15:38:11
105
原创 Centos7 Python3下搭建scrapyd和scrapydweb
Centos7 模拟是python2， 需要升级为python3 或者建立虚拟环境，这里不再赘述。由于scrapydweb 会用到sqlite3， 而普通版本安装的python3 是无法使用sqlite3的，因此需要编译安装python。python 验证方法：import sqlite3如果报错，说明需要重新安装python.参照：https://blog.csdn.net/zd147896325/article/details/80092563python安装完成后，可以进行其他包的安装
2020-07-14 11:49:20
565
原创 Cassandra 导出表结构
cassandra中 数据库是 keyspace， 里面有表。导出为：./cqlsh 127.0.0.1 -e 'desc keyspace keyspace_name' -u user -p pwd > db.cql导入为：./cqlsh 192.168.198.51 -u cassandra -p cassandra -f db.cqlhttps://www.cnblogs.com/TSlover/p/11398535.htmlhttps://blog.csdn.net/u010
2020-07-10 14:29:33
1185
原创 Windows定时任务运行带界面的应用
开始，觉得定时任务很简单，执行结果和手动在命令行执行效果是一样的。实际却不是，在命令行启动运行好好的。但是放到定时任务中后，一直运行有问题。后来发现是：带有界面的应用，比如模拟器等，虽然进程被调用了。但是不能显示界面。无论是bat脚本还是python脚本。后来发现原因在于设置：这里只能选择 在用户登录时运行，才可以显示界面。选择其他的就会出现 不显示界面的问题。https://www.cnblogs.com/jasondan/p/3992435.html...
2020-06-30 20:20:12
1113
2
原创 windows下 appium自动化运行环境搭建 (1)
背景appium 可以连接手机模拟器,进行移动端app测试. appium 本身是nodejs编写的, 以来的环境众多.NodeJS环境；Android环境；JAVA环境；appium又分为server和desktop版本. desktop版本需要鼠标点击启动server, 无法实现自动化脚本运行.命令npm install -g cnpm --registry=https://registry.npm.taobao.org# 安装appium最新版本cnpm install -g
2020-06-26 07:53:26
180
原创 mongoexport复杂查询过滤语法
mongoexport --db test_data --collection posts --type=csv --fields title,link,remark,isFail --queryFile ./query.txt --out ./posts.csv{publishAt:{$gt:ISODate('2020-05-03T23:59:59.000Z')},$and:[{msgBiz:{$ne:'aaaaaa'}}, {msgBiz:{$ne: 'bbbbbbb=='}}]}主要.
2020-05-12 19:17:46
673
原创 opencv error: ‘vector’ has not been declared问题
opencv C++ 程序中，会使用到opencv库中包含的vector的定义，用的不是C++ 标准库std中的vector的定义。因此无需引用的定义，只要引用了opencv的库和头文件，应该是可以编译通过的。但是在有些opencv版本中，cv.h中没有包含std：vector的定义，所有会报错：error: ‘vector’ has not been declared解决办法如下：在...
2020-01-02 09:47:29
5117
原创 Python多进程并发［glob，concurrent和Pool]
简单的代码只能单核处理，当处理超大量数据时，会非常慢。可以用concurrent 或Pool。with concurrent.futures.ProcessPoolExecutor() as executor: roots = glob('/root/code/ocr/dataset/images/*.jpg') executor.map(verify...
2019-12-12 11:34:30
373
原创 TypeError: can't pickle Transaction objects 解决
TypeError: can't pickle Transaction objects 解决在使用concurrent或进程池Pool进行并发操作时，遇到了这个错误在使用concurrent或进程池Pool进行并发操作时，遇到了这个错误解决办法就是把map的接口修改为全局的。from glob import globimport osimport concurrent.futuresf...
2019-12-12 11:22:53
3214
原创 神经网络模型训练基本流程
简单的神经网络模型是：前向回馈神经网络（feed-forward）, 其包括以下几层：输入、多个层次的对输入的回馈以及最终的输出。简单的神经网络的训练过程包括以下几个步骤：定义一个包含多个可学习参数（权重）的神经网络；对输入的数据集进行迭代计算；通过多层网络结构来处理输入数据；计算损失值（输出值与目标值的差值）；反向传播梯度到神经网络的参数中；根据更新规则来更新网络中的权重值。...
2019-11-19 15:32:55
12458
原创 python pyreadline 'gbk’ codec can’t decode byte 错误
Windows上 CMD输入python，突然会报错。Python 3.6.12 |Anaconda 4.2.0 (64-bit)| (default, Jul 20 2017, 12:30:02) [MSC v.1900 64 bit (AMD64)] on win32Type “help”, “copyright”, “credits” or “license” for more info...
2019-10-11 14:39:37
2573
1
原创 Electron, Nodejs, Zerorpc,Python 跨平台程序编译
Electron, Zerorpc,Python 跨平台程序编译前言环境可能遇到的各种问题需要注意的问题前言Electron可以用来把Web程序包装成各种平台的客户端程序，编译和打包过程也是充满挑战。一方面是因为所使用的库和软件，有些仍然在不断更新，有些却早已经停止更新了，从而导致版本依赖的不一致问题。比较复杂的架构是，前端用nodejs实现，后端用python实现，中间通信可以用：zer...
2019-08-28 13:20:52
3066
原创 Ubuntu18.04 tensorflow 安装
Ubuntu18.04 tensorflow 安装前言检查CPU是否支持AVX版本对应关系安装驱动安装CUDA和CUDNN安装OpenCV安装tensorflow测试旧版本卸载前言tensorflow 环境安装比较折腾，各种更新都比较快，需要安装相应的版本，如果不一致，可能就会导致失败。安装时间是2019-08-25， 目前tensorflow的稳定版本是：tensorflow-1.14.0...
2019-08-26 13:14:21
580
原创 中文ocr识别测试 - tesseract(1)
@TOC本次使用的是tesseract, 在github上拥有2w多颗星，https://github.com/tesseract-ocr/tesseract支持100多种语言，提供各种开发语言的调用接口，以及训练好的语种数据。测试代码采用，java JNA + tess4j 方式<properties> <project.build.sourceEnc...
2019-07-04 09:19:33
2504
原创 CentO7 安装redis server
之前参照这位大侠的帖子：https://www.cnblogs.com/rslai/p/8249812.html安装是成功了，但是在远程访问时，始终报错：1 changes in 900 seconds. Saving... Background saving started by pid 7630Failed opening the RDB file dump.rdb (in serve...
2019-06-04 14:06:34
288
原创 Ubuntu16.04上安装MHN
Ubuntu16.04上安装MHN首先到Github上获取最新的代码：sudo git clone https://github.com/threatstream/mhn.git然后sudo ./install.sh安装过程中遇到几个问题：安装jdk8 出错dpkg: error processing package oracle-java8-installer (--configu...
2019-06-03 21:21:54
460
原创 C++ dll库只生成dll文件，而未生成lib文件的问题
C++ dll库只生成dll文件，而未生成lib文件的问题逐项检查逐项检查新建项目时，选择应用程序类型为dll，并勾选“Export Symbols”；属性-&gt;链接器-&gt;高级-&gt;导入库 中定义输出的lib库的目录及文件名；在头文件中定义符号输出：```#define ZJJ_API __declspec(dllexport) class ZJJ_AP...
2018-10-24 15:55:36
12508
1
原创 UnicodeEncodeError: 'ascii' codec can't encode character '\u2013'
Python处理数据，然后插入数据库中，使用cx_Oracle库，执行cursor.execute时，如果数据中包含中文破折号’-‘，则报错：UnicodeEncodeError: 'ascii' codec can't encode character '\u2013' in position 13: ordinal not in range(128)经过测试，其实不仅仅是破折号，其他...
2018-09-11 15:25:38
5387
2
原创 sed中正则表达式的使用
sed是linux下文本处理的一个非常重要的工具，可用于批量文本的查找和替换，也可以采用正则表达式格式。正常用法sed ‘s/pattern/replace_string/’ file这个命令并不会直接替换file文件中的内容，只是会输出替换后的内容。如果要实时替换生效，需要加上 -i 选项(in place的意思)，即： sed -i ‘s/pattern/replace_str...
2018-09-10 09:13:15
9303
原创 Ubuntu16.04上安装Jdk1.8和Tomcat8
Ubuntu16.04安装Jdk1.8和Tomcat8问题处理Ubuntu16.04上原本安装有jdk1.7版本，现在打算安装一个1.8版本，并安装Tomcat8，但是安装以后发现启动Tomcat时，始终报错：org.apache.catalina.startup.VersionLoggerListener.log Server version: Apache Tomca...
2018-06-29 17:04:29
915
原创 WBS工作分解结构法
WBS（ Work BreakDown Structure 工作分解结构法） ： 把一个项目，按一定的原则进行分解，项目分解成任务，任务再分解成一项项工作，再把一项项工作分解到每个人的日常活动中，直到分解不下去为止。 需要遵循的原则包括： 1. 要遵循MECE原则，即对一项工作进行分解时，要做到不遗漏，不重复的分类，子工作之间要相互独立，所有的子工作要完全穷尽。 2. 遵循SMART原则...
2018-05-04 19:30:24
93355
3
原创 Hbase Thrift集群问题总结（1）
Hbase thrift 1 问题汇总Hbase thrift 启动线程池：./bin/hbase thrift start -threadpool , 报下面的错误:Exception in thread "thrift-worker-103" java.lang.OutOfMemoryError: unable to create new native threadat java...
2018-04-13 16:43:02
3422
原创 Hbase故障修复过程
Hbase故障修复过程故障原因可能是虚拟主机突然断电，hbase的所有节点都在这个虚拟机上，因此全部停机。启动起来后，发现很多region丢失：is not online。检测HDFS文件是否损坏使用hadoop命令: hadoop fsck / , 可以看到/ 目录下fs是否是Healthy。查看-ROOT-、.META.表的状态通过可视化界面查看-ROOT-...
2018-03-30 11:11:51
2806
原创 国际化字符编码处理总结
在处理国际化时，处理不当就会产生乱码，通用的做法是都转换为UTF-8编码，对于高层开发语言十分简单，对于底层编程语言则有些复杂。其中涉及的概念也有很多。字符是指计算机中使用的字母、数字、字和符号，包括：1、2、3、A、B、C、~！·#￥%……—*（）——+等等。在 ASCII 编码中，一个英文字母字符存储需要1个字节。在 GB 2312 编码或 GBK 编码中，一个汉字字符存储需要2个字节。在...
2018-02-28 17:54:48
2590
原创 CentOS 7安装PF_RING驱动
CentOS 7安装PF_RING驱动原有网卡是e1000e, 可以通过lsmod |grep pf_ring 来确认是否已加载pf_ring模块。 事先需要先卸载原有的驱动模块： rmmod e1000e. 这会导致远程SSH断掉，请用终端操作。首先安装相关依赖项。然后编译安装驱动模块。# git clone https://github.com/ntop/PF_RING....
2018-01-15 16:48:05
4048
原创 Linux下 wchar_t 与char 转换
为了支持多语言，需要支持宽字符，Linux下用wchar_t表示，wchar_t最大长度4个字节，已经可以囊括世界上所有的语言编码，中文字符在gb2312编码下用2个字节表示，但用utf-8编码需要3个字节表示。Linux下的系统调用，大部分都已经有对应的宽字符版本。具体可参照对照表但仍有一些系统调用是没有宽字符版本的，例如fopen系列函数： FILE *fopen(const ...
2017-07-07 19:37:49
8351
原创 Oracle优化器、优化模式、表的连接方式（Hash Join、Nested Loop、Sort Merge Join）
查询优化器Oracle的查询优化器（QO）分为两种： 1. RBO：Ruled-Based Optimization， 基于规则的优化器； 2. CBO ：Cost-Based Optimization， 基于代价的优化器；从 Oracle 10g开始，Oracle已放弃RBO，但为了兼容性，仍然可以设置RBO.优化模式优化模式分为： FIRST_ROWS: 尽可能快的先返回几
2017-06-30 14:32:24
1051
原创 Linux 文件名和路径的最大长度
在x86_64 Linux下，文件名的最大长度是255个字节，文件路径的最大长度是4096bytes， 即可以包含16级的最大文件长度的路径。在#define NAME_MAX 255的定义.
2017-06-28 12:53:06
40909
[实测可用] 华为鲲鹏920服务器所需 libsigar-aarch64-linux.so
2020-06-18
tensorflow-1.7.0-cp35-none-linux_aarch64.whl
2019-10-31
tensorflow-1.7.0-cp35-cp35m-linux_aarch64.7z
2019-10-31
tensorflow-1.8.0-cp35-none-linux_aarch64.whl
2019-10-31
Android Sdk system images 19 Part4
2014-10-02
Android Sdk system images 19 Part3
2014-10-02
Android Sdk system images19 Part2
2014-10-02
Android Sdk system images 19 Part1
2014-10-02
Android Sdk Platforms 19 Part1
2014-10-02
[AndEngine]物理碰撞例子
2014-10-02
Asp2.0新功能实例
2009-05-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人