- 博客(505)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 orace数据库生产环境操作实录
最近在做一次大批量数据库同步的工作，因为很久没有弄oracle了，遇到了较大困难，客户又催的比较紧，这里再捡一下。1 基础Oracle 数据库、实例、用户、表空间、表之间的关系讲解，实例名也叫sid，一个数据库可以有多个实例jdbc:oracle:thin:@localhost:1521:orcl(orcl就为数据库实例名)ORACLE中SID和SERVICE_NAME的区别,SERVI...
2019-08-09 08:04:19
737
原创 第6.1.4章 spark环境配置
spark与hive部署在一台服务器上。1 hive-site.xml这里可以看到spark和hive使用的是thrift协议通讯<configuration> <property> <name>hive.metastore.uris</name> <value>thrift://bwsc79:9083,thri...
2019-07-12 14:58:45
195
原创 第2.2.3章 hadoop的管理
这个章节的名字套用的是《Hadoop权威指南》第10章的名称，按图索骥，实地看看hadoop里面有什么。1 名称节点新格式化的namenode目录结构如下：# dfs.namenode.name.dir在hdfs-site.xml中配置了路径# 这里跟书上不一样，没有 fstime目录${dfs.namenode.name.dir}/current/VERSION edits fsima...
2019-07-11 15:33:41
464
原创 第1.10章 elasticsearch优化
1 跨es集群复制在elasticsearch.yml中增加配置,在两个集群都配置上白名单reindex.remote.whitelist: ["10.101.10.58:9200","10.101.10.59:9200","10.101.10.60:9200"]其余配置参考第1.8章 elasticsearch水平扩展Elasticsearch跨集群搜索(Cross Cluster S...
2019-07-09 16:27:23
402
原创 第4.1.3章 flume写入数据到hbase中
1、环境准备1.1 flume组件开发环境flume组件依赖的jar如下：<!-- provided --> <dependency> <groupId>commons-lang</groupId> <artifactId>commons-lang</artifactId> <version&...
2019-07-08 14:24:04
1318
原创 第1.3章 docker部署Eureka集群
关于Eureka的描述，可以参考Eureka简介,对Eureka和zookeeper对比，我个人觉得还是很容易看的明白的 Eureka作为服务的注册中心，即生产环境必须使用集群才能保证系统之间稳定运行...
2019-07-05 16:09:54
2372
原创 chineseocr环境准备
1、Anaconda3使用chineseocr源码，这里面用的版本是Anaconda3-2019.03-Linux-x86_64.sh执行下面的命令，参考Ubuntu18.04 安装 Anaconda3进行安装,指定安装目录cd bash Anaconda3-2019.03-Linux-x86_64.sh如果安装错了，卸载rm -rf anaconda文件夹名更改Anacond...
2019-07-01 11:47:13
1957
原创 利用requests做八字排盘的爬虫
requests爬虫需要注意请求网站的字符编码，如果是https，直接忽略就可以了。import requestsimport urllibfrom pyquery import PyQuery as pqrequests.packages.urllib3.disable_warnings()def submit_2(): params = {'name': '', 'area...
2019-06-20 13:52:51
674
原创 系统安全性和保密性设计
这个话题很大，我只是把我经历的或者说知道的，写一写，总总结，我并不是这方面的高手。1 安全基础1.1 国密算法国家商用密码定义了一系列算法，我了解到的是SM2、SM3、SM4，因为国家对一些系统有安全要求，必须通过支持这三种算法，颁布相应授权证书。国密算法(国家商用密码算法简介)。SM2是替代RSA的算法，算法流程参考图解SM2算法流程（合几个算法对比可以参见 国密算法SM1/SM2/S...
2019-06-19 14:24:59
7351
原创 第7.1.5 mongodb4.x 分片宕了
先看看mongodbmongos.log中提示的异常信息：2019-05-21T18:49:34.355+0800 I COMMAND [conn174701] command detail_links.lvdun_links command: insert { insert: "lvdun_links", ordered: true, lsid: { id: UUID("db1b9d8a-6...
2019-05-22 14:20:51
13792
6
原创 第1.9章 elasticsearch Nodes hot_threads
Nodes hot_threads，根据官方描述_nodes/hot_threads获取集群中每个节点当前热线程，我执行后的返回的结果信息很长，那么该怎么解读呢？很容易推理出，hot_threads在哪里，那么哪里就是性能优化的地方。185上面并没有热的线程与下图top监控的指标是吻合的。::: {bwhs185}{0l0BABnLTfKt4NBEI8uuUA}{V0Ycx2FaS_OUM9...
2019-04-19 15:46:25
2783
原创 第1.8章 elasticsearch水平扩展
在Elasticsearch 5.6.6中下载程序包。tar -zxvf elasticsearch-5.6.6.tar.gz ln -s elasticsearch-5.6.6 elasticsearchgroupadd elkuseradd elk -g elkchown -R elk:elk /application/elasticsearch-5.6.6chown -R elk...
2019-04-18 11:10:20
488
原创 第1.7章 elasticsearch线上问题集1
我的es数据规模为5433万，这个时候频繁执行查询、写入的操作，发现python执行有一些异常，记录下来，看看有没有解决的办法我的脚本from elasticsearch import Elasticsearchfrom elasticsearch import helpersbody = { "query": { "range": ...
2019-04-17 14:57:13
16326
2
原创 第7.1.4 mongodb4.x增加分片
使用过elasticsearch的人应该都知道，es的动态分片很强大，看看下图，数据、备份节点管理由es自己完成我在第7.1.1Spring操作mongodb之mongodb4.x集群搭建中参考了MongoDB4.0.2分片+副本集集群搭建,莫非mongodb的分片必须手工指定吗？先看看10分钟完成MongoDB的容量规划及硬件配置按照一主、一从、一仲裁的模式，每次新增节点岂不是3的倍数？...
2019-04-15 15:00:30
785
原创 第7.1.3 mongo3.0.x一主一从
我在第7.1.1Spring操作mongodb之mongodb4.x集群搭建中已经描述了mongodb4.x集群的搭建，为什么再描述mongo3.0.x主从复制，是因为我们有两台其他人搭建的mongo3.0.x，他是主从模式，现在磁盘空间快慢了，我需要想办法处理一下既然是主从模式，那么主库可以读写，而从库只能读。参考MongoDB 3.0 常见集群的搭建(主从复制，副本集，分片…)一主一从模...
2019-04-15 10:31:35
315
原创 第7.2.1 mongodb索引优化
从下图可以看到我的4核CPU，已经满负荷运转，跑不动了，mongo都进行消耗了371.1%，那么怎么办呢？执行命令db.getProfilingLevel(),结果是0，参考Mongodb高级篇-性能优化，说明profile功能关闭执行下面的脚本，启动慢命令,默认是100msdb.setProfilingLevel(1)在查询的db中执行命令db.system.profile.fin...
2019-04-12 16:07:16
1063
原创 第1.1章http请求
对http请求get、post等进行封装，支持https。import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.io.OutputStream;import java.io.Unsu...
2019-04-12 11:43:46
253
原创 第6.1.2章 机器学习之八字强弱分析
我对韦千里的《呱呱集》中108个命例，进行标注，尝试使用knn算法，计算命例的用神。结果先用最简单的“克泄耗”和“生助”两种，计算规则使用李洪城老师的《具体断四柱导读》import numpy as npimport pandas as pdfrom sklearn import metricsfrom sklearn.neighbors import KNeighborsClassi...
2019-04-04 16:31:47
886
原创 第7.1.2 mongodb常用操作
1 根据正则匹配db.invalid_data.find({error:"禁限用规则",name:{$regex:'^[.。]+'}})2 计数db.invalid_data.count({error:"禁限用规则",name:{$regex:'[()]+'}})3 更新数据db.nvalid_data.find({error:"新旧地址不一致",addresstel:{$regex...
2019-03-28 11:55:16
190
原创 第6.1.1章 机器学习之zabbix中gpu监控
1 获取显存使用zabbix-agent安装参考第1.3章 树莓派环境监控,cd /etc/zabbixmkdir monitorcd monitorvi get_gpu_used.sh#!/bin/bashnvidia-smi -q | grep -A 3 "FB Memory Usage" | grep Used | awk '{print $3}'chmod +x /etc...
2019-03-28 11:33:13
4651
3
原创 第1.2.2章 树莓派centos arm python编程环境
因为树莓派自带的系统是32位的，而3B+是支持64位的，于是参考树莓派3B+安装CentOS全过程安装了centos7系统。centos7 自带的python版本是2.7.*，接下来还是需要将python升级到python3.1 安装python3查看操作系统版本[root@centos yum.repos.d]# uname -aLinux centos 4.14.50-OPENFANS...
2019-03-18 16:33:11
823
原创 第1.3章 树莓派环境监控
1 cpu 内存 磁盘监控在拜读《树莓派学习指南（基于Linux）.pdf》、《树莓派（Raspberry+Pi）实战指南++手把手教你掌握100个精彩案例》等人的著作，都提到了一个问题，就是树莓派容易烧坏。于是就想着在使用前，是不是把监控给做好。比如安装pandas的时候，卡在这里了，查看CPU使用100%，执行/opt/vc/bin/vcgencmd measure_temp ，此是温度为...
2019-03-04 19:42:38
1364
原创 第1.2.1章 树莓派python编程环境
树莓派3B+，默认的python版本是2.7.13，但是操作系统自带了python3.5.3的IDE因为现在主流都是用python3，那么我怎么讲python的环境切换到3呢？1 python环境切换参考将树莓派内置的 Python2.7 升级成 Python3# 卸载 python2.7sudo apt remove python# 自动清理 python2.7 的依赖sudo ...
2019-02-28 11:14:40
23519
1
原创 第1.1章 树莓派远程访问
今天从欧时中国采购的树莓派3B+到手，插上MicroSD、鼠标、键盘、显示器，再来一个带开关的USB充电器，基础环境就准备好了。因为树莓派3B+自带wifi模块，所以进入设置语言，选择对应wifi就可以连网了。现在互联网上找到的电子书，树莓派的版本太低，即使是购买的树莓派书籍，也一大堆配置，难道现在还是玩转windows的年代，而且这些事情无关要紧。很容易树莓派系统就运行好了，而且可以联网。...
2019-02-27 11:33:23
392
原创 python正则表达式
python使用正则表达式可以参见python正则表达式菜鸟教程，1 re.searchre.search扫描整个字符串只要找到第一个匹配然后返回.像下面的例子加上了^$校验边界，使用re.search并不合适。只有是包含某个字符串的时候，才适宜。import rea = 'dn11'if re.search('^\d+$',a): print('符合条件')else: ...
2019-02-18 13:23:33
332
原创 python多进程与多线程
互联网上介绍多进程的文章很多，比如Python多进程 - 实现多进程的几种方式、python多进程并发、多进程。为什么自己记录呢，是因为在做多进程的时候总会遇到这样那样的问题，故只好亲自实践一下。1 最简单的多进程使用multiprocessing.Process定义进程,target参数传递的是进程执行的方法，args则是传递给执行方法的参数，这个参数不要太复杂，复杂类型就可能会报错。im...
2019-02-18 11:17:48
346
原创 第2.3章 过滤器模式+模板模式设计八字命理的十神分析
如果单独看《Head First 设计模式》中介绍的23种设计模式，单例模式和工厂模式普通开发工程师能够理解，其他模式UML类画的就较为抽象，实现起来并没有那么复杂，只不过要用图形来展现，显的专业的话，就有些麻烦。但是80%的开发工程师能够容易理解吗，我认为大多数人知道继承和实现，就通过这两种方式组合，已经说命了很多问题。古人发明四柱八字，子平讲十神定位，如果通过计算机来实现子平的模型，按照梁湘...
2019-01-11 09:39:37
329
原创 第1.1章 WEB系统最佳实践 引言
我本科学的是工程力学，钱老的专业，07年初跟同学一起自学备考中国科学院软件所研究生，1分之差落榜。07年底再次备考中国科学院软件所研究生，超过分数线40多分，但是复试被淘汰。虽然我当时很想从力学转到计算机，希望在研究生阶段弥补一下自己颓废的大学dota生涯，可惜我自己没有把握好机会。08年年初工作都很不顺利，直到08年9月的一个来电，让我从此踏上了程序人生。公司不大，但领导+研发都是金蝶软件出生...
2018-12-26 15:47:36
148
原创 第5.1.5 SpringCloudConfig
从下图可以看出，SpringCloudConfig用于统一管理各微服务的配置信息，例如数据库连接、redis连接、日志配置等跟各自系统有关的属性配置。采用此架构后，只需要将配置信息上传到svn或git上，通过http请求刷新可以实现各个环境的热部署。以往的系统都是采取application-环境后缀的方式，采用springcloudconfig，就不需要了，只需要配置bootstrap.y...
2018-12-26 13:50:47
392
原创 第8.1.2解析mht格式文件
有人建议改造一下mhtifier.py就可以解析mht格式文件，它的示例没有告诉我，怎么验证。而且我改造也失败了，可能是我的水平有限。Python ：解析 word 文档（前程无忧简历），这篇文章的作者，告诉我们，51job的简历格式是mht格式的，虽然下载文件后缀是doc的。python3通过文件头判断文件类型，从这篇文章的代码，可以获取文件的真实格式，mht格式与eml格式差不多，网上说可...
2018-11-27 17:30:13
3155
原创 第4.4章 scrapy爬虫lambda传参
输入地址聂卫平，我想看看中国棋院棋手到底有哪些特点，看到了下图，决定写个爬虫，一下子下载下来这里并不是静态加载的，而是像后台请求的。这里使用了lambda传参import scrapyimport jsonfrom pyquery import PyQuery as pqfrom life_example.items import PersonBaiKeItemfrom life_e...
2018-11-26 20:33:56
279
原创 第8.1.1 jira之通过程序自动生成bug
jira相信大多数开发、测试工程师都在知道，功能测试、集成测试等环节少不了它，但是一个个录入bug并不适宜所有场景。比如做数据爬虫，比如代码质量走查，就不好人为直接干涉，于是我决心好好看一下jira，把atlassian-jira反编译看看他的代码，多的吓人，老技术，真心不想看下去了，于是只好从数据库着手。全量的数据有这么多并不是所有数据都有数据，于是我将没有数据的表，一个个删除。当然这些表...
2018-11-26 10:40:34
1500
原创 第7.1.1Spring操作mongodb之mongodb4.x集群搭建
mongodb官网下载mongodb安装命令比较简单，如下tar zxvf mongodb-linux-x86_64-4.0.4.tgzln -s mongodb-linux-x86_64-4.0.4 mongodb配置bash_profileMONGODB_HOME=/application/mongodbexport PATH=$PATH:$MONGODB_HOME/bin关...
2018-11-16 11:09:31
1820
原创 bug宝典之JAVA篇 web工程识别不了
使用mac的split view还是比较爽，可以一边编写代码，一边写blog，遇到问题就可以记录下来。要是10年前开始有笔记的习惯就好了，当年年少不懂事，现在正当年，亡羊补牢，希望不晚。以前习惯使用eclipse，win10下面使用idea，跑我的程序，也可以跑起来，但mac下面不知道为啥就出现下面的错误。这个错误咋看一下，挺熟悉，无非告诉你jstl的标签他不认识，也就是说没有加载进去，可以在...
2018-11-10 13:40:24
456
原创 第4.3章 采用request进行爬虫
爬虫并不是一定要用scrapy框架，下面介绍的这个就是通过requests直接获取的，代码如下生成田字格的代码参考第4.1章给小朋友写的飞鸟集打乱后组词的爬虫import requestsimport osimport refrom pyquery import PyQuery as pqfrom word_deal.primary_spelling import to_doc,dup...
2018-11-09 17:10:57
251
原创 第4.2章 简单的二级页面爬取并采用docx操作word
爬取这个网站的初衷，还是为了辅导儿子学习。古文很重要，相信高中生都很痛苦，那些古代文字都不知道是啥意思，所以还是早点背诵比较好。感谢网站的贡献者，我们可以直接写爬虫直接从上面爬下来，不用一个个字敲，或者买本厚厚的书。爬虫的代码很简单,这里说明下：parser='html'这个参数一般是不需要的，但是如果文档定义的是在xmlns=&quot;http://www.w3.org/1999/xhtm，就需要知...
2018-11-07 13:40:17
230
原创 第4.1章 飞鸟集爬虫采用结巴分词随机排序存储
这个爬虫非常简单，但是里面主要是通过结巴分词，pip3 install jieba，将泰戈尔的《飞鸟集》从网站上获取飞鸟集后，将文档进行逐行过滤，最终生成题目和答案两个文档。'''飞鸟集（泰戈尔）'''import scrapyimport reimport jiebaimport randomfrom pyquery import PyQuery as pqclass Fe...
2018-11-03 18:07:19
220
原创 python 复制文件到另外一目录
参考了网上的例子，例如python脚本实现文件夹增量复制、python实现文件夹增量同步，自己写了一个文件复制的程序'''同步文件'''import osimport sysimport fnmatchimport shutilIGNORE_LIST = ['*svn/*','*target/*','*node_modules/*']def genDir(path): ...
2018-10-30 19:40:26
1348
原创 python操作word实现小学拼音本功能
指导小孩拼音真是一件非常折磨人心志的事情，儿子刚上一年级，先学拼音、认字，但是一年级的课本内容也就那么多。有时候我会让他背书，书是背会了，但是字要注音，或者写，就没法训练了。所以我想了个办法，最近让他背诸葛亮的《诫子书》，字不多，背完我写个py脚本直接生成田字格，打印出来，让他注音。首先执行命令pip install docx，其他代码应该写的比较清楚，就不说明了。模板截图如下：'''拼...
2018-10-29 17:08:17
1280
原创 第1.2 章 elasticsearch reindex
因为之前es的引用不是通过索引别名来操作，导致后续有很多麻烦，如果通过python脚本来写，elasticsearch删除字段在这篇文章中已经讲过了。今天找到一种方法reindex这个连新索引都不用建立POST _reindex{ &amp;amp;quot;source&amp;amp;quot;:{&amp;amp;quot;index&amp;amp;quot;:&amp;amp;quot;edata&a
2018-10-16 09:35:42
1833
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人