- 博客(231)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 oracle数据库timestamp字段差值
计算timestamp字段的差值，精确到毫秒：EXTRACT(SECOND FROM(t.end_time - t.start_time)) * 1000
2020-06-12 08:28:24
661
原创 python学习笔记之爬虫框架scrapy(十七)
一、安装执行以下命令安装scrapypip install scrapy注意：Scrapy是用纯Python编写的，并且依赖于一些关键的Python包（以及其他一些包）：lxml，高效的XML和HTML解析器parsel，是在lxml之上编写的HTML / XML数据提取库w3lib，一个用于处理URL和网页编码的多功能助手扭曲的异步网络框架加密和pyOpenSSL，以处理各种网络级安全需求二、Scrapy教程本教程将指导您完成以下任务：创建一个新的Scrapy项目编写蜘蛛
2020-05-22 23:34:11
817
原创 python学习笔记之异常处理(十六)
异常代码如下>>> import urllib.request>>> import urllib.error>>> req = urllib.request.Request("http://www.ooxx-baidu.com")>>> try: urllib.request.urlopen(req)except urllib.error.URLError as e: print(e.reason) [Errno 1
2020-05-22 00:19:23
428
1
原创 python学习笔记之正则表达式(十五)
正则表达式使用正则表达式，需导入re模块注意：正则表达式使用反斜杠字符 (’’) 来表示特殊形式或是允许在使用特殊字符时不引发它们的特殊含义特殊字符说明.(点) 在默认模式，匹配除了换行的任意字符.(点) 在默认模式，匹配除了换行的任意字符^(插入符号) 匹配字符串的开头， 并且在 MULTILINE 模式也匹配换行后的首个符号$匹配字符串尾或者换行符的前一个字符;foo 匹配 ‘foo’ 和 ‘foobar’ , 但正则 foo$ 只匹配 ‘foo’。*
2020-05-21 23:30:13
250
原创 python学习笔记之模块爬虫实战-爬取网站图片(十四)
背景说明爬取煎蛋网中随手拍栏目中的某页的所有图片实战分析先打开煎蛋网站中的“随手拍”，链接为：http://jandan.net/ooxx/MjAyMDA1MTctMTc1#comments按F12打开开发者工具，然后在图片上点击“检查”，可看到图片的链接找到这些图片的链接，然后保存即可代码实现download_images方法创建保存图片的文件夹，再调用find_images找到图片的地址，再用save_imgs方法来保存图片url_open方法说明：很多地方都要从链接请求html
2020-05-17 23:34:25
305
原创 python学习笔记之模块爬虫-隐藏(十三)
背景很多网站会限制程序去爬数据，所以必须要伪装隐藏自己，模拟是浏览器发起的请求添加head和延迟访问方式一 发起的request请求前，加上head示例代码如下:header中加上User-Agent属性import urllib.requestimport urllib.parseimport jsoncontent=input('Enter the word that needs translated:')url='http://fanyi.youdao.com/translate
2020-05-16 23:51:45
235
转载 JAVA故障排查详解
背景线上故障主要会包括cpu、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如jstack、jmap等工具也是不囿于一个方面的问题的，基本上出问题就是df、free、top 三连，然后依次jstack、jmap伺候，具体问题具体分析即可。CPU一般来讲我们首先会排查cpu方面的问题。cpu异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁gc以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导致的，可以使用jst
2020-05-15 08:14:57
644
原创 windows下实现自动拉取GIT代码
背景分模块开发后，经常需要从git上同步代码；本篇文章记录下每天早上同步代码一.编写同步git代码的bat脚本1.1 同步脚本注意：如果本地密钥信息没配置到gitlab服务器，可设置记住密码，本脚本需先手动执行一次@echo offe:cd E:\sources\github\pythongit config --global credential.helper storegit pull1.2 手动执行二.配置定时任务Windows键+R，调出此窗口，输入compmgmt.m
2020-05-14 10:32:55
4943
原创 python学习笔记之模块爬虫-实战(十二)
一.python如何访问互联网urllib模块介绍url + lib 组成了urllib模块在这里插入代码片
2020-05-13 23:58:37
195
原创 crontab定时任务不执行原因详解
一.cronb服务未启动crontab不是 Linux 内核的功能，而是依赖一个crond服务，这个服务可以启动当然也可以停止。如果停止了就无法执行任何定时任务了，解决的方法是打开它:systemctl restart crond或service crond start二.权限问题比如：脚本没有x执行权限，解决方法：增加执行权限，或者用bash abc.sh的方法执行三.crontab日志cron日志保存在系统目录/var/log/cron可查看cron的执行记录...
2020-05-12 23:56:48
3180
原创 python学习笔记之模块module(十一)
模块模块是更高级的封装，list,dict是对数据的封装，函数是对语句的封装；类是属性和方法的封装；如何导入模块注：命名空间的使用新建hello.py文件，放到python安装目录def hi(): print('你好啊，sully lei')2.导入模块>>> import sys>>> sys.path['', 'D:\\Python\\Python37\\Lib\\idlelib', 'D:\\Python\\Python37\\pytho
2020-05-09 23:45:51
254
原创 python安装卡住及Scripts文件夹为空的解决办法
问题在python官网下载的适合当前操作系统版本的exe安装包(windows7 32位)，安装后莫名其妙卡住一直不动，安装界面一直不结束安装后Scripts文件夹中为空解决问题问题1：安装界面卡住的问题，打开“任务管理器”，杀掉安装进程，然后重新电脑；在双击python安装exe文件，即可完成安装问题2：先查看python的环境变量配置，PATH变量中加上python配置...
2020-05-08 00:13:10
3023
原创 python学习笔记之魔法方法(十)
魔法方法魔法方法被双下划线包围，例如：init魔法方法的魔力体现在总能够在适当的时候，被自动调用一 init方法与其他语言的构造方法功能类似init(self[,…])注意：init的返回值一定为None,也就是没有返回值矩形的示例如下：>>> class Rectangle: def __init__(self,x,y): self.x = x s...
2020-05-07 00:20:16
322
原创 python学习笔记对象(九)
一 issubclassclass 是否为classinfo的子类语法：issubclass(class,classinfo)>>> class A: pass>>> class B(A): pass>>> issubclass(B,A)True>>> issubclass(B,B)True>&g...
2020-05-06 23:44:27
338
原创 python学习笔记之对象(八)
一 对象oo:Object Oriented面向对象对象的特性封装 举例list中的append和sort方法，封装好之后直接调用继承多态 不同对象对同一行为的抽象，动物的跑为例2.1 继承示例>>> class MyList(list): pass>>> list2 = MyList()>>> list2.appen...
2020-05-05 00:10:16
208
原创 python学习笔记异常（Exception）(七)
一常见异常1.AssertionError断言语句(assert)失败,示例如下：>>> a = 1>>> assert(a<1)Traceback (most recent call last): File "<pyshell#7>", line 1, in <module> assert(a<1)A...
2020-05-04 00:12:53
369
原创 python学习笔记字典与集合（Dictionary和set）(六)
字典 dict特性Python内置了字典：dict的支持，dict全称dictionary，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度。key-value存储方式，在放进去的时候，必须根据key算出value的存放位置，这样，取的时候才能根据key直接拿到value。dict有以下几个特点：查找和插入的速度极快，不会随着key的增加而增加；需要...
2020-05-03 09:17:10
330
原创 python学习笔记递归与迭代（斐波拉契数列和汉诺塔）(五)
递归示例：输入一个数字，计算从1到该数字的阶乘import sys#print sys.getdefaultencoding()def factorial(n): result = n for i in range(1,n): result *= i return resultnumber = int(input('请输入一个正整数：'))result = factoria...
2020-05-02 09:16:08
439
转载 线上常见问题排查手册
线上常见问题排查手册常见问题 1：CPU 利用率高1 频繁 FullGC/YongGC2 代码消耗，如死循环，md5 等内存态操作jstack 查找常见问题 2：load 高常见问题 3：持续 FullGC内存模型回收器关键常用参数问题原因及定位：常见问题 4：线程池满问题原因及定位：二 常用工具介绍arthas三 常见问题恢复常见问题 1：CPU 利用率高CPU 使用率是衡量系统繁忙...
2020-04-27 09:23:58
536
原创 python连接oracle指南
背景经常需要连接数据库，统计数据并导出成excel安装在pypi上找到合适的module包，windows 64位,python3.7.6版本，需下载cx_Oracle-7.3.0-cp37-cp37m-win_amd64.whl，执行’pip install cx_Oracle-7.3.0-cp37-cp37m-win_amd64.whl’ 安装module脚本import cx_Or...
2020-04-22 00:18:55
208
原创 python远程控制linux服务器(paramiko、fabric与pexpect)（四）
python远程控制linux服务器paramiko安装与使用说明背景安装说明使用详解paramiko安装与使用说明背景工作中应用系统都是多实例部署的，经常会遇到在多台机器执行同样的操作命令；使用paramiko能减少重复的工作。安装说明需要离线安装安装ecdsa、paramiko、pycrypto，在pypi中搜索适用于当前python版本的模块包，ecdsa-0.15.tar.gz...
2020-04-20 23:44:32
371
原创 python学习笔记函数与过程(三)
定义函数Function使用def关键字定义函数，函数不含参数，也可包含参数，定义函数是的参数叫做形参；调用函数时，传入的参数叫实参。可在函数定义时，设置默认值，当调用函数不传值时，参数为默认值；>>> def saySome(name,words): print(name + '->' + words)>>> saySome('特朗普','...
2020-04-19 20:03:52
198
原创 python学习笔记序列(list,tuple,string）(二)
序列列表list、元组tuple、字符串string的共同点都可以通过索引得到每一个元素 默认索引值都是从0开始 可通过分片的方法得到一个范围内的元素的集合 有很多共同的操作(重复操作符、拼接操作符、成员关系操作符)list把一个可迭代对象转换成列表>>> a = []>>> len(a） SyntaxError: invali...
2020-04-19 01:16:07
251
原创 python学习笔记字符串（string）(一)
format示例1：'{0} love {1}.{2}'.format('sully','ruly','baozi')示例2：'{a} love {b}.{c}'.format(a='sully',b='ruly',c='baozi')示例3: '{0:.1f}{1}'.format(27.456,'GB')字符串格式化符号含义符号 说明 %C 格式化字符及其A...
2020-04-19 00:51:15
174
原创 python查询数据库表导出excel
前言日常有项工作需要每周从数据库表导出成excel，下文将记录从安装读写excel的模块，到连接数据库导出成excel安装module安装python操作excel所需的module,包括xlrd、xlwt、xlutils三个module。由于测试环境机器无法连接外网，需在pypi网站找到python版本（2.7）对应的安装包，分别下载了xlrd-1.2.0.tar.gz，xlwt-1...
2020-04-18 10:40:42
1070
原创 oracle数据库的blob字段显示为value error
问题在使用plsql查询数据时，发现blob字段的值无法显示，查看应用在insert表时，没有任何异常解决问题由于应用在insert时没报任何错误，怀疑只是显示的问题。尝试着查询单条记录，发现显示没问题；这个问题就是内存空间不够用导致。...
2020-03-15 23:58:16
2171
原创 常见linux内核参数修改
一.内核参数修改参数说明#最大的TCP数据接收窗口（字节）#当前值：net.core.rmem_max=16777216#最大的TCP数据发送窗口（字节）。#当前值net.core.wmem_max=16777216#为自动调优定义socket使用的内存。第一个值是为socket接收缓冲区分配的最少字节数；第二个值是默认值（该值会被rmem_default覆盖），缓...
2020-03-14 07:11:01
5873
原创 nexus和jdk1.8版本列表
jdk1.8官方所有版本下载地址JDK1.8版本的官方下载地址，其中包括所有的Windows版本和Linux版本https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.htmlnexus百度网盘地址nexus官网上的地址无法下载，提供百度网盘地址，包含最新的nexus...
2020-03-12 16:38:54
622
原创 TCP四次挥手，CLOSE_WAIT和TIME_WAIT
TCP四次挥手由于TCP连接是全双工的，因此每个方向都必须单独进行关闭。假设终止命令由client端发起。当客户端数据传输完成，准备断开连接时1、Client端发送一个FIN报文给Server端。(序号为M)1.1. 表示要终止Client到Server这个方向的连接。1.1. 通过调用close(socket) API。1.3 表示Client不再会发送数据到Server...
2020-03-05 09:43:38
2476
1
原创 RTO和RPO
前言在灾难恢复方面，目前业界公认有三个目标值得努力。一是恢复时间，企业能忍受多长时间没有 IT，处于停业状态；二是网络多长时间能够恢复；三是业务层面的恢复。整个恢复过程中，最关键的衡量指标有两个：一个是 RTO，另一个是 RPO。所谓 RTO，Recovery Time Objective，它是指灾难发生后，从 IT 系统当机导致业务停顿之时开始，到 IT 系统恢复至可以支持各部门运作、恢...
2020-03-02 11:06:10
935
原创 socketException之broken pipe
周末在做数据库迁移时，DBA在插数据到某个大表时，锁表导致应用程序报“Broken pipe”的错误I know that broken pipe error is thrown when the socket on the peer side is closed.But, in my test I have noted that an immediate 'send' call...
2020-01-13 00:05:42
3785
原创 oracle数据库安装报"INS-30131执行安装程序验证所需的初始设置失败"
问题：下载好oracle安装包之后，解压到后，双击“setup.exe”会报如下图所示的错误解决问题：打开CMD，进入setup.exe的目录，执行setup.exe -ignorePrereq -ignorePrereq -J"-Doracle.install.db.validate.supportedOSCheck=false"setup.exe -ignorePrere...
2020-01-01 00:19:32
726
原创 linux文件乱码问题解决方法汇总
一、查看文件编码方式通过vi命令打开文件"vi file.txt"，然后在执行":set fileencoding"可查看文件编码方式二、修改文件编码方式通过vi命令打开文件"vi file.txt"，然后在执行":set fileencoding=utf-8"可修改文件编码方式utf-8三、修改.vimrc显示乱码文件1.进入当前用户的家目录，执行“cd ~”2.查看隐藏...
2019-12-09 08:23:43
2420
1
原创 Intellij IDEA pom.xml报错“Cannot reconnect”
报错信息如下所示2019-10-27 07:40:56,078 [ 154267] INFO - #org.jetbrains.idea.maven - Cannot reconnect. java.lang.RuntimeException: Cannot reconnect. at org.jetbrains.idea.maven.server.RemoteObject...
2019-10-27 08:08:47
5145
原创 vmware中安装的centos桥接配置固定IP
1.在vmware中安装好centos后，在“我的计算机”下面选择安装的虚拟机，右键点击“设置”，配置“虚拟机设置”，网络适配器中选择“桥接模式”2.在vmware workstations中选择“编辑”-“虚拟网络编辑器”，如果之前配置过其他连接模式，先“还原默认配置”，然后再变更配置，桥接模式下选择宿主机上连接外网的网卡(任务管理器中可看到，见下图)3.先查看宿主机ip信息...
2019-09-30 23:01:49
362
原创 Socket error Event: 32 Error: 10053. Connection closing...Socket close
问题在用xshell连接vmware中的centos时，经常报socket error Event，一般隔几分钟就断开了，需要重新连接，报错信息如下Connecting to 192.168.0.100:22...Connection established.To escape to local shell, press 'Ctrl+Alt+]'.Socket error Eve...
2019-09-28 00:57:37
29878
6
转载 理解zookeeper的leader选举
Leader选举是保证分布式数据一致性的关键所在。Leader选举分为Zookeeper集群初始化启动时选举和Zookeeper集群运行期间Leader重新选举两种情况。在讲解Leader选举前先了解一下Zookeeper节点4种可能状态和事务ID概念。1、Zookeeper节点状态LOOKING：寻找Leader状态，处于该状态需要进入选举流程 LEADING：领导者状态，处于该状态的...
2019-09-24 23:28:57
258
原创 分布式锁系列3-使用nginx构建tomcat集群
nginx安装与配置环境：在笔记本上的vmware中安装的centos7.6nginx安装使用root用户操作1.安装yum-utilsyum install yum-utils2.新建/etc/yum.repos.d/nginx.repo文件，内容如下#vi /etc/yum.repos.d/nginx.repo[root@localhost ~]# ca...
2019-09-24 00:49:31
473
原创 分布式锁系列前言
计划打算系统性的学习下分布式锁，包括使用redis和zookeeper实现。使用spring boot实现web服务，通过nginx来实现tomcat集群，再用jmeter来进行高并发压测。环境介绍我的环境是在笔记本上安装VMware，然后再安装centos7.6系统，redis、nginx、zookeeper都安装在centos中。redis安装配置1.在centos安装配置...
2019-09-23 01:10:35
151
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人