![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
IT
文章平均质量分 58
一二三四!
认真总结,脚踏实地。
python 爬虫 -> python自动化测试
展开
-
启动namenode日志中报错No image directories available
启动namenode日志中报错No image directories available原创 2022-09-05 18:04:18 · 1322 阅读 · 0 评论 -
rpm -ivh 安装 rpm报错
不管是failed: No such file or directory还是error: Failed dependencies: krb5-libs(x86-64) = 1.15.1-50.el7 is needed by krb5-devel-1.15.1-50.el7.x86_64一招搞定!加 --nodeps --force 强制安装原创 2022-05-31 16:13:53 · 2071 阅读 · 0 评论 -
取消jenkins的定时清理工作空间(详细)
在 jenkins Script Console 页面设置如下属性取消了 Workspace clean uphudson.model.WorkspaceCleanupThread.disabled = truePS:每次重启jenkins都要设置一下中文:首页->系统管理->脚本命令行->输入上面命令->点击运行...原创 2022-01-14 14:09:42 · 10376 阅读 · 0 评论 -
Pyhive安装(python连接有Kerberos的hive数据库)
一、Linux离线安装GCC编译环境安装之前要查看离线环境的Linux版本,因为下载文档需要Linux的版本对应uname -a 显示全部信息显示版本号,该机版本为centos 6.6,属于6系的Linux系统1、手动对RPM包进行安装(方法1)RPM是Red-Hat Package Manager(RPM软件包管理器)的缩写,其原始设计理念是开放式的,现在包括OpenLinux、S.u.S.E.以及Turbo Linux等Linux的分发版本都有采用,可以算是公认的行业标准...原创 2021-11-30 10:10:50 · 15968 阅读 · 2 评论 -
工作中遇到的hive常见报错及问题
1,执行#hive命令进入Hive CLI时报如下错误:Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState....原创 2021-11-25 09:23:35 · 16366 阅读 · 0 评论 -
kerberos 激活JDBC连接hive
代码片段:public Connection getConnection() throws IOException, SQLException, ClassNotFoundException { Class.forName("org.apache.hive.jdbc.HiveDriver"); Properties p = new Properties(); InputStream in = HiveUtil.class.getResourceAsStream("/conf.原创 2021-11-22 16:58:31 · 15342 阅读 · 0 评论 -
【精】DB2导入导出命令整理
1.使用db2 backup指令备份(testdb数据库名,db2inst1实例名)首先关闭所有到数据库的连接,将数据库置为“静默”状态:$ db2 connect to testdb user db2inst1 using thepasswd$ db2 quiesce database immediate force connections$ db2 connect reset现在可以开始备份了:$ db2 backup database testdb to “/home/backup” us原创 2021-11-15 10:51:44 · 15845 阅读 · 0 评论 -
不同数据库支持的数据类型mysql,oracle,redis,mongodb,hive
MySQL 数据类型在 MySQL 中,有三种主要的类型:Text(文本)、Number(数字)和 Date/Time(日期/时间)类型。Text 类型:数据类型 描述 CHAR(size) 保存固定长度的字符串(可包含字母、数字以及特殊字符)。在括号中指定字符串的长度。最多 255 个字符。 VARCHAR(size) 保存可变长度的字符串(可包含字母、数字以及特殊字符)。在括号中指定字符串的最大长度。最多 255 个字符。注释:如果值的长度大于 255,则被转换.原创 2021-03-04 16:15:50 · 13767 阅读 · 2 评论 -
python爬虫到数据库测试
首先,真的是大学没好好学的东西,现在都要补回来!!!(所以大家在大学能学就学点以后肯定能用得着)需要学的知识:1、sql命令(select、insert、create、alter等)2、sql、oracle、mongo区别,底层知识、存储原理等相关知识点3、Linux常用命令4、编程设计这门课,以后要是干测试是可以用的上的...原创 2021-02-23 16:26:27 · 11245 阅读 · 0 评论 -
scrapy常用配置
scrapy常用配置一.基本配置1.项目名称2.爬虫应用路径SPIDER_MODULES = ['Amazon.spiders']NEWSPIDER_MODULE = 'Amazon.spiders'3.客户端User-Agent请求头USER_AGENT = 'Amazon (+http://www.yourdomain.com)'4.是否遵循爬虫协议ROBOTSTXT_OBEY = False5.是否支持cookie,cookiejar进行操作cookieCOO原创 2020-07-24 14:29:26 · 7762 阅读 · 0 评论 -
正则匹配中文、繁体字、不常见中文
汉字扩充(繁体字、不常见字)[\u3400-\u4db5]常规汉字[\u4e00-\u9fa5]原创 2020-07-24 14:26:06 · 10841 阅读 · 0 评论 -
git面试题
1. Git和SVN有什么区别?Git SVN 1. Git是一个分布式的版本控制工具 1. SVN 是集中版本控制工具 2.它属于第3代版本控制工具 2.它属于第2代版本控制工具 3.客户端可以在其本地系统上克隆整个存储库 3.版本历史记录存储在服务器端存储库中 4.即使离线也可以提交 4.只允许在线提交 5.Push/pull 操作更快 ...原创 2019-06-19 17:26:51 · 8513 阅读 · 0 评论 -
mysql主从复制
1、主从形式(灵活)一主一从 主主复制 一主多从---扩展系统读取的性能,因为读是在从库读取的; 多主一从---5.7开始支持 联级复制---2、用途及条件用途:实时灾备,用于故障切换 读写分离,提供查询服务 备份,避免影响业务部署必要条件:主库开启binlog日志(设置log-bin参数) 主从server-id不同 从库服务器能连通主库3、原理从库...原创 2019-06-13 19:43:23 · 2434 阅读 · 0 评论 -
python数据分析之初识numpy
为了numpy模板的方便使用,一般用np作为别名import numpy as np# 创建普通数组arr = np.array([1,2,3,4])arr = np.array([[1,2,3,4],[4,5,6,7],[7,8,9,2]])print("创建的数组是:",arr)print("数组的维度是:",arr.ndim)print("数组的形状为:",arr.shape...原创 2019-06-14 21:34:03 · 2536 阅读 · 0 评论 -
celery是什么?
Celery的定义Celery(芹菜)是一个简单、灵活且可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必需工具。 我比较喜欢的一点是:Celery支持使用任务队列的方式在分布的机器、进程、线程上执行任务调度。然后我接着去理解什么是任务队列。任务队列任务队列是一种在线程或机器间分发任务的机制。消息队列消息队列的输入是工作的一个单元,称为任务,独立的职程(W...原创 2019-06-13 10:45:45 · 4940 阅读 · 2 评论 -
gevent是什么?
Python通过yield提供了对协程的基本支持,但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。gevent是第三方库,通过greenlet实现协程,其基本思想是:当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。由于IO操作非常耗时,经常使程序处于等待状态,有了gevent...原创 2019-06-13 10:32:12 · 7924 阅读 · 0 评论 -
OSI网络七层模型
1.OSI七层模型1.1.简介第一种模型是OSI七层模型,OSI为(Open System interconnect)的缩写,自上而下分别是应用层、表示层、会话层、传输层、网络层、数据链路层、物理层物理层:网卡,网线,集线器,中继器,调制解调器数据链路层:网桥,交换机网络层:路由器1.2物理层首先,物理层并不是物理媒体本身,物理层的媒体包括电缆、光纤等。正因...原创 2019-05-23 13:43:48 · 2636 阅读 · 0 评论 -
简单的数据库数据管理(添加、查看)
注: 提前创建: 表 student create table student(id int primary key auto_increment,age int,gender char(20),address char(50));一、信息提交页面(HTML)form.html --> 提交后跳转 提示添加状况页面jump.py<!D...原创 2019-05-16 20:07:07 · 2297 阅读 · 0 评论 -
贪婪算法
贪心算法(又称贪婪算法)是指,在对问题求解时,总是做出在当前看来是最好的选择。也就是说,不从整体最优上加以考虑,他所做出的是在某种意义上的局部最优解。贪心算法在解决问题的策略上目光短浅,仅仅依据当前已有的信息就做出选择,并且一旦做出了选择,无论将来有什么结果,这个选择都不会改变。换言之,贪心法并非从总体最优考虑,它所做出的选择仅仅是在某种意义上的局部最优。贪心算法对于大部分的优化问题都能产生...原创 2019-06-13 19:26:57 · 3991 阅读 · 0 评论 -
TCP、UDP
TCP(Transmission Control Protocol,传输控制协议)是基于连接的协议,也就是说,在正式收发数据前,必须和对方建立可靠的连接。一个TCP连接必须要经过三次“对话”才能建立起来,其中的过程非常复杂,我们这里只做简单、形象的介绍,你只要做到能够理解这个过程即可。我们来看看这三次对话的简单过程:主机A向主机B发出连接请求数据包:“我想给你发数据,可以吗?”,这是第一次对话;主...原创 2019-05-16 20:05:48 · 2499 阅读 · 0 评论 -
长链接 短链接
在HTTP/1.0中默认使用短连接。也就是说,客户端和服务器每进行一次HTTP操作,就建立一次连接,任务结束就中断连接。当客户端浏览器访问的某个HTML或其他类型的Web页中包含有其他的Web资源(如JavaScript文件、图像文件、CSS文件等),每遇到这样一个Web资源,浏览器就会重新建立一个HTTP会话。而从HTTP/1.1起,默认使用长连接,用以保持连接特性。使用长连接的HTT...原创 2019-05-16 19:54:53 · 2800 阅读 · 0 评论 -
python的GIL全局解释器锁
在说GIL之前先了解一下,并行和并发的区别在进行GIL讲解之前,我们可以先回顾一下并行和并发的区别:并行:多个CPU同时执行多个任务,就好像有两个程序,这两个程序是真的在两个不同的CPU内同时被执行。并发:CPU交替处理多个任务,还是有两个程序,但是只有一个CPU,会交替处理这两个程序,而不是同时执行,只不过因为CPU执行的速度过快,而会使得人们感到是在“同时”执行,执行的先后取决于各个程...原创 2019-05-16 19:51:30 · 2365 阅读 · 0 评论 -
爬虫的基本流程
爬虫的基本流程:1.发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers、data等信息,然后等待服务器响应。这个请求的过程就像我们打开浏览器,在浏览器地址栏输入网址:www.baidu.com,然后点击回车。这个过程其实就相当于浏览器作为一个浏览的客户端,向服务器端发送了 一次请求。2.获取响应内容:如果服务器能正常响应,我们会得...原创 2019-05-12 17:32:05 · 37514 阅读 · 2 评论 -
http和https区别
HTTP:是互联网上应用最为广泛的一种网络协议,是一个客户端和服务器端请求和应答的标准(TCP),用于从WWW服务器传输超文本到本地浏览器的传输协议,它可以使浏览器更加高效,使网络传输减少。 HTTPS:是以安全为目标的HTTP通道,简单讲是HTTP的安全版,即HTTP下加入SSL层,HTTPS的安全基础是SSL,因此加密的详细内容就需要SSL。区别: ...原创 2019-05-16 10:05:40 · 2752 阅读 · 0 评论 -
python的常用标准库
os--操作系统接口os.path.abspath() 返回绝对路径os.path.dirname() 返回目录名称os.chdir() 跳转到指定路径os.getcwd() 返回当前路径sys--python自身的运行环境sys.argv() 获取程序外部向程序传递的参数sys.exit() 退出当前进程time--时间time.time() 返...原创 2019-05-14 22:36:16 · 2921 阅读 · 0 评论 -
scrapy框架
scrapy介绍Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求特点:数据结构化、分布式scrapy安装pip install sc...原创 2019-05-14 08:58:36 · 2965 阅读 · 0 评论 -
get、post请求的区别
首先get和post都是网络请求方式之一。1.url可见性: get,参数url可见 post,url参数不可见2.传输数据的大小: get一般传输数据大小不超过2k-4k post请求传输数据某种意义上讲可以无限大3.数据传输上: get,通过拼接url进行传递参数 post,通过body体传输参数4.后退页面的反应: ...原创 2019-04-25 17:02:03 · 3469 阅读 · 0 评论 -
进程、线程、多进程、多线程
什么是进程:进程即正在进行中(运行中)的程序。在以前,进程是CPU执行的最小单元。什么是线程:我们在计算机上观看电影的时候,画面跟声音同步,其实这是由两个子进程来控制的,一个子进程控制视频播放,另一个子进程负责音频播放,可能还有其他的子进程负责其他的管理控制工作。那么就可以说这些子进程是播放器进程下的线程。如今计算机CPU的最小执行单元是线程。什么是多进程:多进程即为多任务...原创 2019-05-08 10:23:05 · 2952 阅读 · 0 评论 -
pandas模块(二)读取与操作数据
import pandas as pd一、读取数据文本文件pd.read_csv(参数1,sep参数,encoding参数)参数1为文件路径 sep参数为分隔符 encoding参数为编码格式(存取的时候用的编码方式和读取的必须一致)表格文件pd.read_table(参数1,sep参数,encoding参数)ps:必须指定sep参数excel文件(xls,xl...原创 2019-06-19 19:23:26 · 4793 阅读 · 0 评论 -
pandas模块三之数据分析
统计指标"最大值:",df['amounts'].max()"最小值:",df['amounts'].min()"方差:",df['amounts'].var()"标准差:",df['amounts'].std()"极差:",df['amounts'].ptp()"非空总数:",df['amounts'].count()"众数:",df['amounts'].mode() # 返...原创 2019-06-19 19:43:18 · 2825 阅读 · 0 评论 -
pandas模块四之高级操作
分组与聚合分组pf.groupby(by=索引名称)求以某一列分组后某一列的平均值means = detail.groupby(by=索引名称)[行名称].mean()agg方法 同时进行多个统计分析detail[["counts","amounts"]].agg([np.sum,np.mean,np.min])对于不同的数据求不同的统计分析detail.agg({...原创 2019-06-19 20:29:01 · 2681 阅读 · 0 评论 -
HTTPS相关面试题
https优点:1、使用 HTTPS 协议可认证用户和服务器,确保数据发送到正确的客户机和服务器;2、HTTPS 协议是由 SSL+HTTP 协议构建的可进行加密传输、身份认证的网络协议,要比 http 协议安全,可防止数据在传输过程中不被窃取、改变,确保数据的完整性。3、HTTPS 是现行架构下最安全的解决方案,虽然不是绝对安全,但它大幅增加了中间人攻击的成本缺点:1.HTT...原创 2019-06-24 20:56:05 · 6877 阅读 · 2 评论 -
tcp、udp流程
创建tcp服务器流程1.socket 创建一个套接字2.bind 绑定 ip 和 port3.listen 使套接字变为可以被动链接4.accept 等待客户端的链接5.recv/send 接收发送数据创建udp服务器流程1.socket 创建一个套接字2.bind 绑定 ip 和 port3.recvfrom/send to 接收发送数据...原创 2019-06-24 19:19:30 · 3144 阅读 · 0 评论 -
python面试集合
1代码中要修改不可变数据会出现什么问题? 抛出什么异常?代码不会正常运行,抛出 TypeError 异常。2 a=1,b=2,不用中间变量交换 a 和 b 的值方法一:a = a+b b = a-b a = a-b方法二:a = a^b b =b^a a = a^b方法三:a,b = b,a3...原创 2019-06-26 21:46:06 · 2555 阅读 · 0 评论 -
进程、线程、协程的区别
1先有进程,然后进程可以创建线程,线程是依附在进程里面的, 线程里面可以包含多个协程2 进程之间不共享全局变量,线程之间共享全局变量,但是要注意资源竞争的问题3 多进程开发比单进程多线程开发稳定性要强,但是多进程开发比多线程开发资源开销要大4 多线程开发线程之间执行是无序的,协程之间执行按照一定顺序交替执行5 协程以后主要用在网络爬虫和网络请求,开辟一个协程大概需要5k空间,开辟一个线程需...原创 2019-06-23 15:06:42 · 2432 阅读 · 0 评论 -
modelfirst和dbfirst区别?
首先对于EF中先出现的datebase first和model first两种编程方式,其的区别根据字面意思很容易能够理解。datebasefirst就是代表数据库优先,那么前提就是先创建数据库。model first就是代表model优先,那么前提也就是先创建model,然后根据model自动建立数据库。这两EF的编程方式在使用的过程中的区别为:在添加ADO.NET实体数据模...原创 2019-06-23 15:01:15 · 4715 阅读 · 0 评论 -
pandas模块详解(一)
数据分析常用模块之一主要用于数据处理、数据清洗、获取保存文件、统计分析有如下结构:series 一维结构 只有单列的df结构dataframe 二维结构 比ndarray多了行索引和列索引panel 三维结构 面板数据# 将ndarray转换为df结构数据df = pd.DataFrame(values,columns=columns,index=ind...原创 2019-06-18 19:15:03 · 3684 阅读 · 0 评论 -
python爬虫验证码问题
1.输入式验证码这种验证码主要是通过用户输入图片中的字母、数字、汉字等进行验证。解决思路:这种是最简单的一种,只要识别出里面的内容,然后填入到输入框中即可。这种识别技术叫OCR,这里我们推荐使用Python的第三方库,tesserocr。对于没有什么背影影响的验证码如图2,直接通过这个库来识别就可以。但是对于有嘈杂的背景的验证码这种,直接识别识别率会很低,遇到这种我们就得需要先处理一...原创 2019-06-25 20:29:37 · 4214 阅读 · 0 评论 -
HTTP请求中常见的请求方式
GET 向特定的路径资源发出请求,数据暴露在url中 POST 向指定路径资源提交数据进行处理请求(一般用于上传表单或者文件),数据包含在请求体中 OPTIONS 返回服务器针对特定资源所支持的HTTP请求方法,允许客户端查看、测试服务器性能 HEAD ...原创 2019-06-22 10:13:34 · 10857 阅读 · 0 评论 -
ascii、Unicode、utf-8、gbk区别?
ascii:把所有的字母的大小写,各种符号用二进制来表示,1bytes代表一个字符Unicode:为了统一世界各国语言的不同,统一用2个bytes代表一个字符,特点:速度快,但浪费空间utd8:为了改变Unicode的这种缺点,规定一个英文字符用一个字节表示,一个中文字符用三个字节表示,特点:节省空间,速度慢gbk:是中文的字符编码,用2个字节代表一个字符...原创 2019-06-21 19:44:16 · 5137 阅读 · 0 评论