自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

司小幽

知行合一,学而思

  • 博客(127)
  • 资源 (15)
  • 收藏
  • 关注

原创 Python编程进阶——文件处理与os模块

人生苦短,我用Python,编程进阶。

2022-06-26 09:15:47 154

原创 Python编程进阶——函数与模块

人生苦短,我用Python,编程进阶。

2022-06-23 06:22:47 220

原创 Python条件判断与循环语句

人生苦短,我用Python,查漏补缺。

2022-06-21 06:46:39 192

原创 Python可变数据类型

人生苦短,我用Python,查漏补缺。

2022-06-19 18:39:50 1628

原创 Python不可变数据类型

人生苦短,我用Python,查漏补缺。

2022-06-18 22:21:23 584

原创 记录一次PyCharm提交不上Git的问题Debug

当你PyCharm无法提交Git,你会想起谁?

2022-06-18 11:51:43 1127

原创 Selenium3自动化测试实战(5)

Pytest单元测试框架。

2022-06-09 06:00:15 265

原创 Selenium3自动化测试实战(4)

unittest扩展

2022-03-06 15:17:36 1396

原创 Selenium3自动化测试实战(3)

目录1. 调用JavaScript2.处理HTML5视频播放3.滑动选择日期4.窗口截图5.认识单元测试6.断言方法7.判断某年是否为闰年8.测试用例的执行顺序9.跳过测试和预期失败10.Fixture11.执行多个测试文件12.编写Web自动化测试1. 调用JavaScriptfrom selenium import webdriverdriver = webdriver.Chrome()driver.get("http://www.baidu.com")driver.set_window

2022-01-01 19:16:59 986

原创 Selenium3自动化测试实战(2)

目录1.设置元素等待1.1显示等待1.2隐式等待2.定位一组元素3.多窗口切换4.警告框处理5.下拉框处理6.上传文件7.下载文件8.操作Cookie1.设置元素等待1.1显示等待from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support

2021-10-10 08:57:41 354

原创 Selenium3自动化测试实战(1)

目录1、第一个Selenium自动化测试脚本2、WebDriver中的常用方法①点击②提交③获取属性值等3、控制浏览器窗口大小4、悬停5、键盘操作6、获得验证信息Selenium所用版本为3.11.01、第一个Selenium自动化测试脚本from selenium import webdriverdriver = webdriver.Chrome()driver.get("https://www.baidu.com")driver.find_element_by_id("kw").se

2021-08-28 16:31:09 1438

原创 Eclipse搭建RobotFramework环境故障排查

今天尝试通过eclipse+red插件搭建robotframework IDE环境,但搭建后发现关键字为0,如下图所示:起初怀疑是兼容性的问题,所以就查了下官方测试,兼容性通过的要求配置如下:按照上述要求一一排查,翻译成中文也就是需要jdk1.8以上,eclipse版本为oxygen 4.7.0或更新的,python库中robotframework要已经安装博主的环境配置如下:jdk是1.8.0_131满足1.8以上python环境下robotframework已安装eclipse版本

2021-03-23 10:46:29 890

原创 Burpsuite1.7使用指南&渗透测试方法大全

测前准备工作1)谷歌浏览器:设置——>高级——>打开代理设置——>局域网设置——>使用代理服务器——>确定——>确定2)BurpSuite:Intercept is on(开始监听)——>监听到内容——>Ctrl+R(或者右键Send to Repeter)——>Repeater——>进行篡改+测试(不想监听了或者想开始下一次监听,则将Intercept is改成off,监听会影响网页的正常浏览请注意)——>Go1.越

2020-06-05 20:56:10 4246 5

原创 AWVS使用指南

1. 登录AWVS,选择targets2. 点击targets,选择Add Target3. 输入待扫描的路径(待扫描的路径为可登陆的地址)点击右下角的Add Target4.选择Site Login下的**Use pre-recorded login sequence,点击Launch Login Sequence Recorder5. 选择启动应用6. 选择一个用户进行登录7. 登录进系统后,每个功能尽量都点一下,功能点击完成

2020-06-05 20:22:50 4378 1

原创 Nmap使用指南

输入待扫描的主机地址选择扫描方式点击扫描开始扫描注意事项,扫描目的检测存在风险的无关服务和端口使用Nmap扫描端口,对系统内端口情况以及漏洞进行检测,如:111端口Remote Procedure Call,远程过程调用135端口 CVE-2003-0352 Microsoft Windows DCOM RPC接口长主机名远程缓冲区溢出漏洞(MS03-026)139端口 CVE-2003-0533 Windows Local Security Authority Se.

2020-06-05 19:56:31 381

原创 Weblogic防御DDos攻击

1. 登录Weblogic后台,选择环境—>服务器—>AdminServer2. 点击AdminServer,选择协议,将一般信息中的完成消息超时从60s改成15s3. http中的post超时从30s改成15s

2020-06-05 19:44:02 700

原创 关于阿里云上Hive的一次Debug经历

BugShell层面: 日志层面(hive的日志默认在/tmp/{username}/hive.log) webUI层面 Debug对于日志所报的错误,网上统一的解决方案如下: hive 部署需要注意的几点以及Version information not found 错误解决办法 即在hive-site.xml中将hive.metastore.schema.v...

2018-03-18 15:13:15 854

原创 Java-随机范围内分割大文件

需求有一份文件,不大,通常电脑可以一次性读取。文件格式为若干行手机号码。将这个文件以随机范围[37~40]进行分割,也就是说当读取的行数满足随机范围的,则分割生成一个包含该行数小文件,剩余不足37行的,独自生成一个文件。 文件每行的内容,由原来”手机号”,更改为”手机号,text”格式。语言Java实现思路生成[37~40]的随机数 通过commons.io进行读取原文件 通过StringBu

2017-08-12 10:53:46 548

原创 通过Hive及其Udf函数进行Nginx日志分析

需求nginx日志格式: '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; (暂且不将remoteaddr与remote_addr与remote_u

2017-08-10 13:09:23 701

原创 SQL分别查询表奇偶行(无行号,表结构不修改)

需求有一张表,表内容如下所示:注意点: ①如上所示,表中没有标识关于行号的字段,比如id神马的 ②不准修改表结构,比如使用alter语句思路查了一些资料,发现具体的思路大概是,自行生成自增的行号列,然后根据模2的结果进行奇偶的筛选。顺着这个思路下去,会发现oracle中的具体思路是直接使用其提供的row_number函数,而mysql中思路其实差不多,只不过是曲线救国,因为mysql并没有提供r

2017-06-24 11:21:31 4329

原创 大数据工程师(开发)面试系列(7)

MapReduce1. 不指定语言,写一个WordCount的MapReduce我:最近刚学了scala,并且就有scala版本的WordCount,刚好学以致用了一下: 补:至于java版本,虾皮博主的一篇文章讲解的非常细致: Hadoop集群(第6期)_WordCount运行详解2. 上述写的程序中.map((_,1))的输出结果是什么我:通过flatMap将其扁平化,而.map((_,1)

2017-03-19 22:08:17 11203 4

原创 大数据工程师(开发)面试系列(6)

由于其中一次谈到的内容比较少,所以本文是两次合并成一篇写的。1. Kylin如何优化我:①经常需要group By查询的维度顺序在先;②基数近1:1的字段选择joint维度;③lookup表尽量避免基数大,更多的可以查看博客 补:《Apache Kylin cube优化指南》2. Hive没有long类型你是怎么处理的?我:之前的项目,做的是Hive关联HBase外表,对于细节上的,比如类型转换

2017-03-19 19:51:09 1607

原创 大数据工程师(开发)面试系列(5)

1. Java的第三方模块你用过哪些?我:也没有刻意去记,所以也没说出来。 补:技术干货:十个非常有用的第三方Java开源库 细数一下,上述所列十个里,大致用过1/2。2. Python的第三方模块你用过哪些?我:爬虫所用urllib,urllib2 补:模块和包.那些让你相见恨晚的PYTHON第三方好用的模块儿和包?3. 你用你的程序调度Kylin以及承接数据失败怎么办?我:在调度之前有落

2017-03-19 17:26:06 1591

原创 大数据工程师(开发)面试系列(4)

1.谈一谈你之前是如何围绕Kylin框架进行工作的?我:其实在我的理解中,Kylin它首先是一个OLAP分析引擎,它是如此的轻量、因非侵入式又是如此的友好,所以更愿意将之前的工作定义为是拿Kylin这个神器去为现有的框架添加OLAP的功能,而不是去围着它转。 Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最

2017-03-19 16:02:17 2811

原创 大数据工程师(开发)面试系列(3)

1. 你觉得大数据处理技术分为几类?我:大致分为3类,Hadoop为代表的批处理;Impala,Hbase为代表的基于历史数据的交互式处理;Storm,Spark,Flink为代表的流式处理。2. Linux系统命令你熟悉的有哪些?我:cat,tree….etc3. 说说你眼里的数据开发究竟是一种什么样的岗位?我:当时刚好看完ETL和Storm系列的视频,所以就学习的这两系列视频对数据开发这个职能的

2017-03-19 14:49:10 2015

原创 大数据工程师(ETL)面试系列(1)

1. 你觉得Spark和Hadoop的区别是什么,请简要说一说?我:Hadoop适合离线分析,是批处理;Spark适合实时分析,是近实时流,微批处理。2. 你觉得Python和Java在使用起来,有什么区别?我:其实自己在平时使用的时候,并没有过度割裂开这两种,因为毕竟自己是结果导向所以无论Python的缩进格式还是Java的要加逗号,最后可以实现我的需求就可以了。 补:如今,再来审视这个问题,会

2017-03-19 14:19:12 25127 1

原创 《GitLab批量修改项目成员权限以及生成报表逻辑实现》

1.需求生产中一个小伙伴需要将GitLab上所有的项目中的master权限只保留给Administra用户,其余具备master权限的用户降权为developer权限,并且被降权的用户名输出为报表,未降权前的项目下的所有成员,以“项目名用户名 权限”的格式输出为报表。2.设计思路主要参考了三份文档:①使用gitlab API②GitLab Documentation

2016-12-08 13:46:57 5062

原创 《大数据(架构师)面试系列(5)》

1.数组与链表的区别是什么?线性表--数组和链表的区别链表和数组的区别在哪里?2.Scala函数式编程的特点?注意是Scalca函数编程这个特性的特点,类似特点的特点,而不是Scala的特点。查找资料如下:Scala同时又是函数式编程语言,函数可以独立存在,可以定义一个函数作为另一个函数的返回值,也可以接受函数作为函数的参数。这给组合函数带来了很大的便利。如何把

2016-11-16 20:01:45 5078

原创 《大数据工程师(运维)面试系列(4)》

1.MapReduce解决缺值问题?一张非常宽,且数据量大的表,被分割成若干个hdfs上的小文件,其中有一个字段,是自增的(但分布的文件中的这个字段值是乱序的),举个栗子,比如:1,2,3。现在并不知道究竟是哪几个值缺失,请你用MapReduce的方式将那些缺失的值找到?其实这是MapReduce的典型应用场景之一——缺值查找。整体的一个思路是,先将这些乱序的值排好序,然后

2016-11-16 19:36:24 9739

原创 《大数据工程师(存储)面试系列(3)》

1.固态硬盘为什么会比机械硬盘快?固态硬盘为什么会比机械硬盘快2.闪存(flash)的实现原理?flash百度百科3.Python在爬取网页的时候用到的库?将网页中的,全部替换为.如何实现?网页中的图片如何爬取?①urllib②re.sub:③右键查看源码,找到图片的相应匹配规则(当时想的深了,想着图片的编码怎么在爬取的时

2016-11-16 18:33:03 1809

原创 《大数据工程师(开发)面试系列(2)》

1.HBase和Hive都是基于Hadoop,为什么Hive查询起来非常慢,但HBase不是?Hive是类SQL引擎,其查询都需要遍历整张表,跑MapReduce自然很慢,但HBase是一种NoSQL的列式数据库,基于Key/Value的存储格式,不需要像Hive一样遍历,自然在速度上,乃至写的性能上是相当之快的。相关参考文献:HIVE和HBASE区别2.通

2016-11-14 10:31:09 2239

原创 《大数据工程师(开发)面试系列(1)》

1.LVS和HAProxy相比,它的缺点是什么?之前,的确是用LVS进行过MySQL集群的负载均衡,对HAProxy也有过了解,但是将这两者放在眼前进行比较,还真没试着了解过。面试中出现了这么一题,面试官给予的答案是LVS的配置相当繁琐,后来查找了相关资料,对这两种负载均衡方案有了更进一步的了解。LVS的负载均衡性能之强悍已经达到硬件负载均衡的F5的百分之60了,而HAproxy的负载均衡和N

2016-11-13 15:12:07 4806 1

原创 《克隆VM主机出现无法上网的问题解决》

1、生产环境VMWare:12.1.1Centos:6.6 64位2、需求由于经常有搭建环境,进行实验的需要,且重新部署主机耗时过长,所以VM的克隆主机功能就成为了不二的选择。3、问题描述克隆完后主机,会出现无法上网的情况4、解决方案①首先通过ifconfig命令查看克隆后的主机是运行在什么网卡上的,这里显示的是eth1网卡。

2016-08-20 20:19:47 2046

原创 《Shell之locate与find性能命令比较》

1、命令介绍locate:Linux locate命令用于查找符合条件的文档,他会去保存文档和目录名称的数据库内,查找合乎范本样式条件的文档或目录。一般情况我们只需要输入 locate your_file_name 即可查找指定文件。find:find命令是linux系统查找文件的命令,最大的作用是帮助用户在使用linux 系统时候能快速的找出自己所需要的文件 2、实战演练

2016-08-20 18:53:03 2911

原创 《Sqoop将Oracle数据导入至Hive中界面无错却依旧没有数据导入》

一、生产环境Oracle:11g R2版本Sqoop:1.4.6版本Hive:1.1.1版本(利用MySQL作为MetaStore)Hadoop:2.6.3版本(其中Sqoop、Hive、Hadoop均是搭建在Centos6.6 64位上的)远程登录软件:Xshell 5二、需求需要将Oracle中的多张表通过Sqoop导入至Hive中,Oracle在远程服

2016-08-16 21:49:59 6320

翻译 《Apache Kylin Web界面汉化》

注意:本教程以对approvalhistory(t表)和t_processapply(t2表)innerjoin为例,描述利用kylin进行OLAP的过程。 1.登录页面①登录:http://168.168.207.3:7070/kylin(其中168.168.207.3为你所安装kylin主机的ip地址,7070为端口号,在浏览器上输入如上地址即可正确跳转到登录地:http://16

2016-08-15 06:13:21 7931 2

原创 《基于Linux在OpenLdap上添加用户和组》

生产场景:之前一段时间和师傅一起搞Openldap时候,发现如果有新员工入职了,人工手动添加相应的Ldap号非常浪费时间,所以就琢磨着看能不能写个脚本优化下这种操作?需求:通过运行脚本,给定相应参数,将新来的员工添加至公司的OpenLdap。解决方案:基于Linux在OpenLdap上添加用户和组

2016-08-07 10:46:44 3650

原创 《Linux正则表达式知识介绍》

(1)Linux基础正则表达式实战讲解显示youone.txt中的内容:a.-o精确匹配:b.过滤出以m结尾的行:c.过滤出以m开头的行:d.利用grep过滤出连续3个或3个以上0的行:e.利用grep过滤出连续3到5个0的行:f.匹配非mdy的内容:g.匹配开头为you结尾为e

2016-03-03 14:54:56 494

原创 《Linux系统链接知识的总结及实践》

(1)Linux系统链接的概念及介绍①硬链接:ln -源文件 目的文件    软链接:ln -s 源文件 目的文件(2)Linux系统属性硬链接介绍及文件删除原理①具有相同inode节点号的多个文件是互为硬链接文件的;②删除硬链接文件或者删除源文件任意之一,文件实体并没有删除;③两者都删除才会真正删除;④当所有的硬链接文件及源文件被删除后,再存放新的数据

2016-03-03 13:15:30 673

原创 《Linux系统文件属性类型介绍及普通文件类型说明》

Linux系统文件属性类型介绍及普通文件类型说明                                 b块设备link符号链接或软链接文件.tar/.tar.gz/.tgz/.zip/.tar.bz表示压缩文件.shshell脚本文件,通过shell语言开发的程序.pl表示perl语言文件,通过perl

2016-03-03 13:04:45 531

【Plugin-IDE-Eclipse】RED-Feature-0.8.11.201901311338.zip

支持eclipse oxygen4.7.0及更新版本的robot framework IDE插件

2021-03-23

【Practical Tool】JsonView.rar

一个json格式化查看工具。

2021-02-26

【Operate System-Linux】Tmux-1.8.tar.gz

Tmux 是一个与 GNU Screen 类似的程序,可作为后者的替代品使用。Tmux 采用 BSD 许可授权。

2017-01-07

【DT-BigData】Zookeeper-3.4.5.gz

Zookeeper-3.4.5.gz

2016-08-20

【DT-BigData】Sqoop-1.4.6.gz

Sqoop-1.4.6.gz

2016-08-20

【DT-BigData】Spark-1.6.0.tgz

Spark-1.6.0.tgz

2016-08-20

【Programming Language】Scala-2.9.3

Scala-2.9.3.tgz

2016-08-20

【MQ-DT-BigData】Kafka-2.11-0.10.0.0

Kafka_2.11-0.10.0.0下载

2016-08-20

【JDBC-DT-DB-SQL】mysql-connector-java-5.1.7

MySQL-5.1.7连接Java的JDBC驱动。

2016-08-20

【Practical Tool】FileGeeCNP.exe(10.4.5)

FileGee免费版 适用于个人用户(免费使用)。 支持本机存储器和多种网盘,间隔实时定时多种自动方式; 最多同时创建8个任务,手机等移动设备的同步备份; 多种文件备份与同步模式,备份文件的同时可对文件加密。

2021-03-03

【JDBC-DT-DB-SQL-MySQL】MySQL-Connector-Java-5.1.39.tar

MySQL-Connector-Java-5.1.39.tar

2016-08-20

【OJDBC-DT-BigData-SQL】Sqoop连接Oracle必备ojdbc6

Sqoop连接Oracle必备ojdbc6

2016-08-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除