- 博客(120)
- 收藏
- 关注
RSS订阅原创 Golang database/sql包的学习笔记
概述sql.DB不是一个连接，它是数据库的抽象接口。它可以根据driver打开关闭数据库连接，管理连接池。正在使用的连接被标记为繁忙，用完后回到连接池等待下次使用。所以，如果你没有把连接释放回连接池，会导致过多连接使系统资源耗尽。使用DB导入driver这里使用的是MySQL driversimport ( "database/sql" _ "github.c...
2019-12-02 23:09:59
434
原创 openstack高可用
openstack ha基础知识高可用 （High Availability，简称 HA） 高可用性是指提供在本地系统单个组件故障情况下，能继续访问应用的能力，无论这个故障是业务流程、物理设施、IT软/硬件的故障。最好的可用性， 就是你的一台机器宕机了，但是使用你的服务的用户完全感觉不到。你的机器宕机了，在该机器上运行的服务肯定得做故障切换（failover），切换有两个维度的成本：...
2019-12-02 22:30:41
1443
1
转载 [转]kerberos认证原理
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候，讲了半天也别把那位老兄讲明白，还差点把自己给绕进去。后来想想原因有以下两点：对于一个没有完全不了解Kerberos的人来说，Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密，确实很容易把人给弄晕；另一方面是我讲解方式有问题...
2019-08-14 10:47:18
257
转载 [转]selenium使用报错“selenium.common.exceptions.WebDriverException: Message: 'geckodriver' executable nee
安装了python3，使用pip安装了selenium，但是在使用时，报了“selenium.common.exceptions.WebDriverException: Message: 'geckodriver' executable needs to be in PATH.”网上查了一下解决办法，此处做下记录：原因：使用pip安装selenium，默认安装的是最新版本的selenium...
2019-08-05 07:57:08
933
转载 MacBook 如何在合上盖子后还能继续用外接键盘和显示器工作？
作者：AppSo链接：https://www.zhihu.com/question/20484274/answer/404106876来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。部分外接显示屏会在 MacBook 合上之后也跟着休眠，根据苹果官方文档显示，如果想要显示屏继续保持工作，则必须要给电脑插上电源。这个要求有时候会给我们带...
2019-08-05 07:46:08
17882
转载 [转]怎样从0开始搭建一个测试框架_0——总章
怎样从0开始搭建一个测试框架_0在开始之前，请让我先声明几点：这个“从0开始”并不是说你不需要任何基础知识，而是指框架从无到有的过程，要开始搭建还是需要一定基础 请确保你已经掌握了基本的Python语法 如果你要搭建UI框架，请确保你已经掌握了Selenium的基本用法 这个框架主要面向刚刚会写脚本但是不知道该如何走向下一步的同学，欢迎吐槽，但最好带上改进建议...
2019-08-05 07:43:35
131
转载 [转]单元测试框架unittest之subTest()
一、摘要假设我们有一组测试方法差别非常小，比如仅仅是所需要的参数有少许变化时，我们的自动化测试如何进行？unittest框架为这种场景提供了一种方式，它允许我们用subTest()上下文管理器在一个测试方法内识别这种细小的不同，这么说可能有点晕实际上我觉得还不如直接看代码更能清晰的表达它为我们的测试带来了什么二、代码实例# coding:utf-8...
2019-08-05 07:43:02
1754
2
转载 [转]Python必会的单元测试框架 —— unittest
用Python搭建自动化测试框架，我们需要组织用例以及测试执行，这里博主推荐Python的标准库——unittest。unittest是xUnit系列框架中的一员，如果你了解xUnit的其他成员，那你用unittest来应该是很轻松的，它们的工作方式都差不多。unittest核心工作原理unittest中最核心的四个概念是：test case, test s...
2019-08-04 22:55:25
113
1
转载 python单元测试unittest
如果你听说过“测试驱动开发”（TDD：Test-Driven Development），单元测试就不陌生。单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作。比如对函数abs()，我们可以编写出以下几个测试用例： 输入正数，比如1、1.2、0.99，期待返回值与输入相同； 输入负数，比如-1、-1.2、-0.99，期待返回值与输入相反； 输入0...
2019-08-04 21:40:01
104
转载 [转]Python中sys.argv的用法
sys.argv是获取运行python文件的时候命令行参数下面的代码文件是a.py，当我不用IDE工具，只用命令行窗口运行的时候，进入文件所在目录，输入：python a.py 输出结果如下import sysa=sys.argvb=len(sys.argv)print(a)print(b)输出：['a.py']1还是上面的代码，当我运行...
2019-08-04 20:02:22
276
原创 如何高效的使用mac
一、Automator这两天用电脑时，忽然发现Mac有个很有趣的东西：Automator，有些类似Alfred，运用得当，能迅速提升效率。Automator是苹果公司为Mac OS X系统开发的一款软件。只要通过点击拖拽鼠标等操作就可以将一系列动作组合成一个工作流，从而帮助你自动的（可重复的）完成一些复杂的工作。—— 网络其实Automator就是将一些繁琐／重复操作变成指令，类似...
2019-08-04 19:11:54
249
转载 PyCharm使用技巧：Find Usages（查找引用）
PyCharm的Find Usages功能可以查找某个对象（变量、函数、或者类等）被引用的地方。使用：在要查找的对象上右键-》Find Usages-》界面下方会列出查找结果。快捷键：Alt + F7在文件test.py中，把鼠标放到foo上面再右键点击Find Usages。查找结果如下图所示，可以看出foo()函数被引用了3次，其中test2.py引用了2次，t...
2019-08-03 16:48:28
4063
转载 [转]Linux 下 pushd，popd，cd
让切换目录更方便: pushd,popd,dirs,cd -一，为何要使用这几个命令?可能大家会有疑问，为何要使用这几个命令，难道用cd不就可以切换目录了吗？没错，使用cd就可以切换到需要访问的目录，但是有时会是一个路径很长，层次很多的目录，进到此目录下后，这时我们不小心运行了 cd命令，理所当然，我们回到了自己的home目录，这时如果想回...
2019-08-01 14:56:09
133
原创 hadoop fs -stat语句选项解释
%b Size of file in bytes%F Will return "file", "directory", or "symlink" depending on the type of inode%g Group name%n Filename%o HDFS Block size in bytes ( 128MB by default )%r Replication fact...
2019-08-01 11:36:33
506
转载 [转]python 获取当前函数的 函数名 sys._getframe().f_code.co_name
# -*- coding:utf-8 -*-import sysclass test_class(): def hello(self): print(sys._getframe().f_code.co_name)def hello_world(): print('hello_world!') print(sys._getframe()....
2019-08-01 11:36:24
3444
转载 Spring Boot中默认日志logback配置解析
转载自：https://juejin.im/entry/5c7903fe6fb9a049a71285be前言今天来介绍下Spring Boot如何配置日志logback,我刚学习的时候，是带着下面几个问题来查资料的，你呢如何引入日志？ 日志输出格式以及输出方式如何配置？ 代码中如何使用？正文Spring Boot在所有内部日志中使用Commons Logging，但是默认配置...
2019-08-01 11:35:05
264
转载 [转]Lombok介绍、使用方法和总结
转载自：https://www.cnblogs.com/heyonggang/p/8638374.html同步首发：[http://www.yuanrengu.com/index.php/20180324.html](http://www.yuanrengu.com/index.php/20180324.html)=======================================...
2019-08-01 10:34:19
104
转载 [转]Linux 用户和用户组管理
Linux 用户和用户组管理Linux系统是一个多用户多任务的分时操作系统，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统。用户的账号一方面可以帮助系统管理员对使用系统的用户进行跟踪，并控制他们对系统资源的访问；另一方面也可以帮助用户组织文件，并为用户提供安全性保护。每个用户账号都拥有一个唯一的用户名和各自的口令。用户在登录时键入正确...
2019-07-31 15:17:06
82
转载 [转]python数据类型转换（str跟int的转换）
因为python跟java在数据类型转换方面语法不同，所以总是搞混，特此记录下来，方便查阅：在python中：字符串str转换成int: int_value = int(str_value)int转换成字符串str: str_value = str(int_value)int -> unicode: unicode(int_value)unicode -> int:...
2019-07-31 15:16:38
4499
原创 Python中的全局变量与局部变量的区别
全局变量与局部变量两者的本质区别就是在于作用域用通俗的话来理解的话，全局变量是在整个py文件中声明，全局范围内都可以访问局部变量是在某个函数中声明的，只能在该函数中调用它，如果试图在超出范围的地方调用，程序就爆掉了如果在函数内部定义与某个全局变量一样名称的局部变量，就可能会导致意外的效果，可能不是你期望的。因此不建议这样使用，这样会使得程序很不健全直接来看几个例子来理解全局变量和局部变量...
2019-07-31 15:16:12
4696
转载 [转]Increasing the handler count can improve the performance of NameNode significantly
In this test, use NNThroughputBenchmark to create directories, the dirs parameter is always 10000, and dirsPerDir is 128. Cpu cores is 8.set handler count to 2 <property> <...
2019-07-31 15:15:53
132
原创 NNbench - NameNode benchmark
In Hadoop clusters, the NameNode keeps the directory tree of all files in HDFS and locations of the files across the multiple DataNodes and the NNBench runs a test for the NameNode with some load. The...
2019-07-31 15:15:15
783
原创 git放弃修改&放弃增加文件
1. 本地修改了一堆文件(并没有使用git add到暂存区)，想放弃修改。单个文件/文件夹：$ git checkout -- filename所有文件/文件夹：$ git checkout .2. 本地新增了一堆文件(并没有git add到暂存区)，想放弃修改。单个文件/文件夹：$ rm filename / rm...
2019-07-31 15:15:09
136
原创 Python Assert
Python中的断言用起来非常简单，你可以在assert后面跟上任意判断条件，如果断言失败则会抛出异常。 >>> assert 1 + 1 == 2 >>> assert isinstance('Hello', str) >>> assert isinstance('Hello', int) Trace...
2019-07-31 15:15:00
105
原创 tar命令
通过SSH访问服务器，难免会要用到压缩，解压缩，打包，解包等，这时候tar命令就是是必不可少的一个功能强大的工具。linux中最流行的tar是麻雀虽小，五脏俱全，功能强大。tar命令可以为linux的文件和目录创建档案。利用tar，可以为某一特定文件创建档案（备份文件），也可以在档案中改变文件，或者向档案中加入新的文件。tar最初被用来在磁带上创建档案，现在，用户可以在任何设备上创建档案。利用...
2019-07-31 15:14:46
222
转载 [转]java上传文件到HDFS
java上传本地文件到HDFS。1、pom依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0-cdh5.5.1</ve...
2019-07-31 15:09:34
916
转载 Python nose单元测试框架的安装与使用
本文介绍了Python nose单元测试框架的安装与使用 ，分享给大家，具体如下：安装（Python2下安装）pip install nose原理与命名规则Nose会自动查找源文件、目录或者包中的测试用例，符合正则表达式(?:^|[\b_\.%s-])[Tt]est，以及TestCase的子类都会被识别并执行。例如：我们可以将python脚本文件名以“_test”结尾或包含“_...
2019-07-31 15:08:36
631
转载 [转]如何给老婆解释什么是RPC
转载自：https://zhuanlan.zhihu.com/p/36427583一个阳光明媚的早晨，老婆又在翻看我订阅的技术杂志。“老公，什么是RPC呀，为什么你们程序员那么多黑话！”，老婆还是一如既往的好奇。“RPC，就是Remote Procedure Call的简称呀，翻译成中文就是远程过程调用嘛”，我一边看着书，一边漫不经心的回答着。“啥？你在说啥？谁不知道翻译成中文是什么意...
2019-07-29 17:32:23
99
转载 Hadoop YARN中内存和CPU资源的调度和隔离
转载自董的博客Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。Re...
2019-07-29 17:32:17
225
转载 Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster.
在往hbase表里通过bulkload导数据时，某个mapreduce跑了一个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时reduce在copy阶段把资源全用光，导致map没资源去跑，进而导致reduce一直在copy状态等待。也就是说map需要资源去跑，reduce需要等map全部跑完才能进行下一个阶段，...
2019-07-29 17:32:12
1405
转载 diff 命令
diff命令是linux上非常重要的工具，用于比较文件的内容，特别是比较两个版本不同的文件以找到改动的地方。diff在命令行中打印每一个行的改动。最新版本的diff还支持二进制文件。diff程序的输出被称为补丁(patch)，因为Linux系统中还有一个patch程序，可以根据diff的输出将a.c的文件内容更新为b.c。diff是svn、cvs、git等版本控制工具不可或缺的一部分。1...
2019-07-29 17:32:06
229
1
原创 在root用户下执行脚本利用hdfs用户执行命令
【导读】 hadoop要给不同的用户赋予不同权限，保障hdfs的数据安全。 【正文】 1. 增加用户 useradd -g <用户组> <用户> usermod -g <用户组> <用户> 2. 修改目录的拥有者 sudo -u hdf...
2019-07-29 17:32:01
1404
原创 Linux yum命令
yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。yum的命令...
2019-07-29 17:31:55
201
转载 [转]Hadoop 历史服务器与日志详解
本文部分资料转自 Hadoop日志存放路径详解本文部分资料转自 Hadoop历史服务器详解本文部分资料转自 董的博客：Hadoop 2.0中作业日志收集原理以及配置方法一 Hadoop 日志存放路径详解 1 Hadoop系统服务输出的日志 2 配置 Hadoop 系统服务日志 二 历史服务器 JobHistory Server 1 历史服务器配置 2 ...
2019-07-29 17:31:47
131
原创 Linux 用户和用户组管理
Linux用户和用户组管理Linux系统是一个多用户多任务的分时操作系统，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统。用户的账号一方面可以帮助系统管理员对使用系统的用户进行跟踪，并控制他们对系统资源的访问；另一方面也可以帮助用户组织文件，并为用户提供安全性保护。每个用户账号都拥有一个惟一的用户名和各自的口令。用户在登录时键入正确...
2019-07-29 17:31:18
226
转载 maven运行单元测试
转载自：https://www.yiibai.com/maven/run-unit-test-with-maven.html要通过Maven运行单元测试，发出此命令：mvn test这会在你的项目中运行整个单元测试。案例学习创建两个单元测试，并通过 Maven 的运行它。参见一个简单的 Java测试类：package com.yiibai.core;public ...
2019-07-29 17:30:11
2979
原创 一些关注的优质博客（不断更新）
https://adoyle.me/blog/the-summary-of-2017.htmlhttps://www.cnblogs.com/sparkdev/tag/Linux/https://dirtysalt.github.io/html/hadoop-benchmark.htmlhttp://dongxicheng.org/https://facebook.design/http...
2019-07-27 21:21:14
225
转载 Hadoop Benchmark
https://dirtysalt.github.io/html/hadoop-benchmark.htmlhttp://blog.unit1127.com/blog/2013/08/28/benchmarks/#nnthroughput
2019-07-27 20:00:57
262
转载 [转]Python 读取键盘输入 区别input()与raw_input()
Python提供了两个内置函数从标准输入读入一行文本，默认的标准输入是键盘。如下：raw_input input raw_input函数raw_input([prompt]) 函数从标准输入读取一个行，并返回一个字符串（去掉结尾的换行符）：#!/usr/bin/python# -*- coding: UTF-8 -*- str = raw_input("请输入：");...
2019-07-27 11:46:18
159
转载 [转]使用java的java 命令，直接调用执行class文件
1.最基本用法类名为 HelloWorld.javajava HelloWorld(注意，不需要 java HelloWorld.class)2.当有包时类名为 com.sxz.HelloWorld.java结构为 myClass └com └sxz └Hell...
2019-07-27 11:42:44
439
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人