2020年10月_data-life

转载 SQOOP安装及使用-实验

SQOOP安装及使用-实验 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中　(3)导入导出的事务是以Mapper任务为单位。1、sqoop的安装步骤 1.1、执行命令：tar -zxvf sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz解压 1.2、执行命令：...

2020-10-23 14:37:52 238

转载大数据处理分为哪些步骤

具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。大数据来源广泛，应用需求和数据类型都不尽相同，不过最基本的处理流程是一样的。　　大数据处理的基本流程　　一般来说，大数据处理的基本流程可以分为数据抽取与集成、数据分析和数据解释这三个步骤。　　一、数据抽取与集成　　大数据来源广泛、种类多样、数据类型极其复杂，就像是想要从海水当中萃取盐分一样，想要从这样庞大杂乱的数据中提取价值，那首先就要对数据进行抽

2020-10-23 14:30:20 4938 1

转载 Linux IO Scheduler（Linux IO 调度器）

每个块设备或者块设备的分区，都对应有自身的请求队列(request_queue),而每个请求队列都可以选择一个I/O调度器来协调所递交的request。I/O调度器的基本目的是将请求按照它们对应在块设备上的扇区号进行排列，以减少磁头的移动，提高效率。每个设备的请求队列里的请求将按顺序被响应。实际上，除了这个队列，每个调度器自身都维护有不同数量的队列，用来对递交上来的request进行处理，而排在队列最前面的request将适时被移动到请求队列中等待响应。 IO调度器在内核栈中所处位置如下：...

2020-10-23 14:29:23 681

转载 make&& make install的意思

/configure配置环境make是编译的意思。就是把源码包编译成二进制可执行文件make install 就是安装的意思。make&& make install的意思是：make与makeinstall是两个命令，在你./configuration生成了Makefile之后执行编译安装；与&&一起的还有||，不过意思不一样，&&是与，||是或；make && makeinstall的意思就是执行make如果没有发生错误就执行m

2020-10-22 16:31:47 14134 2

原创 Linux中使用cp命令报cp:omitting directory错误

在Linux系统中使用cp命令对文件夹或者目录进行复制操作时，有时候会出现cp:omitting directiory的错误提示。这是怎么回事呢，下面简单来解释一下，并给出解决方法。在cp命令后，加一个选项 -r .这样就可以成功的解决了。解释一下： -r 这个options 是递归的意思。...

2020-10-22 15:15:42 929

转载 NRPE出现“CHECK_NRPE: Error - Could not complete SSL handshake.”错误

解决方案一在监控端使用NRPE检测存活状态时提示“CHECK_NRPE:Error-CouldnotcompleteSSLhandshake.” /usr/local/nagios/libexec/check_nrpe -H 被监控端IP 打开被监控端nrpe配置文件 #vim /usr/local/nagios/etc/nrpe.cfg 在allowed_hosts中添加监控端IP地址重启xinetd进程 /etc/ini...

2020-10-22 12:52:45 1189

转载 Vi操作--跳到最后一行和跳到最后一行的最后一个字符

vi操作1.跳到文本的最后一行：按“G”,即“shift+g”2.跳到最后一行的最后一个字符：先重复1的操作即按“G”，之后按“$”键，即“shift+4”。3.跳到第一行的第一个字符：先按两次“g”，4.跳转到当前行的第一个字符：在当前行按“0”。5.vi加密。进入vi，输入":" + "X" 之后就提示你输入两次密码。之后:wq 保存退出。再次进入时就提示你输入密码了。如果你不想要密码了，就:X 提示你输入密码时连续按两次回车，就搞定了。哈哈。...

2020-10-22 11:48:17 1874

转载 FTP常见命令详解

在window下按window + r可打开DOS命令窗口，然后就可以输入FTP命令了。1. 登录FTP服务器方法一：直接输入ftp加ip地址ftp 192.168.10.xxx方法二：直接输入ftp，进入ftp服务后输入open加ip地址open 192.168.10.xxx当连接成功后会让你进行身份验证，在输入密码时屏幕上没有任何显示，不用管，直接输完密码敲回车键即可。2. 查看FTP服务器上的文件（一般情况下用户都会被限制目录的访问权限，只可在当前目录下进行操作）dir：显示服务器目

2020-10-22 10:45:39 857

转载 Centos7下的文件压缩

[root@web01 ~]# yum provides zip已加载插件：fastestmirrorLoading mirror speeds from cached hostfile * base: mirrors.aliyun.com * epel: hkg.mirror.rackspace.com * extras: mirrors.aliyun.com * updates: mirrors.aliyun.comzip-3.0-11.el7.x86_64 : A file com...

2020-10-21 15:22:48 331

转载 centos里的压缩解压命令tar总结

centos里的压缩解压命令tar总结压缩tar czvf 压缩文件名称.tar.gz文件或者目录名称比如：tar czvf backup.tar.gz/etc，把/etc目录打包成文件backup.tar.gzc是打包z是gzip格式压缩v是显示打包过程f是显示打包名字如果是tar cjvf，那么j的意思是用bzip2的格式进行压缩解压tar xzvf 压缩文件名称.tar.gz 文件或者目录名称x是解压如果文件后缀是.tar 用tar xvf来解压..

2020-10-21 15:12:39 6104

转载 python 时间控制的几种方式

https://blog.csdn.net/qq_36867011/article/details/86533326第一种：#=================================================================#先等待10分钟后再执行，每1小时后执行一次##=================================================================import threadingdef printHell.

2020-10-09 07:34:33 481

转载几种Python执行时间的计算方法

转自：https://blog.csdn.net/wangshuang1631/article/details/54286551感谢：wangshuang1631首先说一下我遇到的坑，生产上遇到的问题，我调度Python脚本执行并监控这个进程，python脚本运行时间远远大于python脚本中自己统计的程序执行时间。监控python脚本执行的时间是36个小时，而python脚本中统计自己执行的时间是4个小时左右。问题暴漏之后首先想到的是linux出了问题，查找各种日志未发现有何异常。然后.

2020-10-09 07:31:38 4479 1

原创 selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from rend

最近跑自动化测试时遇到的问题，先放到这，后续再深入研究"C:\Program Files\python\python.exe" F:/python/Login—.pyTraceback (most recent call last): File "F:/python/Login—.py", line 28, in <module> driver.get(url_1) File "C:\Program Files\python\lib\site-packages\seleni...

2020-10-09 07:22:58 5926 10

ainivip的专栏