- 博客(20)
- 收藏
- 关注
RSS订阅原创 kali2019.4安装Docker塘坑
自测kali安装docker不能用阿里云的镜像方法，在写入软件信息时会报如下错，无法实现按照Ubuntu系统安装Docker的步骤继续进行。写入软件源信息root@master:~# add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_rele...
2020-01-03 16:35:16
933
原创 Selenium访问网页三种等待方法-强隐显
三种等待方法:强制等待,隐式灯带,显式等待代码如下:# coding:utf-8import timeimport osfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.support.wait import We...
2019-05-17 10:22:21
4921
原创 Selenium获取网页数据
# coding:utf-8from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport timeimport osdef get_url_html(url): # 获取执行驱动路径, 驱动放在项目根目录下, 驱动下载地址:https://chromedr...
2019-05-16 14:54:50
7979
原创 Hive数据库操作
-- 创建数据库, 数据库名称不分大小写CREATE DATABASE IF NOT EXISTS mydb;-- 创建数据库,添加描述信息CREATE DATABASE IF NOT EXISTS mydb COMMENT "MY DATABASE";-- 创建数据库,指定路径,修改默认位置CREATE DATABASE IF NOT EXISTS mydb COMMENT...
2019-05-15 15:08:59
4545
原创 初学Scala,单词计数小案例
Spark分布式大数据处理引擎"前哨兵"Scala,很有打Linux命令行的感觉,对运维来说很舒服. 测试数据很简单,就一句英文(In the face of the Committee's threatened contempt vote), path修改成自己文件所在的路径,即可进行测试程序.package com.scala.practiceimport scala.io....
2019-05-09 14:21:08
4363
原创 Docker部署Redis
获取镜像 准备配置文件 编写容器运行脚本 测试运行状态获取镜像#> docker pull redis:4-alpine3.9配置文件在指定的目录下准备redis需要运行的配置文件redis.conf,方便优化配置参数编写容器运行脚本创建一个可运行的shell脚本redis.sh,以便运行docker容器,添加如下内容set -edocker r...
2019-05-05 16:43:33
4710
1
原创 Linux系统文件归档压缩处理
归档 压缩 解压缩 压缩算法 为什么要压缩归档linux系统文件归档用tar,使用方法比较简单#> tar cvf file.tar file压缩压缩一般情况下跟在归档后面使用,可以用tar直接使用参数进行比率压缩,常用的两种压缩格式.gz和.bz2#> tar zcvf file.tar.gz file#> tar jcvf file.t...
2019-05-05 15:52:40
4301
原创 Hive安装
下载二进制安装文件 安装到指定目录 配置环境变量 配置元数据存储位置 初始化hive 命令验证(一) 下载二进制安装文件到Hive官网找到指定版本的文件进行下载(https://mirrors.tuna.tsinghua.edu.cn/apache/hive/)此处下载最新发布的安装包#> wgethttps://mirrors.tuna.tsinghua....
2019-04-16 17:21:05
4263
原创 Nexus架构Maven私服
下载镜像 创建存储 部署容器 编写Maven配置文件 编写Maven项目pom文件(一)下载镜像#>docker pull sonatype/nexus3(二)创建存储#> mkdir /sre/nexus-data && chown -R 200 /sre/nexus-data(三)部署容器#> docke...
2019-04-09 17:19:09
9782
原创 Python插入排序算法
插入排序算法,简单直观的排序算法.工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入.Python代码如下: # coding:utf-8import randomclass Insert: def main(self): arr_list = [i for i in range(10)]...
2019-04-08 18:08:28
4227
原创 Python冒泡排序算法
冒泡排序, 一种简单的排序算法.重复的访问要排序数列,如果他们的顺序错误,就把位置交换过来,直到没有需要交换.这个算法的由来是因为越小的元素会经由交换会慢慢的浮到数列的顶端.冒泡算法的运用如下:比较相邻的元素。如果第一个比第二个大，就交换他们两个。 对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。这步做完后，最后的元素会是最大的数。 针对所有的元素重...
2019-04-08 13:50:05
4386
转载 HDFS存储原理
根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理，非常适合Hadoop/HDFS初学者理解。京东大数据微信公众号。一、角色出演如上图所示，HDFS存储相关角色与功能如下：Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；与DN交互进行数据读写。Namenode：元数据节点，是系统唯一的管理...
2019-04-04 13:45:30
5042
原创 解决HDFS目录无法创建777权限
通过API创建目录 检查目录权限 填坑思路 处理方法(一) 通过API创建目录用JAVA代码调用HADOOP API创建目录,代码如下: public class HdfsOps { /** * Public static function */ public static FileSystem iniCo...
2019-04-03 14:08:39
7538
原创 通过hadoop api写HDFS(JAVA版)
代码如下:package com.hadoop.cluster;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Pat...
2019-04-01 18:25:21
4316
原创 Hadoop 完整分布式
完全分布式和伪分布式类似,区别在于伪分布式只有一个节点,然而完全分布式可以有多个节点,各节点的配置相同.完全分布式的部署如下更改数据持久物理层目录 高可用namenode 分散datanode 格式化namenode 启动集群 验证进程 启动WEB UI(一) 配置core-site.xml,更改数据持久层目录,默认目录在tmp临时目录下<?xml version...
2019-03-28 11:09:13
4344
原创 玩一下rsync
目的说明 命令展示 参数说明 其他参数展示(即使现在用不到) 粗略意见(一) 目的说明向远程主机拷贝文件,如果远程主机有同名文件则进行对其备份到指定目录(二) 命令展示# >now=`date +%Y%m%d%H%M%S` # >rsync -Ivb --suffix="_$now" --backup-dir=/root/backup deplo...
2019-03-26 17:55:46
4279
原创 Python选择排序算法(三)
优化选择排序算法,大致思路是每次循环分别找到最大值和最小值,放到列表的头部和尾部代码如下:#! coding:utf8import randomdef select_sort(arr): for i in range(len(arr) - 1): min_position = i max_position = i for ...
2019-03-26 14:40:37
4361
原创 Hadoop伪分布式部署
部署JDK 配置JDK环境变量 部署Hadoop伪分布式 配置Hadoop环境变量 配置Hadoop进程配置文件 配置无密登录 数据格式化 检查进程(一)部署JDK解压JDK压缩文件到安装目录下 tar -zxvf jdk-xxxx.tar.gz -C /soft 创建软连接 ln -s /soft/jdk-xxxx /soft/jdk(二)配置JDK环境变量...
2019-03-25 15:33:07
4230
原创 Python选择排序算法(二)
接上篇选择排序算法,使用不同的思路展示,第一次尝试用的是记录最小值,变换位置,本次尝试用的是记录最小值的位置,转换值Python代码如下#! coding:utf8import randomdef select_sort(arr): for i in range(len(arr) - 1): min_position = i for j i...
2019-03-22 14:17:26
5835
原创 Python选择排序算法(一)
选择排序算法简单理解为：遍历一个数组，从索引为0开始和后面的索引的值对比，找到最小的，和其掉换位置，以此类推。代码展示：# coding:utf-8import random# Get min value functiondef get_min(arg): result = arg[0] for i in range(len(arg)): if...
2019-03-21 22:10:34
5821
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人