- 博客(37)
- 资源 (9)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 2.1.6 hadoop体系之离线计算-hdfs分布式文件系统-全分布式安装（2）
目录1.集群的规划2.上传并解压3.修改配置文件3.1core-site.xml3.2hadoop-env.sh3.3hdfs-site.xml3.4mapred-site.xml3.5yarn-site.xml3.6worker3.7 创建数据和临时文件夹4.分发安装包到其他机器5.为每个节点配置环境变量6.格式化HDFS7.启动集群1.集群的规划 我们将分为5个部分介绍（与上篇全分布式安装，配置文件不一样）：1...
2020-09-30 09:41:57
178
原创 2.4.1 hadoop体系之离线计算-Zookeeper分布式服务框架-初识ZooKeeper
目录1.ZooKeeper的概述1.1 分布式文件系统?1.2 Zookeeper 是分布式的1.3 Zookeeper 能做什么?2.Zookeeper安装2.1 第一步：下载zookeeeper的压缩包，下载网址如下2.2 第二步：解压2.3 第三步：修改配置文件2.4 第四步：添加myid配置2.5 第五步：安装包分发并修改myid的值2.6 第六步：三台机器启动zookeeper服务3.Zookeeper的Shell 客户端操作3.1 进入终端
2020-09-29 16:24:32
161
原创 2.1.0 hadoop体系之离线计算-hdfs分布式文件系统-基本环境配置
目录1.虚拟机关闭防火墙2.机器关闭selinux3.机器免密码登陆4.机器时钟同步1.虚拟机关闭防火墙service iptables stop #关闭防火墙chkconfig iptables off #禁止开机启动2.机器关闭selinux什么是SELinux SELinux是Linux的一种安全子系统 Linux中的权限管理是针对于文件的, 而不是针对进程的, 也就是说, 如果root启动了某个进程, 则这个进程可以操作任何一个文件 SELinux
2020-09-29 15:25:16
219
原创 2.1.5 hadoop体系之离线计算-hdfs分布式文件系统-伪分布式安装
1.写在前面 首先我们需要配置四台虚拟机，另外安装好jdk。然后我们在第一个节点node01下载了hadoop3.1.1版本，doc是hadoop的一个使用文档说明。2.Hadoop三种安装模式2.1.Hadoop单机模式 单机模式是Hadoop默认的安装模式，这种安装模式主要就是并不配置更多的配置文件，只是保守的去设置默认的几个配置文件中的初始化参数，它并不与其他节点进行交互，并且也不使用HDFS文件系统，它主要就是为了调试MapReduce程序而生。...
2020-09-21 17:26:42
279
原创 1470. 重新排列数组
1.题目描述给你一个数组 nums ，数组中有 2n 个元素，按 [x1,x2,...,xn,y1,y2,...,yn] 的格式排列。请你将数组按 [x1,y1,x2,y2,...,xn,yn] 格式重新排列，返回重排后的数组。示例 1：输入：nums = [2,5,1,3,4,7], n = 3输出：[2,3,5,4,1,7]解释：由于 x1=2, x2=5, x3=1, y1=3, y2=4, y3=7 ，所以答案为 [2,3,5,4,1,7]2.开辟一个新vector：时间O.
2020-09-20 11:10:24
213
原创 2.1.4 hadoop体系之离线计算-hdfs分布式文件系统-HDFS概念和架构模型
hadoop架构本质上是一个主从的架构模型，包含主节点（主进程）角色（管理者），从节点（进程）角色。我们需要分析主从节点各自起到了什么样的内容，假如我们上传了一个文件到集群当中，这个大文件肯定是要被切割成多个块，然后我重复上传多个文件，都会被切割成若干块分布在各个节点中。因为每一个文件块的大小是不一样的（文件本身不一样，块的大小也会不一样），但是服务器数量是一定的（比如2000台服务器），每一台服务器上有不同的块代表了不同的文件，对于非常大的文件，某一台服务器可能仅仅服务于这一个文件。小文件...
2020-09-18 19:26:17
210
原创 1431. 拥有最多糖果的孩子(数组)
1.题目描述给你一个数组candies和一个整数extraCandies，其中candies[i]代表第 i 个孩子拥有的糖果数目。对每一个孩子，检查是否存在一种方案，将额外的extraCandies个糖果分配给孩子们之后，此孩子有 最多的糖果。注意，允许有多个孩子同时拥有 最多的糖果数目。示例 1：输入：candies = [2,3,5,1,3], extraCandies = 3输出：[true,true,true,false,true]解释：孩子 1 有 2...
2020-09-17 10:04:47
210
原创 C++中的map问题+unordered_map问题
目录4.map问题+unordered_map问题4.1 map4.1.1 map的使用4.1.2 构造map4.1.3 往map中插入元素4.1.4 在map中查找元素4.1.5 删除与清空map中元素4.1.6 查看map大小4.1.7 map的基础操作函数总结4.2unordered_map4.2.1 创建unordered_map容器4.2.2unordered_map容器的成员方法4.2.3unordered_map实例演示代码4...
2020-09-16 19:59:43
3607
原创 1512. 好数对的数目（vector+unordered_map）
1.题目描述给你一个整数数组 nums 。如果一组数字 (i,j) 满足 nums[i] == nums[j] 且 i < j ，就可以认为这是一组 好数对 。返回好数对的数目。示例 1：输入：nums = [1,2,3,1,1,3]输出：4解释：有 4 组好数对，分别是 (0,3), (0,4), (3,4), (2,5) ，下标从 0 开始2.暴力求解#include <iostream>#include <vector>#inc.
2020-09-16 19:47:40
160
原创 Nmap-09：可视化Nmap的使用
目录1.可视化Nmap（Zenmap）介绍2.Zenmap的使用1.可视化Nmap（Zenmap）介绍 Nmap命令参数复杂，组合类型多种多样，如果使用命令行类型的Nmap需要记忆大量命令，对于网络管理员和渗透测试者都是一项艰巨的任务。但是如果使用可视化Nmap（Zenmap），那么就不存在这样的问题。 在安装Nmap的同时，会自动安装可视化Nmap（Zenmap），可以在安装目录中找到。2.Zenmap的使用 配置中可以新建配置，选择合...
2020-09-15 19:44:38
628
原创 Nmap-08：Nmap对比扫描结果ndiff
目录1.情景介绍2.工具ndiff介绍3.比较Nmap两次扫描结果1.情景介绍 对某个网络进行探测的时候，有可能之前有探测过的结果，现在探测过后，需要对之前的结果与现在的结果来对比，找到两次不同点。对比就可以进行监视网络变化，达到网络监控的目的。2.工具ndiff介绍3.比较Nmap两次扫描结果...
2020-09-15 18:36:11
983
1
原创 Nmap-07：Nmap使用特定网卡进行探测
目录1.情景介绍2.指定网卡进行探测1.情景介绍 Nmap是一款可拓展性非常强的工具，并且有些NSE脚本支持嗅探，但是这种功能需要网卡支持混杂模式才可以。或者当计算机上有两张网卡，并且两张网卡对应的不同的网络。 Nmap中提供了切换使用特定网卡进行探测的参数 -e2.指定网卡进行探测...
2020-09-15 18:14:16
3107
原创 Nmap-06：Nmap的NSE脚本使用
目录1.NSE介绍2.NSE的使用3.NSE分类使用4.NSE调试功能使用5.NSE参数的使用6.NSE更新7.NSE脚本分类1.NSE介绍 NSE（Nmap Script Engine）是Nmap脚本引擎，内置了很多可以用来扫描的、针对特定任务的脚本。通过NSE可以不断拓展Nmap的扫描策略，加强Nmap的功能。 Nmap中使用 --script 参数来指定调用的脚本，并且脚本存储在Nmap安装路径下的script文件夹下，对于kali...
2020-09-15 18:07:46
2370
原创 Nmap-05：Nmap端口探测技巧
目录1.实际场景2.端口探测技巧1.实际场景 在实际环境中，当系统管理员对设备进行管理时，或者渗透测试人员对设备进行检测时，并不一定对所有的服务进行操作，极有可能是对某个或者某个范围内的服务进行检测。 如果对所有服务进行探测，就会出现耗时长，费力不讨好的情况。针对此，我们很有必要了解如何使用Nmap来更加灵活的进行服务探测，避免全端口探测对服务器造成压力。2.端口探测技巧 对某个端口进行探测：nmap -p80 scanme.nmap.o...
2020-09-15 16:15:06
536
原创 Nmap-04：Nmap发现局域网中存活机器
目录1.主机发现2.Nmap的主机发现3.Nmap主机发现，结果输出1.主机发现 一个局域网中肯定是连接着多台设备，那么我们如何获取哪些设备正在开机状态呢？一般情况下，我们可以使用ping ip地址的方式进行探测，但是如果一个网络很大的情况下，这样的手工探测显着很费劲。 可以使用不同的工具来进行批量探测，在探测之前需要明白CIDR的含义，CIDR是无类别域间路由（classless inter-domain routing），可以快速表示一个网络。比如：1...
2020-09-15 15:45:20
5249
原创 Nmap-03：Nmap识别目标机器上服务的指纹
目录1.服务指纹介绍2.Nmap识别服务指纹3.Nmap侵略性的探测1.服务指纹介绍 为了确保有一个成功的渗透测试或者网络设备监控，必须需要知道目标系统中服务的指纹信息。服务指纹信息包括服务端口、服务名和版本等。 通过分析目标往Nmap中发送的数据包中某些协议标记、选项和数据，我们可以推断发送这些数据包的操作系统等。 Nmap通过向目标主机发送多个UDP与TCP数据包并分析其响应来进行操作系统指纹识别工作。2.Nmap识别服务指纹...
2020-09-15 11:23:45
5164
原创 Nmap-02：Nmap列举远程机器开放的端口
1.Nmap列举远程机器开放的端口原理 首先，我们在计算机上安装Nmap软件，我们需要向目的主机发送大量数据包。首先判断Nmap输入的命令行中是否包含域名，如果包含需要利用DNS服务器进行域名解析，然后发送ICMP Echo Request来探测主机存活性。如果发现该主机是存活的就继续发送其他数据包。远程机器就会根据发出的数据包作出一定的响应，将信息发送给Nmap，Nmap根据返回的数据包来得到机器信息。2.Nmap列举远程机器开放的端口...
2020-09-15 10:33:09
641
原创 Nmap-01：Nmap的介绍与安装
目录1.Nmap介绍2.Nmap的搭建和安装1.Nmap介绍 Nmap是一款开源、免费的网络探测、安全审计的工具。Nmap（网络映射器）是由GordonLyon设计，用来探测计算机网络上的主机和服务的一种安全扫描器。为了绘制网络拓扑图，Nmap的发送特制的数据包到目标主机，然后对返回数据包进行分析。Nmap是一款枚举和测试网络的强大工具。 Nmap有以下特点：主机探测：探测网络上的主机，例如列出响应TCP和ICMP请求、icmp请求、开放特别端口的主机。 端...
2020-09-14 16:33:36
697
原创 1480. 一维数组的动态和（数组）
1.题目描述给你一个数组 nums 。数组「动态和」的计算公式为：runningSum[i] = sum(nums[0]…nums[i]) 。请返回 nums 的动态和。示例 1：输入：nums = [1,2,3,4]输出：[1,3,6,10]解释：动态和计算过程为 [1, 1+2, 1+2+3, 1+2+3+4] 。示例 2：输入：nums = [1,1,1,1,1]输出：[1,2,3,4,5]解释：动态和计算过程为 [1, 1+1, 1+1+1, 1+1+1+1, 1+1
2020-09-14 10:36:16
944
原创 Redis多机多节点集群实验
目录第一步：环境准备第二步：安装Redis第三步：修改配置，创建节点第四步：启动两台机器的六个节点第五步：设置防火墙，开放集群端口第六步：创建集群第七步：集群数据测试第八步：集群宕机测试第一步：环境准备我们搞两台虚拟机局域网IP 分别是 192.168.1.109和192.168.1.110我们约定把192.168.1.109作为集群控制端，需要安装redis-trib.rb第二步：安装Redis前面已经安装过了 不解释，192.1..
2020-09-11 13:34:02
128
原创 Redis单机多节点集群实验
目录第一步：安装Redis第二步：修改配置，创建节点第三步：启动六个节点的redis第四步：创建集群第五步：集群数据测试第六步：集群宕机测试第一步：安装Redis前面已经安装过了 不解释，Reids安装包里有个集群工具，要复制到/usr/local/bin里去cp redis-3.2.9/src/redis-trib.rb /usr/local/bin第二步：修改配置，创建节点我们现在要搞六个节点，三主三从，端口规定分别是7001，7002，7003.
2020-09-11 13:32:38
188
原创 Redis集群概述
Redis Cluster与Redis3.0.0同时发布，以此结束了Redis无官方集群方案的时代，目前，Redis已经发布了3.0.7版本。 redis cluster是去中心化，去中间件的，也就是说，集群中的每个节点都是平等的关系，都是对等的，每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃，这样就保证了我们只需要连接集群中的任意一个节点，就可以获取到其他节点的数据。 那么redis 是如何合理分配这些节点和...
2020-09-11 13:30:47
87
原创 Redis的持久化之AOF方式
AOF方式：将以日志，记录每一个操作优势：安全性相对RDB方式高很多； 劣势：效率相对RDB方式低很多；配置：[root@localhostredis]# vi redis.conf编辑redis.conf往下拉 找到：appendonly no默认关闭aof方式 我们修改成yes 就开启下面那个是默认的aof文件名再往下拉：这里是三种同步策略：always 是 只要发生修改，立即同步 （推荐实用 安全性最高） everysec 是 每秒同步一次 no..
2020-09-11 13:26:20
132
原创 Redis的持久化之RDB方式
RDB方式 Redis是默认支持的优势：只有一个文件，时间间隔的数据，可以归档为一个文件，方便压缩转移（就一个文件） 劣势：如果宕机，数据损失比较大，因为它是没一个时间段进行持久化操作的。也就是积攒的数据比较多，一旦懵逼，就彻底懵逼了配置：[root@localhostredis]# vi redis.conf编辑redis.conf往下拉：这里：save 900 1 表示 每900秒内至少有1个kery发生变化，就持久化 save 300 10表示 每300秒内至少有..
2020-09-11 13:24:00
133
原创 Redis持久化介绍
所有的数据都存在内存中，从内存当中同步到硬盘上，这个过程叫做持久化过程。持久化操作，两种方式：rdb方式、aof方式，可以单独使用或者结合使用。使用方法：rdb持久化方法：在指定的时间间隔写入硬盘 aof方式：将以日志，记录每一个操作，服务器启动后就构建数据库。配置可以禁用 持久化功能。也可以同时使用两种方式。...
2020-09-11 13:18:59
117
原创 Redis Keys的通用操作
keys * 显示所有key127.0.0.1:6379> keys *1) "sort1"2) "l2"3) "set2"4) "r1"5) "h1"6) "n2"7) "l3"8) "r2"9) "s1"10) "set3"11) "set1"12) "r3"13) "n"14) "n3"15) "nn"16) "l1"查找所有以s开头的key用s* *代表任意字符127.0.0.1:6379...
2020-09-11 13:17:37
83
原创 Redis的数据结构之sorted-set
存储Sorted-SetSorted-Set和Set的区别：Sorted-Set中的成员在集合中的位置是有序的存储Sorted-set常用命令添加元素 获得元素 删除元素 范围查询 扩展命令zadd 添加元素 里面包括评分和值127.0.0.1:6379> zadd sort1 5 a 4 b 6 c(integer) 3我们添加集合sort1 元素是a,b,c 评分分别是5,4,6集合里的排序是根据评分从小到大排序的；zrange是查找元素...
2020-09-11 13:16:13
204
原创 Redis的数据结构之Set
存储Set：和List类型不同的是，Set集合中不允许出现重复的元素，Set可包含的最大元素数量是4294967295存储set常用命令：添加/删除元素 获取集合中的元素 集合中的差集运算 集合中的交集运算 集合中的并集元算 扩展命令sadd key member [member ...]添加set元素127.0.0.1:6379> sadd set1 a b c(integer) 3添加三个元素smembers key查看指定key集合元素127.0.
2020-09-11 13:13:23
125
原创 Redis的数据结构之List
存储list：ArrayList使用数组方式，LinkedList使用双向链接方式双向链接表中增加数据双向链接表中删除数据存储list常用命令两端添加 两端弹出 扩展命令lpush 方式添加从左边开始添加127.0.0.1:6379> lpush l1 a b c d(integer) 4127.0.0.1:6379> lpush l1 1 2 3 4(integer) 8lrange 获取指定方位的集合元素从第1个开始 到倒数...
2020-09-11 13:10:55
143
原创 Redis的数据结构之哈希
存储Hash：String key和String Value的Map容器，每一个Hash可以存储4294967295个键值对存储Hash常用命令：赋值 取值 删除 增加数字 判断字段是否存在 获取hash属性个数 获取hash所有属性名称定义h1 以及username和password字段 值分别是java1234 123456hget单个字段设置127.0.0.1:6379> hset h1 username java1234(integer) 1127.0.
2020-09-11 13:06:38
128
原创 Redis的数据结构之字符串
五种数据类型：字符串（String）、字符串列表（list）、有序字符串集合（sorted set）、哈希（hash）、字符串集合（set）Key定义的注意点：不要过长，不要过短，统一的命名规范存储String：二进制安全的，存入和获取的数据相同，Value最多可以容纳的数据长度是512M存储String常用命令：赋值 取值 删除 数值增减 扩展命令[root@localhostredis]# ./bin/redis-cli赋值127.0.0.1:6379> set.
2020-09-11 13:02:49
116
原创 Jedis 连接池实例
package com.ucas.redisDemo;import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;import redis.clients.jedis.JedisPoolConfig;/** * 测试类 * * @author user * */public class JedisTest { public static void main(String[] args) { J.
2020-09-11 12:57:16
245
原创 1. 两数之和（数组+哈希表）
1.题目描述给定一个整数数组 nums和一个目标值 target，请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9，所以返回 [0, 1]2.解题方法2.1 暴力求解...
2020-09-09 12:09:29
352
原创 2.1.3 hadoop体系之离线计算-hdfs分布式文件系统-副本机制+node工作机制+HDFS文件读写过程
我们的认知深度已经从数据模型到架构模型到决策模型。下面我们详细讲解一下其副本放置策略问题。白色的是我们的数据，黑色的是我们产生的三个副本，这三个副本应该怎么放置呢？有什么样的一个策略呢？ 机柜中除了放置服务器之外还会放置交换机，每个交换机专门为一台机柜配备，用于设备之间通信。每台机柜有条线，用于连接交换机，直接从交换机跳到服务器点对点的连接。除了配置交换机，机柜中还有一个电源模块，这个电源模块控制机柜的电源输出。电源模块、交换机与机柜中的服务器组成了一个最小的单元，其中...
2020-09-07 14:23:02
217
原创 2.1.2 hadoop体系之离线计算-hdfs分布式文件系统-存储模型（hdfs分布式存储系统）
hadoop的存储模型整个思想就是：化整为零、并行计算。 第一步：如果一个文件非常非常大，单台服务器的内存无法处理这样一个大文件，无法一次性加载到内存中，可以对文件切割成若干个小文件。第二步：为了达到提升计算效果的目的，可以把切割的小文件分散发送到多台服务器之上，让服务器并行计算小文件，由于每台服务器它所计算得数据量比较小同时他们又是并行的，就可以达到分而治之的目的。以上即分布式存储和分布式计算。 下面就谈及到了第一个问题，文件的切割。文件线性切割成块bl...
2020-09-07 13:56:34
202
catVSdog_data深度学习猫狗分类任务数据集
2020-04-15
LaTex参考书籍（刘海洋入门+short快速）
2019-03-05
html5实现腾讯QQ登录界面背景动画特效（QQ背景动态）
2017-08-02
mysql创建视图遇到问题
2018-03-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人