案列分享
文章平均质量分 56
无忧→捕获一只程序员
无忧→捕获一只程序员
展开
-
Hadoop生态圈-高可用集群
Hadoop生态圈-高可用集群Hadoop生态圈即全部组件 - 原创wnagwei(qq:140691703@qq.com) 转载复制请联系作者,未经允许擅自操作,将追究法律责任高可用集群自动故障转移工作 机制1) 故障检测:故障检测:集群中的每个 NameNode 在 ZooKeeper 中维护了一个持久会话,如果机器崩溃,ZooKeeper 中的会话将终止,ZooKeeper 通知另一个 NameNode 需要触发故障转移。2)现役 NameNode 选择:现役 Name原创 2020-07-29 08:58:45 · 61957 阅读 · 0 评论 -
Hadoop生态圈hive应用
第 1 章 Hive 基本概念1.1 什么是 HiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。1.2 Hive 的优缺点1.2.1 优点1) 操作接口采用类 SQL 语法,提供快速开发的能力(简单、容易上手)。2) 避免了去写 MapReduce,减少开发人员的学习成本。3) Hive 的执行延迟比较高,因此 Hive 常用于数原创 2020-07-29 08:56:53 · 60960 阅读 · 0 评论 -
Hadoop 生态圈 - 完全分布式
Hadoop 完全分布式-wangweiHadoop生态圈即全部组建 - 原创wnagwei(qq:140691703@qq.com) 转载复制请联系作者,未经允许擅自操作,将追究法律责任完全分布式运行模式(开发重点)分析:1)准备3台客户机(关闭防火墙、静态ip、主机名称)2)安装JDK3)配置环境变量4)安装Hadoop5)配置环境变量6)配置集群7)单点启动8)配置ssh9)群起并测试集群环境:镜像文件:CentOS7.4三台主机..原创 2020-07-29 08:49:33 · 60700 阅读 · 0 评论 -
运维渗透-简单
实验的网站为我私人网站** 扫描端口 **nmap 域名 # 查看开放的所有端口及作用扫描出 IP 及 Server使用 -j 参数扫描 server 的指纹信息,这里用到的是 nmap 的脚本,还有 ping、nslookup、traceroute、OS,扫描的项目比较多,所以时间可能会长些爆出一些目录:需要的时间比较长扫描目录后面是渗透的部分,就不发了不教你们干坏事了 ????通过 动态检查 我发现了 我的网站 存在 sql 盲注what?what?what?不看原创 2020-07-28 09:44:12 · 32423 阅读 · 1 评论 -
Python RPA將银行某业务的大量数据合并备份
將银行某业务的大量数据合并备份將银行某业务的大量数据合并备份通过 RPA 获取所有要下载的数据压缩包1、解压某文件夹下所有压缩包,到指定文件夹import zipfile import os # 路径 import datatime import pandas as pd `2、遍历父目录下所有文件读取一个文件夹。遍历此文件夹下所有文件。(即使有二级目录也没事)所有文件路径,存到一个列表里面。3、pandas 把多表内容汇总遍历列表中的所表格文.原创 2020-07-28 09:42:11 · 354 阅读 · 0 评论 -
网络技术-利用静态路由实现网络互通-3(1)
网络技术-利用静态路由实现网络互通-3(1)已补1,利用静态路由实现网络互通(两个公司互相通信)完整图:2,配置路由器2.1,此时可以看到电脑和路由器之间是红色的,即不可通信,解决:Router(config)#interface fa0/0Router(config-if)#no shutdown Router(config-if)#%LINK-5-CHANGED: Interface FastEthernet0/0, changed state to up.原创 2020-07-28 09:40:45 · 62457 阅读 · 0 评论 -
网络技术 - 教你配置三层交换机(实现小型局域网)-1
网络技术 - 教你配置三层交换机(实现小型局域网)-1通过配置三层交换机,来实现小型局域网,实现小公司的电脑互通互联结果1、ping 本网段 网关 和 同网段其他主机2、ping 其他主机 和 网关3、pin 服务器 ip 及其 网关这就是一个小型局域网下一节 如何配置...原创 2020-07-28 09:40:14 · 2506 阅读 · 0 评论 -
Python RPA数据库篇3-MongoDB篇2-连接MongoDB数据库 代码
Python RPA数据库篇3-MongoDB篇2-连接MongoDB数据库代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv:workon# @contact: contact information# @Desc:Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/27 20:59'import pymo原创 2020-07-25 10:22:12 · 254 阅读 · 0 评论 -
ubuntu-1 - 重新安装了 ubuntu,准备搭新的分布式集群。正好把步骤和遇到的问题发出来 -- Ubuntu18.04 安装和配置
ubuntu-1 - 重新安装了 ubuntu,准备搭新的分布式集群。正好把步骤和遇到的问题发出来 – Ubuntu18.04 安装和配置一、安装 vbox二、安装 ubuntu18.04三、安装一些必备应用:1、安装 ifconfig第一次装完 ubuntu,运行 apt-get 可能会遇到下面的情况 (资源被占用):E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)E: 无法锁定管理目录(/var/lib/dpkg/),是否有其他进程正占用它?原创 2020-07-23 08:39:17 · 239 阅读 · 0 评论 -
pandas 分块读取大规模数据
pandas 分块读取大规模数据__author__ = '未昔/angelfate'__date__ = '2019/7/2 1:30'# -*- coding: utf-8 -*-path = r'E:\python\Study\BiGData\new_data.csv'@timeitdef test_1(): print('test_1') df = pd.read_csv(path, engine='python', encoding='gbk')@timeit原创 2020-07-23 08:23:50 · 568 阅读 · 0 评论 -
Python-RPA 某银行 - 表的下载数据的清洗(真实项目需求)
需求:1、 登录表的平台(输入账号密码验证码)2、选择指定模块3、选择本日前一天日期 ----> 选择指定机构 ----> 查询报表 ----> 选择指定报表 ----> 下载报表 ----> 下载到指定路径下面(下载的内容均为压缩包)4、解压所有压缩包,放到指定路径下面5、解压后的表格数据,选择指定sheet_name,查询指定的 ‘科目编号’...原创 2019-08-07 09:47:35 · 581 阅读 · 0 评论