其他经验
无忧→捕获一只程序员
无忧→捕获一只程序员
展开
-
Hadoop生态圈hive应用
第 1 章 Hive 基本概念1.1 什么是 HiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。1.2 Hive 的优缺点1.2.1 优点1) 操作接口采用类 SQL 语法,提供快速开发的能力(简单、容易上手)。2) 避免了去写 MapReduce,减少开发人员的学习成本。3) Hive 的执行延迟比较高,因此 Hive 常用于数原创 2020-07-29 08:56:53 · 60991 阅读 · 0 评论 -
Hadoop 生态圈 - 完全分布式
Hadoop 完全分布式-wangweiHadoop生态圈即全部组建 - 原创wnagwei(qq:140691703@qq.com) 转载复制请联系作者,未经允许擅自操作,将追究法律责任完全分布式运行模式(开发重点)分析:1)准备3台客户机(关闭防火墙、静态ip、主机名称)2)安装JDK3)配置环境变量4)安装Hadoop5)配置环境变量6)配置集群7)单点启动8)配置ssh9)群起并测试集群环境:镜像文件:CentOS7.4三台主机..原创 2020-07-29 08:49:33 · 60731 阅读 · 0 评论 -
运维渗透-简单
实验的网站为我私人网站** 扫描端口 **nmap 域名 # 查看开放的所有端口及作用扫描出 IP 及 Server使用 -j 参数扫描 server 的指纹信息,这里用到的是 nmap 的脚本,还有 ping、nslookup、traceroute、OS,扫描的项目比较多,所以时间可能会长些爆出一些目录:需要的时间比较长扫描目录后面是渗透的部分,就不发了不教你们干坏事了 ????通过 动态检查 我发现了 我的网站 存在 sql 盲注what?what?what?不看原创 2020-07-28 09:44:12 · 32437 阅读 · 1 评论 -
网络技术-利用静态路由实现网络互通-3(1)
网络技术-利用静态路由实现网络互通-3(1)已补1,利用静态路由实现网络互通(两个公司互相通信)完整图:2,配置路由器2.1,此时可以看到电脑和路由器之间是红色的,即不可通信,解决:Router(config)#interface fa0/0Router(config-if)#no shutdown Router(config-if)#%LINK-5-CHANGED: Interface FastEthernet0/0, changed state to up.原创 2020-07-28 09:40:45 · 62514 阅读 · 0 评论 -
网络技术 - 教你配置三层交换机(实现小型局域网)-1
网络技术 - 教你配置三层交换机(实现小型局域网)-1通过配置三层交换机,来实现小型局域网,实现小公司的电脑互通互联结果1、ping 本网段 网关 和 同网段其他主机2、ping 其他主机 和 网关3、pin 服务器 ip 及其 网关这就是一个小型局域网下一节 如何配置...原创 2020-07-28 09:40:14 · 2555 阅读 · 0 评论 -
Python RPA 数据库篇 7 - MySQL 篇 3 - 增删改查 2
Python RPA 数据库篇 7 - MySQL 篇 3 - 增删改查 2pymysql 给更新据代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv:workon# @contact:1040691703@qq.com# @Desc:Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/29 20:35原创 2020-07-27 08:15:43 · 238 阅读 · 0 评论 -
python 对 XML 的解析 -ElementTree
python 对 XML 的解析 -ElementTree代碼#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv:workon# @contact: contact information# @Desc:ElementTree__author__ = '未昔/AngelFate'__date__ = '2019/8/22 20:26'from xml.etree import Ele原创 2020-07-26 09:39:03 · 282 阅读 · 0 评论 -
python 对 XML 的解析 -1(在 RPA 业务中,有时会遇到 XML 的数据格式,下面来看看怎么提取数据)
python 对 XML 的解析 -1(在 RPA 业务中,有时会遇到 XML 的数据格式,下面来看看怎么提取数据)举例数据代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv:workon# @contact: 1040619073@qq.com# @Desc:python对XML的解析__author__ = '未昔/AngelFate'__date__ = '2019/8/原创 2020-07-26 09:35:45 · 279 阅读 · 0 评论 -
Python RPA 数据库篇 - MongoDB 篇 1 - 连接 MongoDB 数据库
Python RPA 数据库篇 - MongoDB 篇 1 - 连接 MongoDB 数据库1、查看创建数据库#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv:workon# @contact: contact information# @Desc:Code descripton__author__ = '未昔/AngelFate/1040691703@qq.com'__date__原创 2020-07-25 10:23:01 · 270 阅读 · 0 评论 -
Python RPA数据库篇3-MongoDB篇2-连接MongoDB数据库 代码
Python RPA数据库篇3-MongoDB篇2-连接MongoDB数据库代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv:workon# @contact: contact information# @Desc:Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/27 20:59'import pymo原创 2020-07-25 10:22:12 · 263 阅读 · 0 评论 -
Python 操作 redis 代码
Python 操作 redis代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv:workon# @contact: contact information# @Desc:Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/28 20:27'# 导入redis库from redis import Strict原创 2020-07-25 10:19:51 · 254 阅读 · 0 评论 -
【python 进阶】获取用户机主机名
标题【python 进阶】获取用户机主机名def getHost(ip): print(0,ip) try: result=gethostbyaddr(ip) print(result) if result: return result[0], None except socket.herror,e: print(socket.herror,e)ip_list = ['157.55.39.156','116.17原创 2020-07-24 20:30:10 · 312 阅读 · 0 评论 -
pandas 读取和输出不同的格式数据
pandas 读取和输出不同的格式数据导入库:import pandas as pd读数据pd.read_csv(filename) # 读取 csv文件pd.read_excel(filename) # 读取 Excel文件pd.read_table(filename) # 读取 TXT文件pd.read_sql(sql=query, con=connection_object) # 进行sql语句操作,并读取数据pd.read_json(json_string) # 读取原创 2020-07-24 07:29:36 · 560 阅读 · 0 评论 -
pandas 简单用法
#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv:workon# @contact: contact information# @Desc:Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/18 13:11'import pandas as pddata = pd.read_excel('1.xlsx',en原创 2020-07-23 08:43:39 · 242 阅读 · 0 评论 -
Phython-数据结构 DataFrame
#!/usr/bin/env Python3__author__ = '未昔/angelfate'__date__ = '2019/8/6 10:52'# -*- coding: utf-8 -*-import pandas as pdimport numpy as np"""数据结构 DataFrame创建,读写"""print('用字典生成DataFrame,key为列名(默认key是无序的)。')data = { 'name': ['wang', 'wei', 'RPA原创 2020-07-23 08:42:00 · 224 阅读 · 0 评论 -
艺赛期IS-RPA:循环获取页面所有 table 或者 li 标签的文本
其实很简单。基本上下载的网站都是规则的,所以拿数据比较方便。首先,找到你要拿的文本信息,随便选取一条。直接 COPY 它的 selector。然后,找到每个 selector 不一样的地方。因为我这里提取的是 li 标签的内容,所以只需要改变子节点 li 的后代即可。{"css-selector":"#ulList_view_listnews_86_277455938 > li:nth-child({}) > h3 > a".format(str(i))}...原创 2020-07-23 08:34:09 · 810 阅读 · 0 评论 -
Python 装饰器用处
装饰器:外部函数传入被装饰函数名,内部函数返回装饰函数名。特点:1. 不修改被装饰函数的调用方式 2. 不修改被装饰函数的源代码多个装饰器装饰一个函数, 其执行顺序是从下往上。装饰器不仅可以是函数,还可以是类,相比函数装饰器,类装饰器具有灵活度大、高内聚、封装性等优点。使用类装饰器主要依靠类的__call__方法,当使用 @ 形式将装饰器附加到函数上时,就会调用此方法。下面的代码是一段flask框架里面的。1:如果函数,index()和 admin(),没有加上 api_route 装饰器的话,那原创 2020-07-22 10:13:29 · 369 阅读 · 0 评论 -
Python 的 pandas 库下的 Series 简单 使用
简介:1、Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。.2、Pandas 是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并原创 2020-07-22 10:05:34 · 456 阅读 · 0 评论 -
Hadoop - 1.Hadoop 的运行环境介绍
hadoop 主要有三种运行模式:[单机模式][伪分布模式][完全分布模式]单机模式其中在单机模式下所有 3 个 XML 文件均为空,当配置文件为空时,Hadoop 会完全运行在本地,因为不需要与其他节点交互,单机模式就不使用 HDFS,也不加载任何 Hadoop 的守护进程。该模式主要用于开发调试 MapReduce 程序的应用逻辑。伪分布式模式在伪分布式模式下是指在“单节点集群”上运行 Hadoop,其中所有的守护进程都运行在同一台机器上,即 Jobtracker、Tasktr原创 2020-07-22 10:01:53 · 739 阅读 · 0 评论