python
阿啄debugIT
0、精通java,及常用设计模式,熟练编写shell脚本,掌握python、scala、golang的编写;
1、精通Spring Cloud等微服务架构,掌握SpringBoot、batis等后端技术,kafka、redis、es等中间件的整合开发;
2、熟悉掌握mysql、pg等关系数据的原理及调优,及NoSQL数据的存储和查询;
3、熟悉CDH各个组件,及精通离线、实时等计算技术;
4、掌握java多线程高并发编程,及整合shiro、redis、fastdfs、MQ、netty等开发;
5、熟悉K8S集群管理Docker容器,及理解掌握openstack原理和操作。
展开
-
Python编写masscan+nmap的主机和端口信息收集工具
masscan使用linux安装git clone https://github.com/robertdavidgraham/masscanmake扫描选项masscan -iL target.txt -p 1-65535 -oJ result.json --rate 2000 -v-iL 从文件中获取扫描目标 -p 指定参数 -oJ 结果以json形式存入文件 –rate 速率、每秒发送包的个数 -v 显示扫描过程信息注意事项-oJ 保存的json数据文件不是完整的.原创 2021-01-12 23:46:14 · 939 阅读 · 1 评论 -
用PYTHON解析MASSCAN/NMAP的扫描结果
前言:做安全的一般都会用到Nmap进行端口扫描,在小范围内进行扫描时Nmap绝对是首选——丰富的扫描选项/模块、较高的准确度;在大范围的扫描中,你应该选择Masscan,因为它速度奇快,而且准确率还可以接受。它们都支持自定义结果的输出格式,其中比较通用的就是XML格式(Masscan为了尽量和Nmap做到兼容,除了扫描选项比较像之外,输出结果的XML格式也基本兼容)。扫描完了之后需要对结果进行解析,这就是本文的具体场景需求。解答:1.解析Masscan的XML格式扫描结果#!/usr/bi原创 2021-01-12 23:34:00 · 944 阅读 · 1 评论 -
安装Anaconda3,管理python依赖包和管理切换python环境,及conda安装pymysql的填坑记录
前言网上有很多,安装Anaconda3的版本,由于每次安装,都会遇到不同的问题,特此汇总记录一下centos安装Anaconda3,及conda安装pymysql的填坑经历安装准备centos系统,可能本地默认安装的是python2(官方已经终止更新) 已经下载好的Anaconda3-5.3.1-Linux-x86_64.sh(提取码:n49i)备注:windows版的Anaconda3-5.3.1-Windows-x86_64.exe(提取码:t7gg)安装1.把下载后的Anaco原创 2020-05-30 19:12:47 · 2448 阅读 · 3 评论 -
百度地图求点和双向曲线的最短距离的优化方案及建议
前言首先,我们都知道,点和直线最短的距离就是点到直线的垂直距离。我们用直角三角板的直角边,画出的直线即为所求,那么,曲线呢?问题转化我们把曲线切割成直线,那么两两的最短距离就是那些直角边画出来的集合,因此,我们可以通过比较这些集合,求出相关的距离。可是,这在百度地图中,却不是最好的方案。解决方案将问题简单化,百度地图的曲线可以看成按某种精度连接起来的点集,我们可以通过求球体比较...原创 2020-02-22 04:32:20 · 897 阅读 · 0 评论 -
基于Jenkins+SonarQube+Nosetests+Coverage的Python项目持续集成
前言本文从一个规范的Python项目目录结构开始,介绍了一个Python项目应该遵序的一些编码规范,以及与持续集成相关的工具使用。由于网上众多Python项目是使用TravisCI进行持续集成,跟使用Jenkins+SonarQube方案不一样,所以我们重新研究了如何整合这些内容。基于Jenkins进行集成 基于Nosetests进行自动化测试 基于coverage.py进行代码覆盖率...原创 2020-02-07 00:54:17 · 1766 阅读 · 0 评论 -
Python编码规范及测试规范
前言本文引用 https://python-guide.gitbooks.io/python-style-guide/content/style-guide/overview.html 中的内容,以及在末尾添加了一个完整的代码样例编码规范如无特殊情况, 文件一律使用UTF-8编码 如无特殊情况, 文件头部必须加入#-*-coding:utf-8-*-标识一般格式缩进l 统...原创 2020-02-07 00:21:47 · 573 阅读 · 0 评论 -
涉及RDD批处理、SparkSQL、Sparkstreaming、Spark ML的pyspark实践学习
前言主要是涉及RDD批处理、SparkSQL、Sparkstreaming、Spark ML的pyspark实践学习一、RDD批处理运行环境:个人电脑from pyspark import SparkConf, SparkContext# import matplotlib.pyplot as plt# from matplotlib.pyplot import histi...原创 2020-02-05 04:10:56 · 607 阅读 · 0 评论 -
python机器学习的各个包的安装与部署
最近在做某市的移动的volte,其中有一个指标vmtos需要通过python机器学习来预测生成指标值。其中安装python机器学习包遇到许多坑,现记录如何安装python机器学习包。(1)Python 安装包:Python-3.5.2.tgz下载地址:https://www.python.org/ftp/python/3.5.2/tar zxvf Python-3.5.2.tgzc...原创 2020-01-29 03:27:27 · 610 阅读 · 0 评论 -
PostgreSQL性能监控插件-powa 安装步骤
1. 下载安装包powa-install-packages.tar.gz2. 解压安装包tar-xzvf powa-install-packages.tar.gzcdpowa-install-packagestar-xzvf pg_qualstats-1.0.2.tar.gztar-xzvf pg_stat_kcache-REL2_0_3.tar.gztar-x...原创 2020-01-28 00:27:27 · 1051 阅读 · 0 评论 -
离线环境下利用pip安装Python离线安装包
由于项目上的需要通过离线的方式来安装Python项目,所以总结出以下步骤。一、更新pip版本1.下载pippython3.6自带pip,可以不用再安装pip,而python2.7安装时是不带有pip的,从官网下载提供的编译好的包最新版本pip-8.1.2-py2.py3-none-any.whl和wheel-0.29.0-py2.py3-none-any.whl,离线安装pip时,这两...原创 2020-01-28 00:04:59 · 1341 阅读 · 0 评论 -
在windows环境下,Python访问impala数据库,出现异常,及解决方案
在windows环境下,python程序连接impala,即是在本地调用impala数据库访问时,不正确导包会出现一系列的异常,impala的数据库连接正确方法如下:参照官网中impala的部署方案:impala的部署pip install sixpip install bit_arraypip install thriftpy## thrift (on Python 2....原创 2020-01-27 23:51:35 · 839 阅读 · 0 评论 -
安装Oracle,并通过python连接Oracle,插入数据
一、安装cx_Oraclepip install cx_Oracle二、安装instantclientwindows方式:https://www.oracle.com/technetwork/database/database-technologies/instant-client/downloads/index.html第一次使用需要注册即可下载资源1.下载window...原创 2020-01-27 23:18:37 · 517 阅读 · 0 评论 -
详细讲解使用python脚本发送邮件的过程
简介几乎所有的编程语言都支持发送和接收电子邮件,但是,先等等,在我们开始编写代码之前,有必要搞清楚电子邮件是如何在互联网上运作的。假设我们自己的电子邮件地址是me@163.com,对方的电子邮件地址是friend@sina.com(注意地址都是虚构的哈),现在我们用Outlook或者Foxmail之类的软件写好邮件,填上对方的Email地址,点“发送”,电子邮件就发出去了。这些电子邮件软件...原创 2020-01-27 23:05:33 · 335 阅读 · 0 评论 -
安装部署mqtt,使用python实现mqtt的发布和订阅
MQTT简介MQ 遥测传输 (MQTT) 是轻量级基于代理的发布/订阅的消息传输协议,设计思想是开放、简单、轻量、易于实现。这些特点使它适用于受限环境。该协议的特点有:使用发布/订阅消息模式,提供一对多的消息发布,解除应用程序耦合。 对负载内容屏蔽的消息传输。 使用 TCP/IP 提供网络连接。 小型传输,开销很小(固定长度的头部是 2 字节),协议交换最小化,以降低网络流量。 ...原创 2020-01-22 01:27:22 · 4001 阅读 · 0 评论