自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

CodeAsWind

不积跬步无以至千里,不积码量无以脱码农!

  • 博客(130)
  • 资源 (6)

原创 Android使用adb工具及root权限完成手机抓包

1.环境准备/注意: 手机要求已经root。首先需要配置JDK环境变量,这里主要讲解抓包,JDK环境变量配置跳过。将包内附带的adb.zip解压到C盘根目录。 整个操作过程都需要用手机用数据线连接电脑。点击运行,打开cmd窗口,运行cd至adb目录然后把tcpdump程序 发布至手机上adb push c:/tcpdump /data/local输入命令进入手机...

2020-05-07 10:13:07 100

原创 反编译微信小程序

前言最近有一个任务,就是让我试下反编译微信小程序,搞起。事先说明,写这篇博客,只是为了记录过程,不建议大家都去反编译,毕竟都是别人的劳动成果。然后反编译的这个事例,也打了码。如果贵公司的人发现了,希望及早更新处理下,以免接口的泄露。准备工具1、node.js环境,https://nodejs.org/en/2、反编译脚本,https://github.com/qwerty472123...

2020-05-07 10:04:36 267

原创 开源SQL解析工具-Apache Calcite

概念Apache Calcite 是一款开源SQL解析工具, 可以将各种SQL语句解析成抽象语法术AST(Abstract Syntax Tree), 之后通过操作AST就可以把SQL中所要表达的算法与关系体现在具体代码之中。Calcite的生前为Optiq(也为Farrago), 为Java语言编写, 通过十多年的发展, 在2013年成为Apache旗下顶级项目,并还在持续发展中, 该项...

2020-03-11 16:56:36 1975

原创 kubernetes工作原理(二)-iptables

前言虚拟化的网络可以自由的在本地进行基于单机的网络配置或者借助一些互联技术(underlay、overlay或者点对点技术)在虚拟网络内部空间实现跨节点和数据中心的网络互联,但是如果虚拟网络内部的服务要对外进行暴露,就不得不借助地址转换或者端口转换等数据包修改技术。而在现有的container管理框架中,iptables更是承担了服务暴露和服务后端负载均衡等功能,是诸如kubernetes、O...

2020-03-09 17:06:38 2841

原创 kubernetes工作原理(一)-利用iptables对外暴露service

前言Kubernetes利用iptables达成以下两个目的:1)对外暴露POD和服务2)简单的负载均衡在kubernetes worker node的iptables的NAT表的prerouting和output链表会出现如下规则作为kubernetes相关的数据包操作的入口:-A PREROUTING -m comment --comment "kube hostpo...

2020-03-09 17:00:10 1814

原创 云计算-Ironic概念

Ironic结合多个驱动提供一套hypervisor API来操作物理机,类似提供一个hypervisor驱动来供Nova使用。简介:简而言之,OpenStackIronic就是一个进行裸机部署安装的项目。 所谓裸机,就是指没有配置操作系统的计算机。从裸机到应用还需要进行以下操作: (1)硬盘RAID、分区和格式化; (2)安装操作系统、驱动程序; (3...

2020-03-06 16:50:42 877

原创 Kubernetes 运行strom(七)

前提:已经安装运行Kubernetes集群安装步骤:1: 启动Zookeeper服务ZooKeeper是一个分布式协调者服务,Strorm使用它来作为引导程序和存储运行状态数据使用examples/storm/zookeeper.json来创建一个运行ZooKeeper服务的pod。kubectl create -f xxxx/zookeeper.json然后使用...

2020-03-03 08:20:06 3615

原创 Kubernetes 运行flink(六)

概念:Flink 由Job Manager和Task Manager两个部分组成,Job Manager负责协调流处理作业,管理作业的提交以及生命周期,并把工作分配给任务管理器。任务管理器执行实际的流处理逻辑,同一个时间只能一个活跃的Job Manager,但可以有多个Task manager。Flink还引入Checkpoint机制,来周期性记录各种流处理操作的状态,并且进行持久化存储,...

2020-03-03 08:18:58 3866 2

原创 Kubernetes运行hive(五)

目的:hive 可以基于hadoop mr或者Spark进行高层次的数据处理前提:安装之前先要保证hadoop的目录可以为root用户读写:hadoop fs -chown root:root /1: 构建镜像下载依赖mkdir -p hive/image-buildcd hive/image-buildwget http://download.oracl...

2020-03-03 08:13:03 2209

原创 Kubernetes的Spark运行Terasort(四)

目的:Terasort测试Kubernetes平台对于Spark计算过程前提:从HDFS读取能力向HDFS写入能力shuffle中网络读写能力1:准备工作获取代码git clone https://github.com/ehiggs/spark-terasort.git修改编译配置指定合适的spark和scala版本<propertie...

2020-03-02 09:34:24 2075

原创 Kubernetes的Spark安装History Server(三)

目的:通过hadoop的共享目录,可以将Spark运行的状态通过运行在Kubernetes的History Server进行展示和跟踪。前提:保证Hadoop HDFS已经顺利运行并且事先在hdfs建立如下目录:hadoop fs -mkdir /eventLog在Kubernetes安装Spark History Server1:获取chart代码git ...

2020-03-02 09:23:51 2109

原创 Kubernetes编译并运行基于Scalar的Spark程序WordCount(二)

目的:通过SBT编译scala程序然后在Kubernetes使用Spark运行WordCount任务1: 安装环境和编译安装SBTcurl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repomv bintray-sbt-rpm.repo /etc/yum.repos.d/yum install -y sb...

2020-03-02 09:15:58 2140

原创 Kubernetes Scheduler运行Spark(一)

概念:版本2.3.0起,Spark开始支持采用Kubernetes作为native的资源调度器;使用Kubernetes作为原生调度器需要满足如下的前提条件:Spark 2.3+ Kubernetes 1.6+ 有增删改查POD的能力 Kubernetes配置了DNS和传统的Spark运行方式一样,通过spark-submit向Kubernetes提交任务,只是将maste...

2020-03-02 09:13:08 2745 2

原创 Centos 部署k8s集群

主机信息:master节点: 节点功能Master、etcd、Registry; 主机名: master ; IP地址:192.168.80.161node节点: 节点功能Node1; 主机名:node1; IP地址:192.168.80.1621: 设置机器的主机名master主机上执行:hostnamectl --static set-hostname master...

2020-02-28 17:18:37 5542

原创 VMware下创建的虚拟机网络设置

1:设置虚拟机的网络连接模式为NAT2:启动虚拟机,输入指令:ls /etc/sysconfig/network-scripts找到ifcfg-ens33文件;3: vi/etc/sysconfig/network-scripts/ifcfg-ens33修改ONBOOT=no为ONBOOT=yes4: 重启虚拟机即可...

2020-02-28 09:06:40 1699

原创 Kubernetes常见运维操作(二)

1:应用滚动升级操作功能: 应用滚动升级操作步骤: 以redis-master为例子,假定当前运行的redis-master Pod是1.0版本,现在要升级到2.0版本 创建redis-master-controller-v2.yaml的配置文件如下: apiVersion: v1 kind: ReplicationController m...

2020-02-24 11:15:31 4357

原创 Kubernetes常见运维操作(一)

K8s运维操作Node隔离和恢复操作功能: Node隔离和恢复操作步骤:node隔离:yaml文件:apiVersion: v1kind: Nodemetadata: name: kubernetes-minion1 labels: kubernetes.io/hostname: kubernetes-minion1spec: unsch...

2020-02-24 11:02:55 4383

原创 K8s常见问题分析&解决(未分类问题三)

1: 高版本docker与老版本Linux内核不兼容,导致内存泄漏详细描述:高版本docker与老版本Linux内核不兼容,导致内存泄漏容器集群中某个计算节点ICMP ping失败,上线查看机器已经宕机,重启后查看内核日志出现:SLUB: Unable to allocate memory on node -1重启后机器不断打出改log。但free查看内存,发现内存有空闲解题思路...

2020-02-21 16:49:45 4059

原创 K8s常见问题分析&解决(未分类问题二)

1:容器内部时间和node节点的系统时间不一致详细描述: 容器内部时间和node节点的系统时间不一致 例如: kubectl exec -it <pod-name> date UTC 2019 node 上的date CST解题思路: 无原因分析: 这个不单单是K8s问题, 单纯使用docker也存在类...

2020-02-21 16:09:21 4266

原创 K8s常见问题分析&解决(未分类问题一)

1:Pod始终处于pending状态详细描述: Pod始终处于pending状态解题思路: 如果pod保持在pending的状态,意味着无法被正常的调度到节点上,由于系统的某些资源无法满足Pod的运行需求原因分析: 系统没有足够的资源或者用户指定了hostPort;通过hostPort用户能够将服务暴露到指定的主机端口上,会限制pod被调度到可运行节点上解决步...

2020-02-19 17:06:21 4493

原创 K8s调度器Kube-scheduler

kube-scheduler简介 调度是容器编排的重要环节,需要经过严格的监控和控制,现实生产通常对调度有各类限制,譬如某些服务必须在业务独享的机器上运行,或者从灾备的角度考虑尽量把服务调度到不同机器,这些需求在Kubernetes集群依靠调度组件kube-scheduler满足。 kube-scheduler是kubernetes中关键模块,扮演管家的角色遵从一套机制为Pod...

2020-02-17 10:39:11 2449

原创 K8s常见问题分析&解决(docker问题)

1:k8s集群内的容器,只能在其所在的节点上curl访问,其他任何主机上无法访问容器占用的端口详细描述: k8s集群内的容器,只能在其所在的节点上curl访问,其他任何主机上无法访问容器占用的端口解题思路: 无原因分析: 主机中网络包转发问题解决步骤: vim /etc/sysctl.conf 找到 net.ipv4.ip_forward=1 ...

2020-02-14 12:10:56 4677

原创 Kubernetes增强型调度器Volcano(适配大数据调度)

Volcano调度器背景 Volcano是基于Kubernetes的批处理系统,为华为开源。Volcano方便AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。 Volcano调度的意义 K8s自带的资源调度器,有一个明显的特点:依次调度每个容器。但是在AI训练或者大数据,这种必须多个容器同时配合...

2020-02-13 15:55:20 4561

原创 K8s常见问题分析&解决(基础问题)

1:部分工作节点pod无法启动详细描述: 部分工作节点pod无法启动(处于ContainerCreateing状态)日志: failed to set up ..... Network: failed to set bridge addr解题思路: 日志部分出现网络相关的失败LOG,问题调查的方向主要查看对应网络节点的状态原因分析: 当前节点被反复注册,导...

2020-02-11 17:31:51 4116

原创 K8s常见问题分析&解决(coreDns)

1:docker容器时间与宿主机时间不一致问题详细描述: docker容器时间与宿主机时间不一致问题解题思路: 对比容器和宿主机的时区是否一致;原因分析: 一般情况下主要由于宿主机和容器的时区不一致导致解决步骤: 修改容器内的时区: docker exec -it <容器名> /bin/bash ln -sf /usr/share...

2020-02-11 16:54:40 6217

原创 TcpDump工具基本使用

Tcpdump基本用法:1: 截获192.168.1.10主机收到和发出的所有数据包#tcpdump host 192.168.1.102:截获主机192.168.1.10 和主机192.168.1.11 或者192.168.1.12的通信#tcpdump host192.168.1.10 and /(192.168.1.11 or 192.168.1.12/)3:获取主机...

2020-02-11 11:54:23 621

原创 K8s coreDns安装部署教程&简单使用

1: coreDns安装根据需要编辑coredns.yamlapiVersion: v1kind: ServiceAccountmetadata: name: coredns namespace: kube-system---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata: lab...

2020-02-11 11:25:14 1126

原创 kubectl命令系列(kubectl apply)

kubectl apply通过文件名或控制台输入,对资源进行配置。接受JSON和YAML格式的描述文件。kubectl apply -f FILENAME示例:# 将pod.json中的配置应用到pod$ kubectl apply -f ./pod.json # 将控制台输入的JSON配置应用到Pod$ cat pod.json | kubectl apply...

2019-12-19 11:31:22 382

原创 Python Web 爬虫中Selenium插件使用教程

Selenium主要用于Web应用中的自动化测试,是一种比较常用的自动化测试工具;Selenium直接运行在浏览器之中,模拟用户对浏览器的相应操作。可以支持像IE, Firefox、safari,Opera或者Chrome等相关浏览器;在WEB爬虫应用中,我们主要通过Selenium来模拟用户对网页的访问,进而实现用户信息获取。我们以Chrome为例子:1:Selenium安...

2019-12-18 14:28:43 2334

原创 Centos 下yum 安装golang

root账户下执行如下:rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpmyum install golang -y

2019-11-11 13:22:38 602

原创 Openstack O版本以上安装Nova 出现plancement相关错误问题

由于官方文档没有对该部分进行相应的解释,故创建过程会出现相应的问题,具体的安装步骤如下:1)控制结点mysql -u root -pCREATE DATABASE nova_api;CREATE DATABASE nova;CREATE DATABASE nova_cell0;GRANT ALL PRIVILEGES ON nova_api.* TO'nova'@'loca...

2019-10-31 10:43:48 617

原创 Nova Compute启动报错(no polkit agent available to authenticate action org.libvirt.unix.manage)

主要是WebVirtMgr的安装导致出现的错误,解决方法如下:1、增加libvirtd用户组 groupadd libvirtd2、设置用户到组 sudo usermod -a -G libvirtd $USER3、设置启动libvirtd服务的用户组 vi /etc/libvirt/libvirtd.conf 4、增加权限启动配置...

2019-10-30 19:56:18 664

原创 Kubernetes 首次创建Pod报错No API token found for service account "default", retry after the token is auto

Kubernetes 初始集群创建首个Pod时候报错:Error from server (ServerTimeout): error when creating "hello-world-pod.yaml": No API token found for service account "default", retry after the token is automatically cre...

2019-10-19 11:45:43 736

原创 Kubernetes 入门介绍

Kubernetes基础知识 Kubernetes;首先,他是一个全新的基于容器技术的分布式架构领先方案。在Docker技术的基础上,为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能,提高了大规模容器集群管理的便捷性。 Kubernetes是一个完备的分布式系统支撑平台,具有完备的集群管理能力,多扩多层次的安全防护和准入机制、多租户应用支撑能力、透明的服...

2019-10-17 17:19:43 798

原创 LVS&&KeepAlived&&Nginx实现LB方案

相应概念部分:LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。Keepalived作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部...

2019-09-11 11:53:15 1384

原创 Ambari修改DataNode存储目录

操作背景:HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时,需要修改DataNode的存储目录,以保障HDFS的正常工作,假定我们现在对应的HDFS数据盘位置为:/hadoop/hdfs/data; 预将数据目录迁移至/data/hadoop/hdfs/data目录底下;目前操作系统受影响情况:1) 更改DataNode存储目录需要停止HDFS服务,在此期...

2019-09-08 21:10:28 1352

原创 Devstack安装Openstack L版本

ubuntu14通过devstack安装openstack:参照网址: http://docs.openstack.org/developer/devstack/ http://www.07net01.com/2015/11/958333.htmlubuntu14_64的vm(ubuntu15支持的不好);修改源指向163apt-get updateadduser s...

2019-03-21 10:47:05 837

原创 Openstack计算节点高可用性实现

主要相关步骤:1: nova service-disable xxxxxx node-type; xxxxx为计算结点的host_name, 非必要步骤。2: nova service-list; 确定一下待疏散的计算结点,在控制结点上的状态必须处于down状态,不然会导致疏散不成功3: 为了防止脑裂,需要进一步确保待疏散的计算结点,处于关机状态(待讨论)4: nova list ...

2019-03-21 10:23:09 1672

原创 Nova实现虚拟机密码重置功能

qga是一个运行在虚拟机内部的普通应用程序(可执行文件名称默认为qemu-ga),其目的是实现一种宿主机和虚拟机进行交互的方式,这种方式不依赖于网络,而是依赖于virtio-serial(默认首选方式)或者isa-serial,而QEMU则提供了串口设备的模拟及数据交换的通道,最终呈现出来的是一个串口设备(虚拟机内部)和一个unix socket文件(宿主机上)。qga通过读写串口设备与宿主机上的...

2019-03-21 10:12:07 1770

原创 ISO格式云主机创建QCOW2格式镜像

1: 找到ISO镜像,创建的可运行云主机2:点击右边下拉框3:镜像列表观察,镜像创建情况镜像创建中, 格式为ISO镜像创建完成,格式为RAW,即qcow2镜像在ceph中的格式;4:拿镜像直接创建云主机(不需要再经过ISO镜像创建的过程)...

2019-03-20 15:46:55 1639

Curl、Pthreads动态链接库

Http网页抓取代码用到的开源数据包。是动态链接库文件dll

2014-10-21

定时关机程序C++实现源代码

编程实现计算机定时关机的代码?C++编程实现。

2014-07-27

安卓抓包tcpdump工具.rar

安卓抓包一个工具,用于安卓系统抓包, 用于分析app对应的url请求数值,了解app后端运行,可用于抓包分析等之类的工具

2020-05-07

cirros-1.1.0-x86_64-disk.zip

Openstack 测试基础功能采用的镜像Cirros镜像, 大小为12M左右,提供功能测试使用

2019-10-30

HDP 版本升级XML.zip

Ambari 大小版本升级所涉及到的对应的XML文本, 用于管理Ambari不同的HDP版本

2019-09-17

Keepalived&nginx;安装包.zip

通过LVS、Keepalived以及nginx等实现LB方案,需要涉及到的离线安装包

2019-09-09

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除