qq_30717683-CSDN博客

原创工具开发，字节码技术

简介几个对比： https://segmentfault.com/a/1190000009956534ASMjavassist动态代理cglibBCELinstrumentjdt-ASTJavaAgent 是一种可以动态修改java字节码的技术，其实现原理内定的方法名是premainpremain: 启动时，配置javaagent参数来启动mainagentmain...

2019-10-27 23:24:49 265

原创质量保障，质量管控

，环境部署配置发布简介何为质量，质量模型，质量量化指标，如何保障，保障手段，保障流程，如何提升，质量管控，质量追踪为什么要做质量保障，质量监控如何实施实施中可能会碰到难点以及痛点模具=>数据来了 => 立即就能装载验证？？开发的再快，也不如模版随便拼拼凑凑的来的快协调推动落地的能力数据可视化用户行为数据，流程强控数据能力可视化:...

2019-10-27 23:23:54 431

原创分布式事务/一致性/配置/管理/锁/协调/通信

分布式事务缓存，一致性(集群数据同步或者分布式数据一致)配置:元数据，配置信息管理协调锁通信：mq RPC grpc监听: A是否可用，不可用启动备份，监听数据的变化是否消费->以便实现下一步幂等性: token方案+redis注册中心顺序性mq:配置:元数据，配置信息协调管理通信：mq ,顺序性mq:监听: A是否可用，不可用启动备份，监听数...

2019-10-27 23:20:20 220

原创 Agile Testing学习

简介为什么提出了敏捷测试的思想敏捷测试的理念是什么如何通过流程改进实现敏捷思想如何通过技术支持实现敏捷思想如何把事情做的有条不紊而且又快又好如何快速的构建一套测试流(而且是自动化构建-能根据不同特性实施)如何全流程的提高效率(从需求产品、视觉、开发、项目…)1. 敏捷测试的理念Agile Testing involves all members of the projec...

2019-10-27 23:19:09 617

原创压测面试题

面试即是一场战斗，双方你来我往，见招拆招，需要展示自己，也需要从对方的问题切入，给与对方想要的答案问的每个问题，都是想知道你的经验，技术，表述,性格...等方面的能力回答分层次，要有体系三部分1. 发压场景设计执行，-> 压测平台的实现 -> 容量评估，流量预估2. 系统指标以及监控观测(全链路以及发压系统)->观测指标->确定系统瓶颈以及高并发下的场景问题...

2019-10-27 23:20:58 1785

原创 Linux 学习笔记_Linux网络管理_详解

网络基础Linux网络配置Linux配置IP地址1. ifconfig命令临时配置IP地址ifconfig命令：查看与配置网络状态命令ifconfig eth0 192.168.0.200 netmask 255.255.255.0#临时设置eht0网卡的IP地址与子网掩码2. setup工具永久配置IP地址红帽子专有图形化界面3. 修改网络配置文件（标准模式）3.1 网卡信息文件v

2017-11-03 00:05:39 519

原创 Linux 学习笔记_Linux服务管理（找到对应的文件）详解

简介与分类### 系统的运行级别运行级别含义 0 关机 1 单用户模式，可以想象为Windows额安全模式，主要用于系统修复 2 不完全的命令行模式，不含NFS模式 3 完全的命令行模式，就是标准字符界面 4 系统保留 5 图形模式，首先得有 6 重启动，不可靠，用shutdown运行级别命令# runlevel //查看运行

2017-11-03 00:04:32 436

原创 Scrapy学习笔记九--Downloading and processing files and images

item pipelines 对爬取的数据进行处理，如下载图片，保存等等Files Pipeline 处理文件Images Pipeline 处理图片下载每个pipelines都需实现以下特色：如果最近有下载记录，避免重复下载指定存储media（爬取的数据）的路径images Pipeline 增加了额外的功能：将下载的图片转化为同一的格式JPG和RGB生成缩略图检查图片长宽确保

2017-04-13 16:01:22 454

原创 Scrapy学习笔记VIII--Feed exports

当爬取完数据后，可以产生一个“export file”（输出文件）–>export feed(反馈报告)，可以被其他系统所使用消耗scrapy提供 Feed Exports，可以为items产生一个feed（文件如json，CSV，xml等），然后格式化的存储到后端Serialization formats 当你爬取数据后，想把数据保存在本地路径（如json格式）或者其他地方，scrapy 使用（

2017-04-12 16:06:49 1281

原创 Scrapy学习笔记VII--Item Pipeline

通过spider爬取到所需的数据存放在item后，item可以发送到item pipeline 进行进一步的处理（通过几个组件-python class），如是否需要pipeline进行进一步处理，或者丢弃，或者不再处理它。item pipeline 使用场景：清除HTML数据验证爬取的数据（检查是否包含某一字段）检查是否有重复数据（duplicate），然后去重把爬取的数据（scraped

2017-04-11 15:07:49 540

原创 Scrapy学习笔记VI--Item Loaders

Item Loaders理解：Items为爬取的数据提供容器，而Item Loaders为容器填充数据（提取数据的路径、规则等等……为了方便，便于管理、扩展）from scrapy.loader import ItemLoaderfrom myproject.items import Product # 项目中已经定义的items 类def parse(self, res

2017-04-07 15:36:37 572

原创《思科网络基础知识》学习笔记II—网络编址.ipv4&ipv6

IPv4地址网络部分+主机部分网络编址的意义：是不同的网络或者同一网络中的主机实现数据通信（网络层协议）寻址8、4、2、1、0 二进制与十进制的转换 32位数（二进制）：10101100000100000000010000010100 点分十进制：172.16.4.20通信的编址类型：单播、广播、组播（多播）定向广播（特性网络）可进行配置操作有限广播（本地网络）主机位为1组

2017-04-07 00:10:14 1306

原创 Scrapy学习笔记V--Items 爬虫数据的存储.数据模板

当我们利用爬虫程序从源数据中提取（extract）自己所需要的数据，如N个电影名，N个电影作者，不同排名，不同点赞数，不同下载地址，文章内容或者一些其他数据，并把这些提取的内容存储到一个Python字典中返回但是字典存储数据会出现排版或者前后不一致的情况，尤其是在大型的爬虫程序中那提取的数据应该保存在哪里？又能保持数据的一致性呢？Item scrapy中item 类中提供容器收集这些爬取的

2017-04-06 17:52:35 753

原创 python中的virtualenv安装配置学习 windows

安装指令pip install virtualenvUsage：$ virtualenv ENV # 切换到所在目录，然后执行指令#! /path/to/ENV/bin/python #指定ENV环境变量

2017-04-06 15:14:12 339

原创 Scrapy学习笔记IV-Spiders

spider定义如何从站点爬取 class MySpider(scrapy.Spider): name = 'myspider' def start_requests(self): return [scrapy.FormRequest("http://www.example.com/login",

2017-04-06 14:51:47 281

原创 Scrapy学习笔记III-Command line tool

scrapy startproject myproject [project_dir]scrapy genspider mydomain mydomain.com #创建一个新的spiderscrapy <”command“> -h #查看所有可用指令global commands： startproject #创建一个新的项目 # scrapy startproject mypr

2017-04-05 18:10:47 425

原创 CSS学习笔记ing

CSS 概述层叠样式表（Cascading Style Sheets）定义如何显示HTML文档内容与样式分离，便于管理存储在CSS文件中外部样式表，多个样式可层叠为一HTML 标签原本被设计为用于定义文档内容。实现浏览器布局。CSS实现样式表现，布局与样式分离，甚至可以在同一个 HTML 文档内部引用多个外部样式表层叠次序浏览器缺省设置外部样式表内部样式表（位于* head*

2017-04-03 21:53:20 251

原创 XPath学习笔记

XPath使用路径表达式在XML文档中进行导航。使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。XPath 标准函数，超过100个內建函数XPath XPath 是 XSLT 标准中的主要元素。如果没有 XPath 方面的知识，您就无法创建 XSLT 文档XPath 是 W3C 标准XPath 术语节点（Node）：元

2017-04-03 00:13:19 513

原创爬虫框架Scrapy学习记录II--Selector学习

Selectors （选择器）当抓取网页时，一般都是从HTML源码中提取数据。 BeautifulSoup—网页分析库，缺点慢lxml，基于ElementTree的XML解析库Scrapy 拥有自己一套机制。即为选择器（selectors），通过特定的 XPath 和 CSS 表达式来选择HTML文件中的某个部分XPath 是一门用来在XML文件中选择节点的语言，也可以用在HTML上。 C

2017-04-02 00:15:01 379

原创 Scrapy学习中遇到问题及解决的方法

1.在执行scrapy crawl firstSpier（spider的名字）出现以下的报错：ImportError: No module named win32api解决办法：pip install pypiwin32

2017-04-01 14:09:29 357

原创爬虫框架Scrapy学习记录I--ing

Scrapy主要组件：引擎（Scrapy）—-类似于中央cpu，发动机，安排各个部门的任务调度器（Scheduler）—-队列，决定下一个抓取的URL下载器（Downloader）—下载网页的内容（资源），并Response给Spider{此下载器是建立在twisted这个异步模型上} ________twisted异步模型？？？？有待学习爬虫（Spiders）—获取自己需要的信息，

2017-03-31 20:10:31 553

原创获取apk包中的版本号，以此给文件重新命名

#!usr/bin/env python# -*- coding:utf-8 -*-# 1.".apk"文件必须符合命名规则"a-b-c-d..."的 2.将脚本放在需要修改文件的目录中 3.此脚本：os.rename()|os.chdir()|os.getcwd() \ re.compile()| re.findall \ str.split() \os.path....impo

2017-03-31 13:51:02 1248

原创 Python连接ftp，并对FTP进行操作

#!usr/bin/env python# -*- coding:utf-8 -*-# 作用登录连接FTP，当无法连接时，显示错误代码，ftp.connect()和ftp.login()# 可以了解FTP的环境搭建，了解ftp --help 即可import ftplibimport osimport socketfrom ftplib import FTPimport sysrelo

2017-03-31 12:03:58 3490

原创爬虫初探

对煎·····蛋网的图片进行批量下载，但此脚本下载会漏图（与该网站的限制有关）.输出信息时可能存在文字编码问题#!usr/bin/env python# -*- coding:utf-8 -*-# URl:http://jandan.net/ooxx/page-+str(1-3000)+#commentsimport multiprocessingimport osimport random

2017-03-31 11:55:10 260

原创实现匹配文件（并自定义命名）的批量拷贝，后续上传改良版

#! usr/bin/env python# -*- coding: utf-8 -*-#实现对文件的自定义命名的并批量复制，脚本并未对异常情况进行处理import osimport datetimeimport timeimport fnmatchimport reimport shutiltime = time.strftime("%Y%m%d%H%M%S") #定义时间的输出

2017-03-31 11:42:17 468

原创批量安装当前目录下的apk文件

#!/usr/bin/env python# -*- coding:utf-8 -*-import osimport sys# 脚本用来进行adb 批量push文件，并预置So库，逻辑为按照push脚本所在目录中list文件进行相应的apk下载。脚本所在目录应包含list（各个包）和so库文件夹# reload(sys)# sys.setdefaultencoding('utf8')# ad

2017-03-31 10:29:51 699

原创《思科网络基础知识》学习笔记I

Internet在我们现今生活中所扮演的重要角色人们获取知识的渠道或者是沟通交流： 1.口口相传 2.书本、报刊 3.互联网（载体、平台）通信工具：即时消息（IM）、博客、博客、维基、自媒体通信的规则也被称作协议(双方都遵守的规则)，一些通信所需的协议包括：标识出发送方和接收方双方一致同意的通信方法通用语言共同约定的传递速度和时间证实或确认要求成功的通信标志是信息的接收者所理解

2017-03-30 23:38:20 2782

转载欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-03-30 21:48:05 163

qq_30717683的博客