2017年12月_weixin_38166686

转载通过scrapy，从模拟登录开始爬取知乎的问答数据

这篇文章将讲解如何爬取知乎上面的问答数据。首先，我们需要知道，想要爬取知乎上面的数据，第一步肯定是登录，所以我们先介绍一下模拟登录：先说一下我的思路： 1.首先我们需要控制登录的入口，重写start_requests方法。来控制到这个入口之后，使用callback回调函数来调用login函数. 2.在login函数中通过response.text获取到该页面的H...

2017-12-23 17:42:00 371

转载 Flunetd 用于统一日志记录层的开源数据收集器

传统的日志查看方式使用fluentd之后一、介绍 Fluentd是一个开源的数据收集器，可以统一对数据收集和消费，以便更好地使用和理解数据。几大特色：使用JSON统一记录简单灵活可插拔架构最小的资源需求内置可靠性 1. JSON统一记录 Fluentd尽可能地将数据结构转化为JSON格式，这样可以使Fluentd统一处理日志数据的各个方面：收集，过滤，缓冲和输...

2017-12-20 17:31:00 74

转载 [NOIp 2017]列队

Description Sylvia 是一个热爱学习的女孩子。前段时间，Sylvia 参加了学校的军训。众所周知，军训的时候需要站方阵。 Sylvia 所在的方阵中有$n \times m$名学生，方阵的行数为 $n$，列数为 $m$。为了便于管理，教官在训练开始时，按照从前到后，从左到右的顺序给方阵中的学生从 1 到 $n \times m$ 编上了号码（参见后面的样例）...

2017-12-17 21:58:00 51

转载 MySQL5.7新特性--官方高可用方案MGR介绍

MGR简介 MySQL Group Replication（下简称：MGR）是MySQL官方推出的一种基于Paxos协议的状态机复制。在MGR出现之前，用户常见的MySQL高可用方式，无论怎么变化架构，本质就是Master-Slave架构。MySQL 5.7版本开始支持无损半同步复制（lossless semi-sync replication），从而进一步提示数据复制的强一致...

2017-12-15 14:50:00 266

转载查看Android应用包名、Activity的几个方法

一、没有apk，应用已经安装到手机或虚拟机中 1.logcat .清除logcat内容，使用命令adb logcat -c .启动logcat，使用命令adb logcat ActivityManager:I *:s .启动要查看的程序 2hierarchyviewer.bat packagename、activity、控件属性一齐都搞了~ 二、只有Apk的情况 a...

2017-12-13 11:33:00 45

转载 Server Tomcat v7.0 Server at localhost failed to start.

在学习Servlet时，运行程序时报错：Server Tomcat v7.0 Server at localhost failed to start.如图网上查的原因主要是改web.xml配置文件，但修改后并未成功。后来才发现原因不在配置文件。严重: A child container failed during start java.util.concurrent.E...

2017-12-12 10:50:00 52

转载 Linux常用命令

1、查看端口占用 netstat -ntpl 转载于:https://www.cnblogs.com/liyangLife/p/8005051.html

2017-12-08 13:53:00 40

转载【例题 7-7 UVA - 1354】Mobile Computing

【链接】我是链接,点我呀:) 【题意】在这里输入题意【题解】秤砣都是在叶子节点。可以把它看成一个二叉树。则我们每次只需要选择任意两个"节点",让他们组成一棵二叉树就可以了。然后虚拟出来一个节点,代表这个子树的根节点。每次维护一下每个子树的左子树最左端离树的中心距离以及最右端离树的中心的距离即可。虚拟生成的节点作为一个新的节点动态加入即可。(它的子孙节点们...

2017-12-06 20:19:00 56

转载 app测试工具monkey

一、什么是Monkey 顾名思义，Monkey就是猴子， Monkey测试，就像一只猴子，在电脑面前，乱敲键盘在测试。猴子什么都不懂，只知道乱敲通过Monkey程序模拟用户触摸屏幕、滑动Trackball、按键等操作来对设备上的程序进行压力测试，检测程序多久的时间会发生异常二、Monkey 用来做什么 Monkey 主要用于Android 的压力测试自动的一个...

2017-12-04 14:06:00 80

转载 linux交换空间

swap空间有两种形式：一是交换分区，二是交换文件。总之对它的读写都是磁盘操作。 linux内存通过virtual memory 虚拟内存来管理整个内存，虚拟内存管理着物理内存，也管理着swap交换空间。 Swap分区，即交换区，Swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很...

2017-12-03 13:11:00 60

weixin_38166686的博客