风之独行者-CSDN博客

原创 python 多线程爬取网络小说

作为一名喜欢看网络小说的程序员，得学会自力更生，这里编写了一个网络爬虫，爬取网络小说，分享一下，抛砖引玉主要逻辑：1.先从目录页，爬取所有目录名称与URL，此时可能会有重复目录章节，所以代码里面加了目录去重2.目录爬取成功之后，拉起多线程，去爬取每章节内容，并保存在D盘Book目录下3.最后，将所有章节拼接起来，整理格式，合并成一本电子书参数：本脚本对小说网站笔趣阁适配较好，遇到网页结构差别太大的，可能不适配1.url1 为小说目录URL2.url2 拼接章节url用。.

2020-05-23 15:52:56 1682 2

原创 Ubuntu14.04安装Gevent

问题描述：我们的服务器偶尔会挂机，是因为python使用的Flask是非阻塞模式，多个任务冲突就容易会造成服务器不响应解决方法：使用gevent使flask支持非阻塞模式 Gevent是一个基于greenlet的Python的并发框架，以赖于greenlet和libevent库，因此安装Gevent前，首先需要安装greenlet和libevent1.安装greenlet执行下面命

2017-06-23 09:52:53 1912 1

转载深入flask之异步非堵塞实现

官方其实已经给出了方案，只不过藏的有点深，在加上网上有很多不太靠谱的帖子误导了我（当然不排除我没理解的原因哈）。所以为了让有些朋友的少走点弯路，也为给自己做个备忘。完整代码:https://github.com/wskssau/my_notespace的 Python/todo_app解决方案: flask+gevent安装geventpip install geven

2017-06-22 09:35:58 887

原创 selenium geckodriver firefox兼容性问题

我这里用的代码是Python，在一次做使用selenium webdriver执行js脚本去除输入框只读属性时，一直报错，找了好多解决方法，废了几天时间，仍未解决，后偶然发现是兼容性问题，问题解决，特此记录一下。最开始我的环境配置如下Linux环境selenium 3.4.0geckodriver 13firefox 45.0.1 结果：能打开网页，输入点击正常，不能执行带'$'

2017-06-21 10:21:39 1303

转载 Python中的推导式使用详解

推导式是Python中很强大的、很受欢迎的特性，具有语言简洁，速度快等优点。推导式包括:1.列表推导式2.字典推导式3.集合推导式嵌套列表推导式NOTE: 字典和集合推导是最近才加入到Python的(Python 2.7 和Python 3.1以上版). 下面简要介绍下:【列表推导式】列表推导能非常简洁的构造一个新列表:只用一条简洁的表达式即可对得到的元素进行转换变形

2017-06-17 22:47:14 423

原创使用Maven + testNG跑测试代码

首先，附上pom.xml中的build配置 org.apache.maven.plugins maven-surefire-plugin 2.12.4 testng.xml false org.apache.maven.plugin

2017-06-17 15:40:55 4387 1

原创 Python 定制序列实例

定制序列class CountList: def __init__(self, *args): self.values = [x for x in args] self.count = {}.fromkeys(range(len(self.values)), 0) def __len__(self): return len(se

2017-06-16 21:59:28 426

原创 Python2.7 描述符实例

实例class Celsius(object): def __init__(self, value = 26.0): self.value = float(value) def __get__(self, instance, owner): return self.value def __set__(self, instance, v

2017-06-14 22:28:26 367

原创 Sql Server 存取过程读取表中数据，修改后再逐条插入

存取过程，使用游标遍历表中数据，修改字段后，逐条插入表中，实现测试数据构造-- 创建存取过程CREATE PROCEDURE ADD_EventDataASBEGIN DECLARE @DataID INT, @EventID VARCHAR(50), @EventLat VARCHAR(50), @EventLon VARCHAR(50), @EventClass V

2017-06-09 09:44:25 1115

原创 Python 简单的定制一个计时器

这里写了一个计时器实例，来自Python课堂视频学习的代码#coding=utf-8import time as tclass Mytimer(): def __init__(self): self.unit = ["年","月", "日", "小时", "分钟", "秒"] self.prompt = "未开始计时！" self.

2017-06-09 09:34:30 5183 8

原创使用数据库统计批量业务花费的时间小窍门

场景：有时候我们需要统计一笔业务到底花费了多少时间，如发一批卡，下一批权限，通常，掐个秒表，等待它完成，但是如此做法感觉比较傻，且不准确。这里分享一个小方法，简单实用：给对应表加一个字段，自动记录每笔业务的时间。mysql语句：ALTER TABLE `表名` ADD COLUMN `CreateTime` datetime NULL DEFAULT

2017-06-07 14:44:38 459

原创 Python Selenium递归遍历frame定位元素

递归遍历frame经常用selenium定位元素时，定位方式试过，就是报找不到元素，然后发现元素在另一个frame里面，需要切换，多个frame的话，需要切来切去，十分不方便。这里封装一个方法findElement，可以递归遍历所有frame，一个个去找这个元素，直到找到为止，分享之。# -*- coding:utf-8 -*-from selenium import webdr

2017-06-06 16:01:53 2612

原创 Python 组合实例

Python 组合的一个小例子

2017-06-04 21:55:44 318

baidu_32432903的博客