彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

Java爬虫:使用WebMagic构建最简单的爬虫项目

资料 WebMagic的架构设计参照了Scrapy 项目主页:http://webmagic.io/ github地址:https://github.com/code4craft/webmagic 项目文档:http://webmagic.io/docs/zh/ 环境配置 使用 IntelliJ...

2019-04-21 20:13:39

阅读数 1

评论数 0

Python编程:获取一个类对象的属性和方法

python3.6 下测试 # -*- coding: utf-8 -*- class Demo(object): name = "demo" def instance_func(self): pass @classmethod ...

2019-04-21 18:13:51

阅读数 13

评论数 0

Python编程:fabric实现SSH链接管理服务器

fabric 可以很轻松的实现 SSH链接 安装 pip install fabric 查看版本 $ fab --version Fabric 2.4.0 Paramiko 2.4.1 Invoke 1.2.0 编写任务 fabfile.py # -*- coding: utf-8 -*- ...

2019-04-18 10:44:24

阅读数 59

评论数 0

Python编程:使用doctest进行文档测试

doctest模块是内置模块 应用举例 # -*- coding: utf-8 -*- def add(x, y): """ 求和 x + y Args: x: int y: int Returns:...

2019-04-17 18:31:57

阅读数 9

评论数 0

Git:git pull每次都要求输入用户名和密码

git pull 每次都要求输入用户名和密码 配置 git config --global credential.helper store 查看git配置 git config --list 参考: git 为不同的项目设置不同的用户名和邮箱 ...

2019-04-17 15:39:19

阅读数 9

评论数 0

计划评审技术(PERT)三点估算法计算工期、标准差、完成概率

PERT(Program/Project Evaluation and Review Technique)计划评审技术 P 代表最悲观工期 pessimistic M 代表最可能工期 may O 代表最乐观工期 optimistic PERT公式 Te=To+4Tm+Tp6 T_e = \frac...

2019-04-17 13:02:13

阅读数 60

评论数 0

Html:正确给table表格加边框

给表格加边框 <table border="1" cellspacing="0"> 效果 参考 Html-浅谈如何正确给table加边框

2019-04-17 12:47:31

阅读数 11

评论数 0

Python爬虫:滤网架构处理爬虫数据

业务场景: 1、爬虫数据直接入库会出现id自增过大的问题。要么就入库之前做一次查询,确保数据不存在再插入,这样一来就速度就减慢了。而且,爬虫程序运行速度往往较快,查询操作过多对数据库造成压力也不小。 2、一个表的数据分别来自不同地方,需要多个程序对其进行数据补全操作,这样一来,就会出现数据缺失现象...

2019-04-17 11:05:46

阅读数 11

评论数 0

净现值NPV、回收期、收益率计算方法

净现值NPV Net Present Value 净现值(NPV)= 未来现金净流量现值 一 原始投资额现值 公式 NPV=∑CI−CO(1+i)t NPV=\sum\frac{CI-CO}{(1+i)^t} NPV=∑(1+i)tCI−CO​ CI 现金流入 CO 现金流出 i 折现率 t 年...

2019-04-17 09:56:20

阅读数 13

评论数 0

Python编程:python-attrs模块的简单使用

文档:http://www.attrs.org/en/stable/index.html attrs 可以简单理解为namedtuple的增强版 安装 pip install attrs 代码示例 1、定义一个tuple p1 = (1, 2) p2 = (1, 2) print(p1 == ...

2019-04-16 14:13:00

阅读数 60

评论数 0

MySQL:添加和查看表注释、字段注释

添加注释 创建表的时候写注释 create table student ( name varchar(20) comment '字段的注释', age int comment '字段的注释' )comment='表的注释'; 修改注释 修改表的注释 alter table student c...

2019-04-15 20:17:16

阅读数 8

评论数 0

Python编程:使用sqlalchemy对数据库进行增删改查

连接数据库 # -*- coding: utf-8 -*- from sqlalchemy import create_engine, text db_url = "mysql://root:123456@127.0.0.1:3306/demo" engine = cre...

2019-04-14 23:07:32

阅读数 14

评论数 0

Python编程:使用pythink查询数据库

github:https://github.com/mouday/PyThink 说下这个pythink模块的作用 背景: 我们公司的主要使用的后端语言有两种,python和php Python爬虫MySQL数据库PHP业务处理 而且有一个专门的DBA管理数据库,就是说,这个数据库不是你一个人的,...

2019-04-14 11:30:10

阅读数 55

评论数 0

Python编程:Python2 和 Python3的字符串字典取值和MD5比较

python2 和 python3的字符串类型 # 3.6.0 >>> type("你好") <class 'str'> # 2.7.5 >>> type(&qu...

2019-04-11 18:18:56

阅读数 14

评论数 0

MySQL:date_format格式化时间格式

示例 select date_format(create_time,'%Y-%m-%d %H:%i:%S') from table_name # 2019-04-10 18:35:43 参数说明 格式 描述 %a 缩写星期名 %b 缩写月名 %c 月,数值 %D 带有英文前缀的月中的天...

2019-04-11 15:32:47

阅读数 11

评论数 0

Python编程:scrapy中使用logging,日志出现多次

同时使用scrapy.log和logging,日志会多次出现在控制台 通过 logger 成功解决 import logging logger = logging.getLogger(__name__) logger.setLevel(level=logging.DEBUG) logger.d...

2019-04-09 16:10:09

阅读数 19

评论数 0

Python编程:手机号匹配正则表达式

正则表达式 ^1(3[0-9]|4[579]|5[0-3,5-9]|6[6]|7[0135678]|8[0-9]|9[89])\d{8}$ 正则匹配示意图 图片生成:https://regexper.com/ 参考: 2018 手机号正则 最新、最全、最准确的手机号正则表达式 ...

2019-04-09 10:22:05

阅读数 24

评论数 0

Python编程:getattribute和getattr访问对象属性顺序

访问类属性的顺序: getattribute -> 如果没有找到属性,则引发异常AttributeError -> AttributeError 异常会触发 getattr,如果没有实现getattr 则抛出异常 代码示例 # -*- coding: utf-8 ...

2019-04-08 15:12:17

阅读数 29

评论数 0

MySQL:模糊查询LIKE、REGEXP、IN

1、[NOT] LIKE 百分号(%):任意个或多个字符 下划线(_):任意单个字符 SELECT * FROM students WHERE name LIke '王%‘; 2、[NOT] REGEXP 字符 . 任何单个的字符 […]在方括号内的任何字符 ^ 匹配开始 $ 匹配结尾 数量 *...

2019-04-04 10:32:25

阅读数 21

评论数 0

Jenkins设置流水线Pipeline定时任务

1、新建流水线任务 2、构建触发器 * * * * * # 为每分钟执行 # 分时日月周 与crontab一样 3、流水线任务 定义(Pipeline script) 流水线语法 -> 片段生成器 示例步骤(sh: Shell Script) echo $(date &...

2019-04-03 17:00:34

阅读数 24

评论数 0

提示
确定要删除当前文章?
取消 删除