彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

排序:
默认
按更新时间
按访问量

Jinja2循环计数内置变量

变量 内容 loop.index 循环迭代计数(从1开始) loop.index0 循环迭代计数(从0开始) loop.revindex 循环迭代倒序计数(从len开始,到1结束) loop.revindex0 循环迭代倒序计数(从len-1开始,到0结束) loo...

2018-12-09 15:29:01

阅读数:3

评论数:0

Python编程:fnmatch匹配文件名

fnmatch提供了一种类似 Unix shell-style 风格的文件名匹配方式 匹配模式 * 匹配任何字符 ? 匹配一个字符 [seq] 匹配在集合seq 中的任意字符 [!seq] 匹配不在集合seq 中的任意字符 代码示例 import fnmatch filenames = [ ...

2018-12-09 14:44:29

阅读数:3

评论数:0

Scrapy可视化管理管理工具总结

本文总结了与Scrapy框架相关的一些开源工具 scrapyd 项目地址:https://github.com/scrapy/scrapyd Scrapyd 是一个运行 Scrapy 爬虫程序的服务 pip install scrapyd scrapyd # 启动服务 环境测试: http:...

2018-12-09 12:46:18

阅读数:5

评论数:0

通过sqoop将mysql数据导入到hive中进行计算示例

hive计算示例 先将数据通过sqoop从mysql导入hive,在hive执行mysql的查询语句,得到与mysql一样的执行结果 步骤: mysql数据准备 account账号表 detail收支数据表 CREATE TABLE `account` ( `id` int(11) P...

2018-12-05 23:44:42

阅读数:9

评论数:0

Python编程:使用money对货币进行计算

money模块对货币进行简单的包装,实现简单的货币计算 安装 pip install money 代码示例 from money import Money m1 = Money("2.0", "RMB") print(m1...

2018-12-05 10:45:15

阅读数:10

评论数:0

Python编程:使用decimal定点数计算0.1+0.2

浮点型加法 0.1+0.2 Out[15]: 0.30000000000000004 decimal定点数加法 import decimal decimal.Decimal(0.1) + decimal.Decimal(0.2) Out[17]: Decimal('0.300000000000...

2018-12-05 10:32:32

阅读数:7

评论数:0

设置linux断开时长

修改文件 vim /etc/ssh/sshd_config # ClientAliveInterval 0 # ClientAliveCountMax 3 ClientAliveInterval 60 ClientAliveCountMax 3 解释: ClientAliveInterval...

2018-12-04 23:37:02

阅读数:4

评论数:0

Can't connect to local MySQL server through socket '/tmp/mysql.sock'

跟着linux安装MySQL教程做的时候,执行到 ./bin/mysqladmin -u root password 123456 mysql报错 错误:'Can't connect to local MySQL server through socket '/tmp/mysql.sock' ...

2018-12-02 16:20:03

阅读数:12

评论数:0

Python实现一个最简单的MapReduce编程模型WordCount

MapReduce编程模型: Map:映射过程 Reduce:合并过程 import operator from functools import reduce # 需要处理的数据 lst = [ "Tom", "Jac...

2018-11-29 22:25:19

阅读数:14

评论数:0

中文计数法亿兆京垓秭穰沟涧正载

个、十、百、千、万、 亿yì、兆zhào、京jīng、垓gāi、秭zǐ、 穰rǎng、沟gōu、涧jiàn、正zhèng、载zǎi 读音各异,不做深入探究了, wiki上是这样的 https://zh-classical.wikipedia.org/wiki/表數法 从小到大表示: 个 十 百 ...

2018-11-29 18:43:34

阅读数:19

评论数:0

Python编程:zope.interface实现接口

pypi : https://pypi.org/project/zope.interface/ 文档:https://zopeinterface.readthedocs.io/en/latest/index.html 面向对象中接口负责定义规则,具体实现类来实现规则 安装 pip install ...

2018-11-28 16:47:25

阅读数:22

评论数:0

配置Pycharm的Scrapy爬虫Spider子类通用模板

# -*- encoding: utf-8 -*- """ @Date : ${YEAR}-${MONTH}-${DAY} @Author : xxx "&quot...

2018-11-27 13:54:57

阅读数:18

评论数:0

使用MapReduce计算用户流量使用情况

mapreduce任务调度 理解map和reduce的数据流的数据结构 项目地址:https://github.com/mouday/MapReduceDemo 参考 使用Intellij Idea打包java为可执行jar包 Idea打包Jar文件 idea创建普通java工程,添加ja...

2018-11-27 00:43:59

阅读数:11

评论数:0

java:MapReduce原理及入门实例:wordcount

MapReduce原理 MapperTask -> Shuffle(分区排序分组) -> ReducerTask MapReduce执行步骤 Map处理任务 读取文件每一行,解析成&l...

2018-11-26 00:14:18

阅读数:14

评论数:0

程序员如何选择编程语言

很多人关心这个问题,其实一张图足以说明每个语言的位置 没有最好的语言,只有最适合的应用场景 参考: c#,c++,Java,Python选择哪个好?

2018-11-24 13:57:53

阅读数:77

评论数:0

Java: Hadoop文件系统的读写操作

所需jar包路径: hadoop-2.8.5/share/hadoop/common hadoop-2.8.5/share/hadoop/common/bin hadoop-2.8.5/share/hadoop/hdfs hadoop-2.8.5/share/hadoop/hdfs/bin j...

2018-11-24 00:04:32

阅读数:38

评论数:0

TypeError: 'encoding' is an invalid keyword argument for this function

python 2.7版本 data_file = open("data.txt", "r", encoding='utf-8') 运行的时候报错: TypeError: 'encoding' is an invalid ke...

2018-11-23 18:03:27

阅读数:15

评论数:0

一图看懂ADSL拨号服务器

基本原理就是: 拨号主机(多台)负责切换ip 固定主机(一台)负责收集ip 爬虫主机(多台)负责使用ip 参考 使用Tornado+Redis维护ADSL拨号服务器代理池 ...

2018-11-22 19:23:59

阅读数:18

评论数:0

linux直接下载java

网上的教程好多是下载到本地,再拷贝到服务器上 因为Oracle官网下载java需要点击接受按钮,如果不接受就会被跳转 参考了一些文章之后,发现: 只要把点击确定后的的cookie复制下来,加到下载请求头里边就行,例如: wget --no-cookies --no-check-certificat...

2018-11-19 23:01:40

阅读数:14

评论数:0

PyCharm文件删除后提示文件找不到:递归删除目录下pyc文件

PyCharm代码删除后,会提示文件找不到,这是由于.pyc 字节码文件没有删除,运行的是之前的代码编译好的*.pyc 字节码文件 解决办法: 删除*.pyc 文件 删除当前目录下.pyc文件 $ rm -rf "*.pyc" 递归删除目录下.pyc文件 ...

2018-11-19 21:31:33

阅读数:55

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭