2018年04月_SunWuKong_Hadoop

原创 python3 拼接并批量生成sql

#coding=utf-8from openpyxl import load_workbook#读取excel的数据def read_excel(): #打开一个workbook wb = load_workbook(filename='data4.xlsx') #获取所有表格（worksheet）的名字 sheets = wb.get_sheet_names...

2018-04-27 17:10:50 2757 1

正则表达式模式模式描述^匹配字符串的开头$匹配字符串的末尾。.匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。[...]用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k'[^...]不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。re*匹配0个或多个的表达式。re+匹配1个或多个的表达式。re?匹配0个或1个由前面的正则表...

2018-04-26 16:44:26 290

转载 Python3 logging详解

Python3中logging详解官方文档中，logging的5个层级：实例代码：def logs(time,prov,type): log_name = prov+'_'+time file = ("/home/hjpt/log/cdr/comm_data_deal_logs/%s/" % (type))+log_name+'.log' logging.basicConf...

2018-04-26 12:02:12 14007

转载 python commands模块在python3.x被subprocess取代

subprocess可以执行shell命令的相关模块和函数有：os.systemos.spawnos.popen --废弃popen2.* --废弃commands.* --废弃，3.x中被移除import commandsresult = commands.getoutput('cmd')　　　＃只返回执行的结果, 忽略返回值.result = commands.ge...

2018-04-25 10:29:26 925

原创 python3中sys.argv的用法简明解释

学习网址：https://www.cnblogs.com/aland-1415/p/6613449.htmlhttps://blog.csdn.net/M1275601161/article/details/79383290例如：脚本中包含代码块如下if __name__ == '__main__': #从外传参，例如：xxx.py prov type date hour ...

2018-04-25 09:47:38 958

转载 Python3 正则表达式 re

Python3 正则表达式 re常用的功能函数包括：compile、search、match、split、findall（finditer）、sub（subn）1.compilere.compile(pattern[, flags])作用：把正则表达式语法转化成正则表达式对象flags定义包括：re.I：忽略大小写re.L：表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前...

2018-04-24 18:36:59 348

转载 Python的list循环遍历中，删除数据的正确方法

Python的list循环遍历中，删除数据的正确方法初学Python，遇到过这样的问题，在遍历list的时候，删除符合条件的数据，可是总是报异常，代码如下：num_list = [1, 2, 3, 4, 5]print(num_list)for i in range(len(num_list)): if num_list[i] == 2: num_list.pop(i...

2018-04-23 10:31:24 518

转载 SaaS架构设计

对于SaaS应用的可伸缩，最理想的情况：随着用户数的增大，系统架构不用做调整，而仅需要增加/增强相应的硬件设备（应用服务器、数据库服务器）即可。而通常强调的应用架构具有可伸缩性，一般指的是可以实现”Scale out”，即水平扩展或者向外扩展。而”Scale up”通常为垂直扩展或者向上扩展，也就是增强硬件设备，这种方式几乎是任何应用架构普遍适用的，但是通常都会面临高成本的问题。 1、...

2018-04-19 18:12:12 11284

转载 R语言和hadoop相亲相爱

Hadoop的家族如此之强大，为什么还要结合R语言？a. Hadoop家族的强大之处，在于对大数据的处理，让原来的不可能（TB,PB数据量计算），成为了可能。b. R语言的强大之处，在于统计分析，在没有Hadoop之前，我们对于大数据的处理，要取样本，假设检验，做回归，长久以来R语言都是统计学家专属的工具。c. 从a和b两点，我们可以看出，hadoop重点是全量数据分析，而R语言重点是样本数据分...

2018-04-19 17:04:31 298

原创 python3 校验社会统一信用代码

# -*- coding: utf-8 -*-import pandas as pdimport numpy as npimport pymysqlSOCIAL_CREDIT_CHECK_CODE_DICT = { '0':0,'1':1,'2':2,'3':3,'4':4,'5':5,'6':6,'7':7,'8':8,'9':9, ...

2018-04-19 16:41:29 680

SunWuKong_Hadoop的博客