python
python
allen sue
关注:数据从业者,爱好并致力于分析挖掘
邮箱:fish-work@163.com
展开
-
Jax, Numpy & Scipy
Google开源的Jax据说很厉害,主要是用来解决numpy在GPU上支持度不太友好的开源包(PyTorch,Cupy,Numba等均同此),今天小试一下,确实有优秀的地方测试(仅限很少部分的numpy api,文档中有Scipy的api)Version随机数 & jax替换numpy的点乘jit函数梯度计算Reference官方文档Github...原创 2021-02-16 18:24:40 · 924 阅读 · 0 评论 -
python并发与并行
并发与并行的区别并发:concurrency。单个cpu+多道技术就可以实现并发并行:parallel:同时运行,只有具备多个cpu才能实现并行使用场景计算密集型多核CPUmultiprocessingJoblibsklearn.externals.joblib分布式parallelCeleryredisrabbitmqdemo testGPU自己写CUDA内核numbacupypycudapyopenclmarsIO密集原创 2020-06-15 18:28:02 · 358 阅读 · 0 评论 -
Python代码规范与结构
代码规范PEP8pylintGoogle Style Guid其它的一些说明对于config.py,不要在程序中直接import config写死,可通过main函数参数的形式来增加灵活性代码效率编写高质量代码改善 Python 程序的 91 个建议代码结构Python最佳实践指南2018Kenneth Reitz 建议的DemoREADME.rstLICENSEsetup.pyrequirements.txt# 具体模块sample/__init__.py原创 2020-06-08 17:14:26 · 411 阅读 · 0 评论 -
Python读取配置文件之python2与python3的区别
python3from configparser import ConfigParserclass ReadIni(object): """ read ini config file """ def __init__(self, config_ini): self.config_info = ConfigParser() self.config_info.read(config_ini) def read_mysql_config(self): ".原创 2020-06-04 16:11:22 · 297 阅读 · 0 评论 -
python之爬虫
get cookieres = requests.post(url=url, data=data, headers=headers[, allow_redirects=False])cookie = requests.utils.dict_from_cookiejar(res.cookies)302(重定向):请求的url为真实的url,header中的referer为重定向之前的urlSSLroutiness, ssl3_read_bytes, sslv3 alter handshake fa.原创 2020-06-01 18:11:03 · 104 阅读 · 0 评论 -
python之logger
方法一import logginglogging.basicConfig(level = logging.INFO,format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s')logger = logging.getLogger('my logger')方法二import logging#create loggerlogger = logging.getLogger('my logger')logger.setLevel(.原创 2020-06-01 18:02:50 · 153 阅读 · 0 评论 -
Python代码审查
pylint官网pycharm pluginsinstallsetting -> Plugins --> pylint install and restart配置基本执行:pylint xx.py输出的几个级别C(Convention):违反了编码风格标准R(Refactor):写得非常糟糕的代码,需要重构W(Warning):E(Error)F:致命错误...原创 2020-05-30 11:52:50 · 524 阅读 · 0 评论 -
python download不带文件名的文件/文件流
需求:需要下载文件,文件为zip的压缩包,url不现实任何文件格式 def download_file(): filepath = './data/' file_name = '{}{}.zip'.format(filepath, self.day) url = 'https://xx.com/download.do?custId=11...原创 2020-03-09 10:45:41 · 1049 阅读 · 0 评论 -
[集锦]Python位运算
参考来源:Matrix67基本位运算运算符说明演示<<左移nnn位相当于 ×2n\times 2^n×2n5 << 3 == 5 * np.power(2, 3)>>右移nnn位相当于 ×12n\times \frac{1}{2^n}×2n1128 >> 3 == 128 / np.power(2, 3)...原创 2019-12-19 15:30:20 · 328 阅读 · 0 评论 -
Python未定义参数的传参与识别
命令行传参方式: 类似shell的命令行执行Python脚本,参数列于脚本后获取方式:sys.argc案例脚本 import sys for i, parm in enumerate(sys.argv): # 第一个参数为函数名 if i == 0: continue print(parm)执行python python_name.py ...原创 2019-12-12 10:00:55 · 897 阅读 · 0 评论 -
python读取chrome/firefox本地缓存cookie
# chromedef get_cookie_from_chrome(hosts_list=None): cookiepath=os.environ['LOCALAPPDATA']+r"\Google\Chrome\User Data\Default\Cookies" sql = "select host_key,name,encrypted_value from cookies...原创 2019-05-22 10:35:17 · 3475 阅读 · 6 评论 -
python操作hdfs
from pyhdfs import HdfsClientfrom config import configclass OperaHdfs(object): def __init__(self): self.hosts = 'nn1.example.com:50070,nn2.example.com:50070' self.fs = HdfsClie...原创 2019-05-14 13:04:19 · 133 阅读 · 0 评论 -
python aes加解密
from Crypto.Cipher import AESfrom binascii import b2a_hex, a2b_hexclass AesCode(object): def __init__(self, key='1234567812345678', iv='1234567812345678', mode=AES.MODE_CBC): self.key ...原创 2019-05-09 09:31:01 · 239 阅读 · 0 评论