python
小小北漂
专注于大数据开发、调优、运维和web、爬虫相关开发
展开
-
python中国源
Python在安装库的时候发现下载速度很慢,可以更换为国内源国内比较好的源:清华源:https://pypi.tuna.tsinghua.edu.cn/simple豆瓣源:http://pypi.douban.com/simple/阿里源:http://mirrors.aliyun.com/pypi/simple/解决办法一:在pip install 库名 -i 想要使用源如pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/si转载 2020-10-28 13:03:05 · 319 阅读 · 0 评论 -
别只用 Selenium,新神器 Pyppeteer 绕过淘宝更简单!
如果大家对Python爬虫有所了解的话,想必你应该听说过Selenium这个库,这实际上是一个自动化测试工具,现在已经被广泛用于网络爬虫中来应对JavaScript渲染的页面的抓取。但Selenium用的时候有个麻烦事,就是环境的相关配置,得安装好相关浏览器,比如Chrome、Firefox等等,然后还要到官方网站去下载对应的驱动,最重要的还需要安装对应的PythonS...转载 2020-01-07 11:50:30 · 354 阅读 · 1 评论 -
superset权限管理
Superset支持用户自定义创建一个角色,例如:您可以创建一个角色Financial Analyst,该角色将由一组数据源(表)和/或数据库组成。然后用户将被授予Gamma,sql_lab,或者自定义角色都可以。Superset的默认角色有:Admin、Alpha、Gamma、sql_lab、Public,下面介绍一下详细介绍一下每个角色的权限:1、Admin管理员有所有的权利,其中...原创 2019-12-27 19:03:52 · 2971 阅读 · 0 评论 -
virtualenv的使用
virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。安装virtualenvpip3 install virtualenv创建虚拟环境1 先进入项目跟目录,规范是,那个项目的虚拟环境就放在那个项目的根目录下.这样比较好操作.2 创建虚拟环境venv,虚拟环境的名字为venv,这时候会在当前目录创建一个venv的目录,用来存放此虚拟环境的包的,实现了...转载 2019-12-20 17:01:33 · 178 阅读 · 0 评论 -
实用运维脚本
近期要做一些集群的维护工作,打算开发一些实用的脚本协助集群的管理:1、实现多机操控和文件复制实现基于sshpass模块的远程操作和批量复制,依赖前体要通过离线或者在线的方式在运行脚本的机器上安装sshpass命令(Python2和使用到的模块好像已经默认集成到centos系统中,如果没有使用“yum install -y sshpass”);还有集群所有节点的密码要统一,如果不统一可以稍作...原创 2019-07-18 17:34:24 · 3007 阅读 · 0 评论 -
解决ModuleNotFoundError: No module named '_bz2'
在centos中运行某些程序会报错如下图所示: File "/usr/local/lib/python3.6.5/lib/python3.6/bz2.py", line 23, in <module> from _bz2 import BZ2Compressor, BZ2DecompressorModuleNotFoundError: No module named ...原创 2019-04-10 10:40:53 · 33212 阅读 · 12 评论 -
二十三种设计模式及其python实现
本文源码寄方于github:https://github.com/w392807287/Design_pattern_of_python参考文献:《大话设计模式》——吴强《Python设计模式》——pythontip.com《23种设计模式》——http://www.cnblogs.com/beijiguangyong/设计模式是什么?设计模式是经过总结、优化的,对我...转载 2018-08-31 09:25:37 · 150 阅读 · 0 评论 -
python之argparse模块的使用
以下内容主要来自:http://wiki.jikexueyuan.com/project/explore-python/Standard-Modules/argparse.htmlargparse 使用简单示例我们先来看一个简单示例。主要有三个步骤:创建 ArgumentParser() 对象调用 add_argument() 方法添加参数使用 parse_args() 解析添加的参数示例:123...转载 2018-05-30 16:29:15 · 1202 阅读 · 0 评论 -
一篇文章让你彻底搞清楚Python中self的含义
刚开始学习Python的类写法的时候觉得很是麻烦,为什么定义时需要而调用时又不需要,为什么不能内部简化从而减少我们敲击键盘的次数?你看完这篇文章后就会明白所有的疑问。self代表类的实例,而非类。实例来说明Python1234567class Test: def p转载 2018-01-26 19:12:22 · 3095 阅读 · 0 评论 -
详解Python中的下划线
本文将讨论Python中下划线(_)字符的使用方法。我们将会看到,正如Python中的很多事情,下划线的不同用法大多数(并非所有)只是常用惯例而已。单下划线(_)通常情况下,会在以下3种场景中使用:1、在解释器中:在这种情况下,“_”代表交互式解释器会话中上一条执行的语句的结果。这种用法首先被标准CPython解释器采用,然后其他类型的解释器也先后采用。转载 2018-01-26 19:07:14 · 178 阅读 · 0 评论