Python 爬虫系列
Gopher2035
这个作者很懒,什么都没留下…
展开
-
"/usr/bin/salt-minion", line 6, in <module>
"/usr/bin/salt-minion", line 6, in <module>原创 2014-12-08 19:31:41 · 4674 阅读 · 1 评论 -
Python生成二维码
Python生成二维码原创 2017-04-30 20:44:36 · 1410 阅读 · 0 评论 -
Python操作redis
https://pypi.python.org/pypi/redis原创 2017-04-30 22:25:29 · 495 阅读 · 0 评论 -
PyCharm配置整理
环境介绍:PyCharm 3.4.1专业版/Pycharm 2016 2.3/Pycharm 2018.11.显示行号,空白字符,分隔符Settings--->IDE Settings--->Editor--->Appearance--->勾选有注释的3个{Show line numbers}{show method separators}{show white...原创 2015-06-02 09:50:08 · 9931 阅读 · 2 评论 -
supervisor安装和配置
supervisor安装和配置原创 2015-12-03 14:18:47 · 814 阅读 · 0 评论 -
Python读取数据库配置文件
需求:Python项目中统一配置db信息如,mariadb/redis因为项目统一使用,所以我把2个数据库信息放到同一个配置文件,分不同group来解析1.db.confcat db.conf[mysql]DB_HOST = 172.16.xx.xxDB_PORT = 3306DB_USER = esDB_PWD = xxxxxxDB_NAME = esCHARSE...原创 2016-01-31 13:06:14 · 1507 阅读 · 0 评论 -
Python读写写Oracle中clob字段
一、Oracle中的varchar2类型 在Oracle数据库存储的字符数据一般是用VARCHAR2。 VARCHAR2既分PL/SQL Data Types中的变量类型,也分Oracle Database中的字段类型,不同场景的最大长度不同。 在Oracle Database中,VARCHAR2 字段类型,最大值为4000;PL/SQL中 VARCHAR2 变...原创 2015-12-18 11:44:40 · 3280 阅读 · 1 评论 -
Python操作redis
参考https://pypi.python.org/pypi/redis原创 2014-11-12 14:35:24 · 961 阅读 · 0 评论 -
selenium+phantomjs 报错解决,不支持phantomjs的解决
执行如下程序c:\Python37\python.exe d:/Py/crawler/Phantomjs.py报错: c:\Python37\lib\site-packages\selenium\webdriver\phantomjs\webdriver.py:49: UserWarning: Selenium support for PhantomJS has been de...原创 2018-12-28 21:41:17 · 1935 阅读 · 0 评论 -
Python序列化
Python序列化原创 2015-12-24 08:50:00 · 384 阅读 · 0 评论 -
Python操作json
因为众所周知的原因JSON是最理想的数据交换语言。不仅有利于编程人员的阅读和编写,同时也易于机器解析和生成(一般用于提升网络传输速率)Python主要提供的json的读写...原创 2015-08-27 15:07:04 · 2079 阅读 · 0 评论 -
ThriftPy does not support generating module with path in protocol 'c'
参考链接:https://github.com/Thriftpy/thriftpy/issues/234Python操作Hbase导入库时报错Python版本:3.7.1root cause:源码在解析url的时候出现的错误解决办法:修改 #if url_scheme == '': if len(url_scheme) <= 1: wit...原创 2018-12-24 12:03:24 · 363 阅读 · 0 评论 -
Python操作Hbase
参考链接https://happybase.readthedocs.io/en/latest/news.html#happybase-0-91.安装依赖包pip install happybasepip install thrift2.连接Hbaseimport happybaseconnection = happybase.Connection('cdh04')#注意c...原创 2015-02-28 09:30:43 · 983 阅读 · 0 评论 -
Python文件名称与将导入的模块名相同会出现的问题
AttributeError: 'module' object has no attribute原创 2015-10-03 22:43:25 · 3979 阅读 · 0 评论 -
Python文本颜色设置
Python文本颜色设置原创 2017-04-30 19:15:58 · 9421 阅读 · 2 评论 -
Python模块和函数帮助文档查看
python模块和函数帮助文档查看原创 2015-01-23 17:33:33 · 6247 阅读 · 0 评论 -
Python版本过高引发模块无法加载系列问题
Python版本过高引发模块无法加载系列问题原创 2015-01-02 15:37:13 · 3475 阅读 · 0 评论 -
Python调用MongoDB
Python调用MongoDB原创 2015-01-03 14:01:41 · 1052 阅读 · 0 评论 -
Python模块卸载
Python模块卸载原创 2015-05-23 23:49:58 · 5142 阅读 · 0 评论 -
Python模块paramiko安装
Python模块paramiko安装与使用原创 2015-05-14 14:13:21 · 1898 阅读 · 0 评论 -
Win7下Python easy_install的安装
Win7下Python easy_install的安装原创 2015-03-28 17:39:44 · 5370 阅读 · 1 评论 -
Win7下Python WEB环境搭建
Win7下Python WEB环境搭建原创 2015-06-07 22:25:26 · 2400 阅读 · 0 评论 -
Python 爬虫笔记
Python 爬虫笔记第一篇:爬虫基本原理第二篇:请求库requests,selenium第三篇:解析库之re、beautifulsoup、pyquery、lxml第四篇:存储库之mongodb,redis,mysql第五篇:爬虫高性能相关第六篇:Scrapy框架第七篇:分布式爬虫 ...原创 2014-12-09 15:45:23 · 2728 阅读 · 1 评论 -
Python模块默认路径
Python模块默认路径原创 2014-10-17 11:01:29 · 6369 阅读 · 0 评论 -
Python代码缩进
Python代码缩进原创 2015-06-15 10:23:55 · 1559 阅读 · 0 评论 -
error: command 'gcc' failed with exit status 1
error: command 'gcc' failed with exit status 1原创 2016-02-03 09:31:12 · 1472 阅读 · 0 评论 -
Python识别中文
Python识别中文原创 2014-11-10 14:26:52 · 4165 阅读 · 0 评论 -
Python命令添加Tab键自动补全
环境介绍OS:Centos 6.X/WindowsPython版本:2.7.6/3.5.3/3.6.5/3.7.1在使用linux命令的时候我们习惯使用下Tab键,在python下我们也可以实现类似的功能。类似Linix shell的TAB功能,Python也可以实现的!Linux实现过程如下1.安装readline#yum -y install readline-devel...原创 2015-05-07 15:17:03 · 2457 阅读 · 0 评论 -
Python库fake-useragent
参考github链接https://github.com/hellysmile/fake-useragent1.安装pip install fake-useragent2.使用案例2.1查看各浏览器的user-agent值from fake_useragent import UserAgentua = UserAgent()#chrome浏览器print(ua.chrom...原创 2019-01-24 10:36:18 · 3739 阅读 · 0 评论