Python
爱吃西蓝花的老张
这个作者很懒,什么都没留下…
展开
-
Python3 解析Json、合并JSON
def parse_merge_json(): user_line = '{"user_id":1001, "user_age":24}' item_line = '{"item_id":8988, "item_len":300}' dict_user = json.loads(user_line) dict_item = json.loads(item_line) key_values = {} for (key, value) in dict_item.原创 2021-09-01 11:46:28 · 572 阅读 · 0 评论 -
python 时间操作
1.获取两个日期间的所有日期import datetimedef getEveryDay(begin_date,end_date): date_list = [] begin_date = datetime.datetime.strptime(begin_date, "%Y-%m-%d") end_date = datetime.datetime.strptime(end_date,"%Y-%m-%d") while begin_date <= end_date:原创 2020-08-04 11:15:50 · 159 阅读 · 0 评论 -
Python中 __future__ 包用法
1、from future import absolute_import直观地看就是说”加入绝对引入这个新特性”。说到绝对引入,当然就会想到相对引入。那么什么是相对引入呢?比如说,你的包结构是这样的:pkg/pkg/init.pypkg/main.pypkg/string.py如果你在main.py中写import string,那么在Python 2.4或之前, Python会先查找当前目录下有没有string.py, 若找到了,则引入该模块,然后你在main.py中可以直接用string了。原创 2020-07-19 12:33:20 · 1062 阅读 · 0 评论 -
函数柯里化
1、什么是柯里化函数柯里化:是把接受多个参数的函数变换成接受一个单一参数(最初函数的第一个参数)的函数,并且返回接受余下的参数而且返回结果的新函数的技术。即:有多个参数列表,或者说多个小括号括起来的函数参数列表的函数就是柯里化函数。等价于下面的表达式fn(x, y) -> fn(x)(y)2、函数柯里化有什么意义?curry化最大的意义在于把多个参数的函数等价转化成多个单参数函数的级联,这样所有的函数就都统一了,方便做lambda演算。 在scala里,curry化对类型推演也有帮助,s原创 2020-05-11 10:17:44 · 1362 阅读 · 0 评论 -
使用matplotlib绘图报错:libc++abi.dylib: terminating with uncaught exception of type NSException
报错信息:2020-03-02 23:39:34.657 python[55817:7125384] -[NSApplication _setup:]: unrecognized selector sent to instance 0x7fe29c323a602020-03-02 23:39:34.662 python[55817:7125384] *** Terminating app du...原创 2020-03-02 23:49:35 · 901 阅读 · 1 评论 -
Pycharm引用turtle海龟绘图无法识别对应方法 cannot resolve refrenses ‘penup'等方法
1、问题现象使用pycharm,调用turtle包,绘制图无法调用相关方法,提示 cannot resolve refrenses ‘penup’等,但可以正常运行2、问题原因pycharm和turtle库有冲突,不能自己识别出turtle下的方法3、解决点击进入turtle文件,修改‘edit file anyway’:# __all__ = (_tg_classes + _tg_s...原创 2019-05-06 17:19:12 · 3187 阅读 · 1 评论 -
macOS High Sierra python pip 安装权限报错解决
问题背景 需要使用Python的 matplotlib模块,于是使用 pip install matplotlib进行安装,安装时报错:OSError: [Errno 13] Permission denied: '/Library/Python/2.7/site-packages/pip-9.0.1-py2.7.egg/EGG-INFO/PKG-INFO'解决方案sudo ...原创 2018-09-11 21:23:43 · 759 阅读 · 0 评论 -
Python 连接 MySQL
#coding=utf-8# 引入模块import MySQLdbimport reimport timeimport sysreload(sys)sys.setdefaultencoding('utf8')# 获取时间,可用于构造SQL语句begin_date = time.strftime("%Y-%m-%d",time.localtime(time.time()-24*60*60)原创 2017-09-26 13:31:50 · 360 阅读 · 0 评论 -
基于Python3的phantomJs+Selenium动态网页爬取技术
Python3+Scrapy+phantomJs+Selenium爬取今日头条在实现爬虫的过程中,我们不可避免的会爬取又JS以及Ajax等动态网页技术生成网页内容的网站,今日头条就是一个很好的例子。本文所要介绍的是基于Python3,配合Scrapy+phantomjs+selenium框架的动态网页爬取技术。 本文所实现的2个项目已上传至Github中,求Star~ 1. 爬取今日头条新原创 2017-07-03 18:49:52 · 2973 阅读 · 2 评论 -
Windows Python3 Scrapy网络爬虫环境搭建
豆果爬虫Windows环境搭建安装需要的程序包Python3.4.3 > https://pan.baidu.com/s/1pK8KDcvpip9.0.1 > https://pan.baidu.com/s/1mhNdRN6编辑器pycharm > https://pan.baidu.com/s/1i4Nkdk5pywin32 > http://pan.baidu.com/s/1pKZiZ原创 2017-07-03 17:39:10 · 4745 阅读 · 1 评论 -
网页爬虫工具BeautifulSoup使用总结
网页爬虫工具BeautifulSoup 在使用爬虫工具爬取网页的内容时,经常会出现网页格式不规范、标签不完整等等问题,导致在抓取的过程中出现内容无法爬取、内容中含有html标签等等影响结果的错误安装、引入安装 pip install beautifulsoup4 引入模块 from bs4 import BeautifulSoup主要方法、使用规则生成beautifulSoup对象原创 2017-04-26 20:27:33 · 1824 阅读 · 0 评论 -
Python3+Scrapy实现网页爬虫
网页爬虫设计项目驱动,需要从网站上爬取文章,并上传至服务器,实现模拟用户发帖。 框架采用Python3,配合爬虫框架Scrapy实现,目前只能抓取静态页,JS+Ajax动态加载的网页见下一篇博客GitHub地址:https://github.com/JohonseZhang/Scrapy-Spider-based-on-Python3 求Star~另外,爬取类似今日头条、淘...原创 2017-05-03 09:55:10 · 37160 阅读 · 8 评论 -
Python下使用Scrapy爬取网页内容
上周用了一周的时间学习了Python和Scrapy,实现了从0到1完整的网页爬虫实现。研究的时候很痛苦,但是很享受,做技术的嘛。首先,安装Python,坑太多了,一个个爬。由于我是windows环境,没钱买mac, 在安装的时候遇到各种各样的问题,确实各种各样的依赖。安装教程不再赘述。如果在安装的过程中遇到 ERROR:需要windows c/c++问题,一般是由于缺少windows开原创 2017-03-27 20:21:34 · 5852 阅读 · 1 评论