Python
文章平均质量分 76
逸辰杳
这个作者很懒,什么都没留下…
展开
-
Python MySQL 1054 "Unknown column '\xe7\x88\xb1\xe6\x83\x85' in 'where clause'"错误分析
环境版本:Python 2.7MySQL 5.6.27测试逻辑为:采用带有参数的SQL语句的书写格式,实现修改指定电影类型的状态标识位;数据表的字段设计如下图所示(数据表的编码格式为utf-8):在执行如下命令:则会报1054错误提示,如下图所示: 分析:根据错误提示不难看出,是因为没有在数据表中找到字段‘\xe7\x88\xb1\xe6\x83\x...原创 2017-06-26 16:05:30 · 2794 阅读 · 0 评论 -
免费代理IP爬虫 & IP有效性校验
免费代理IP爬虫 & IP有效性校验原创 2018-10-28 17:28:57 · 1706 阅读 · 0 评论 -
基于网易云音乐的分布式爬虫实现
通过scrapy-redis + HDFS 实现网易云音乐的用户、评论数据的爬取和持久化。源代码详见Github原创 2018-10-28 16:52:27 · 1208 阅读 · 0 评论 -
Pandas.read_json()踩坑总结 & 源码初探
基于实际工作中遇到的一种极端场景来分析Pandas.read_json()方法的源码实现;顺便站在个人学习和使用的角度出发,吐槽一下该方法底层设计的不合理之处。原创 2018-09-16 17:17:52 · 20381 阅读 · 1 评论 -
基于Python初探Linux下的僵尸进程和孤儿进程(三)
基于kafka+python实现消息多进程消费的应用场景探究新建子进程时僵尸进程自动消除的原因,并由此初探multiprocessing.Process.start()源码。原创 2018-06-08 15:13:08 · 664 阅读 · 0 评论 -
基于Python初探Linux下的僵尸进程和孤儿进程(二)
了解Python-Process的join()方法的含义、以及在解决僵尸进程的原理和不足;同时结合实际应用场景提出有效可行的消除僵尸进程的方案。原创 2018-06-08 15:01:04 · 1064 阅读 · 0 评论 -
查看Python依赖包及其版本号信息
查看依赖包及对应的版本号信息:pip list pip freeze pip: error: No command by the name pip listException: File "/usr/lib/python2.7/site-packages/pip-1.0.2-py2.7.egg/pip/__init__.py", line 156, in from_dist assert len(specs) == 1 and specs[0][0] == '=='原创 2018-05-22 21:24:57 · 35974 阅读 · 1 评论 -
基于Python初探Linux下的僵尸进程和孤儿进程(一)
通过对比子父进程的执行周期来详细讨论僵尸进程产生的原因和规避方法原创 2018-06-02 18:50:25 · 2215 阅读 · 0 评论 -
基于pandas的数据分析之数据类型转化踩坑总结
环境依赖: MySQL 5.7.17 Python 2.7 MySQL-python 1.2.5 pandas 0.18.1数据类型转化从以下两个方面讨论并分析:由于数据缺失导致DataFrame中int转float型由于数值类型字符串导致从csv加载到DataFrame时String转numeric一、由于数据缺失导致DataFram...原创 2018-05-20 16:06:47 · 11893 阅读 · 6 评论 -
Python-Mysql依赖初探
环境依赖: MySQL 5.7.17 Python 2.7 Mysql-python 1.2.5MySQLdb是基于MySQL C API(原生MySQL API)为核心的一个面向Python的接口,封装了许多MySQL C API的方法,简化Python使用MySQL。在原生的MySQL API中,万物皆String。(当然,可以通过自定义conv来实现数据类型...原创 2018-05-20 15:15:59 · 694 阅读 · 0 评论 -
基于Python操作ElasticSearch
环境依赖: Python:2.7 ES依赖包:pyelasticsearch ElasticSearch:5.5.1 / 6.0.1 操作系统:Windows 10 / CentOS 7 本文主要就ES基本的CRUD操作做以归纳整理,ES官方对Python的依赖支持有很多,eg:pyelasticsearch、ESClient、elasticutils、pyes、rawes、Su原创 2017-12-23 20:31:24 · 35626 阅读 · 2 评论 -
用Python优雅的做数据分析
本文主要就笔者在实际工作中遇到的一些在统计分析领域的编程风格和代码技巧做一汇总;由于是想到哪就写到哪,所以文档前后并没有什么太强的逻辑性和关联性,就当做是一次随笔吧。(将会持续更新,把自己遇到的好的写法在此处做已记录和分析,大家若是有好点,尽可留言告知,相互学习,共同进步 ^v^) 笔者在数据分析主要是用到了Python(2.7)以及两个主要的依赖:Numpy 和 Pandas,有关这两...原创 2017-12-22 20:01:02 · 7440 阅读 · 0 评论 -
Python:Invalid environment marker:python_version<2.7问题解决方案
依赖信息:操作系统:CentOS 7Python:2.7.12当用pip 或者easy_install 命令安装相关依赖的时候,报如下错误:Invalid environment marker:python_version可是当前系统的python版本命名是2.7的,所以很是诡异。最后排查才发现,是因为系统中setuptools的版本过低,导致无法识别到本机安装的pyt原创 2017-12-22 19:14:01 · 5674 阅读 · 1 评论 -
MySQL存储Json字符串
解决向MySQL中插入Json字符串无法正确解析的问题原创 2019-01-17 19:46:42 · 24592 阅读 · 0 评论