木小鱼的笔记

技术之海,顺势者昌;看问题,要看思路与问题实质

排序:
默认
按更新时间
按访问量

CentOS常用命令汇总

MySQL命令 将新创建的数据分配某个用户访问 grant all privileges on zhouzdb.* to ‘zhouz’@’%’ identified by ‘1234’; flush privileges centos 7启动/查看服务 systemc...

2017-07-12 16:47:58

阅读数:568

评论数:0

常用使用工具汇总

##录屏工具 ev 桌面版免费且无水印,其余收费。 地址 KK录屏 免费有水印。地址 TechSmith Camtasia 自行网络搜索 snagit 截图 + 录屏

2018-09-19 09:45:21

阅读数:9

评论数:0

Web Crawler与Scrap技术分析

Scrapy与无头浏览器 Scrapy Middleware Case zhihu demo js selenium Scrapy Middleare Case2 Scrapy Middleware Case3 Multi Queue in Scrapy Advanced Scrapyin...

2018-09-06 18:15:43

阅读数:19

评论数:0

Python的协程

Python的并发 Python中由于存在GIL的问题,所以其在多线程上无法充分发挥多核的优势和威力,一般都会推荐使用多进程的方式来发挥多核的效率。 除了多进程的方式之外,还可以使用coroutine协程的方式来提升并发的处理效率。 进程、线程和协程 参考文章: https://www...

2018-08-30 15:48:16

阅读数:25

评论数:0

Python语言中的常用技巧

技巧罗列一下,以备后续常用 包装与解包 a = (1,2,3) x,y,z = a 判断元素是否存在 ## check whether it exists. bb = ['a', 'b', 'c'] if 'a' in bb: print(&quot...

2018-08-13 21:00:08

阅读数:39

评论数:0

Python之Anaconda启动过程中的异常错误的解决

Anaconda 一个非常优秀的python发行版本。 问题的提出 某天,忽然发现,启动spyder之后,一直在Connecting to Kernel, Loading起来没完没了,本质上就是连接不上了。 启动IPython之时,报出如下的错误信息: ERROR:tornado...

2018-08-13 20:13:21

阅读数:402

评论数:0

Pyspider使用过程教程以及若干问题记录

# 问题记录 问题1 问题的错误信息: Exception: HTTP 599: Unable to communicate securely with peer: requested domain name does not match the server's certif...

2018-08-13 14:13:43

阅读数:191

评论数:0

Pyspider启动过程中的问题ssl/nss错配问题

pysider的配置 pyspider, centos 7.4 , python 3.6.5 问题的提出 在启动pyspider的过程中,碰到如下的问题: 其中的信息如下: [root@AY131203102210033c39Z ~]# pyspider [W 180813 11:23:...

2018-08-13 11:33:38

阅读数:292

评论数:0

PyCurl安装过程中的问题记录分析

Pyspider & Pycurl pyspider是一个大名鼎鼎的爬虫框架,在安装过程中,碰到了pycurl的相关问题,现在记录如下,方便后续参考。 说明: pyspider在windows 7下的安装可以正常,但是运行过程中,会报出不同的错误信息,不建议在windo...

2018-08-13 11:11:36

阅读数:87

评论数:0

Scrapy之AttributeError: 'str'/"list" object has no attribute 'xpath'问题分析

环境介绍 Scrapy 1.5.1 , Python 3.6.5 问题描述 在调用过程中,会报出以下错误信息: 'str' object has no attribute 'xpath' 在代码中,尝试对于Selector对象调用xpath方法,选取特定的Web元素节点。 代码示例...

2018-08-10 17:55:59

阅读数:63

评论数:0

Pyenv--优秀的Python多版本管理工具

引言 在python的世界里,其实是分裂的,有Python2, 还有Python3,于是在两者之间的切换也是非常麻烦的,有时候,也想安装一下最新的版本,该如何来做呢?好吧,这里Pyenv来拯救你。 环境说明 CentOS 7.4 准备基础环境 yum install -y...

2018-08-10 17:45:05

阅读数:325

评论数:0

CentOS上安装Selenium和google Driver的过程以及问题记录

引言 Selenium主要用在自动化测试中,但是也可以用在爬取数据中,由于其实真实的浏览器,则可以无缝地提取数据,而无需担心各类的数据屏蔽,这里主要介绍在CentOS上安装它们的过程以及其中碰到的各类问题记录。 环境介绍 CentOS 7.4 , Selenium 3.13.0, goo...

2018-08-10 17:20:08

阅读数:562

评论数:0

Python之ImportError: DLL load failed: 找不到指定的模块问题解决

环境说明 Window 7, Python 3.6.5 问题描述 在基于python来进行import之时,报出如下的错误: >> from PIL import Image Traceback (most recent call la...

2018-07-10 14:11:53

阅读数:1006

评论数:0

JuypterLab简明教程

JuypterLab Jupyter Lab究竟有哪些新的特性让整个Python业界如此兴奋呢? IDE 它是一个名副其实的IDE,且是一个基于网页的IDE(保留了全部的notebook特性)。我个人认为仅仅凭借这一条,Jupyter项目就是一个飞跃。这个集成环境不仅有Console,还有...

2018-03-29 16:48:12

阅读数:799

评论数:0

CentOS下ImportError: No module named '_sqlite3'之问题分析

问题环境依赖 问题提出 问题分析 总结 问题环境依赖 OS: CentOS 7.2 Python 3.5 问题提出 在运行一个Python程序之时,在调用sqlite之时,碰到如下的错误信息: Traceback (most recent call ...

2018-03-19 17:16:08

阅读数:1026

评论数:0

Python下ImportError: DLL load failed: 找不到指定的模块之问题分析

环境依赖 问题的提出 问题的查找 问题的解决 总结 参考资料 环境依赖 OS: window 7, python 3.6 Anaconda: 5.0.1 问题的提出 在运行Python代码的时候,碰到了如下问题: runfile('D:/code/test...

2018-03-19 16:02:47

阅读数:14752

评论数:0

基于Flask实现文件的上传功能的多实例Web服务

flask是Python中非常轻量的Web框架,允许开发者以非常少的代码实现各类的Web应用,本文将简单实例一个简单Web的文件上传功能的开发。 环境介绍 Centos 7.2, virtual env 下的python 3。 安装flask pip3 install fl...

2018-01-30 15:16:31

阅读数:804

评论数:0

Docker运行之com.docker.supervisor failed to start Exit code 1 问题之解决

Docker是一个非常跨时代的工具,是在继虚拟化之后的新一个好用易用的工具,可以极大提升开发和部署的效率。本文将解决一个在Mac上部署Docker之时碰到的问题。 环境介绍 操作系统: MacOS 10.13.2 (17C205) Docker 版本: 17.12.0-ce-mac...

2018-01-20 22:12:22

阅读数:1934

评论数:0

Python问题分析:AttributeError: module 'sys' has no attribute 'setdefaultencoding'

问题描述AttributeError: module 'sys' has no attribute 'setdefaultencoding'样例代码import sys sys.setdefaultencoding('utf-8')问题分析目前的Python版本是3.6.1,其默认的编码格式是ut...

2017-12-13 17:57:20

阅读数:6827

评论数:1

使用nohup设置后台进程

引言: 有时候需要在Linux上设置一个后台进程,但是当你关闭terminal之时,它会被系统kill掉,那该如何来实现其后台进程能一直运行下去呢?使用方式 nohup command-with-options & 当在屏幕上敲击上述命令之后,屏幕上会出现如下信息: $ nohu...

2017-10-13 14:53:22

阅读数:1136

评论数:0

提示
确定要删除当前文章?
取消 删除