Linux/Unix/FreeBSD
文章平均质量分 56
bladestone
15年的软件行业开发经验,9年项目管理经验;5年爬虫经验
展开
-
Macos安装brew攻略
## BrewMacos的apt-get和软件安装快捷方式## brew installoffiical site:https://brew.sh/install instruction:/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"但是在命令行执行之后,会发生如下错误:curl: (7) Failed to connect ...原创 2021-02-06 00:27:21 · 528 阅读 · 1 评论 -
PDF提取常用类库
这里写自定义目录标题PDF内容提取Library常用累哭PDF内容提取Library基于工具类,从PDF文件中提取所需的内容。常用累哭pdf.miner点击我pdftoHTML 将PDF直接转化为同等分辨率的HTML文件...原创 2019-12-28 15:52:17 · 695 阅读 · 0 评论 -
Macos下查看端口占用信息
查看端口和process IDlsof -nP -i4TCP:8080| grep LISTEN老版本的命令同样支持:lsof -nP -iTCP:PORT∣grepLISTENlsof−nP−i:PORT | grep LISTENlsof -nP -i:PORT∣grepLISTENlsof−nP−i:PORT | grep LISTEN其中$Port为具体的端口号。-n: 查...原创 2019-11-12 12:07:17 · 1122 阅读 · 0 评论 -
Git Hook开发实践总结
前言: Git是由Linus大牛在一周时间内开发出来的分布式版本管理系统,Linux的内核以及各类大小项目都是使用git来管理其版本以及迭代开发。本文将简要介绍其hook的功能,并通过一个特定的hook实现来展示如何来开发hook。1 Git Hookgit在提供了一些列版本功能的功能之外,还提供了若干的扩展机制,由开发团队在其扩展点上根据需要进行定制化功能;例如,提供更为严格的提交规则检查...原创 2019-11-01 13:40:22 · 5928 阅读 · 0 评论 -
Python下ImportError: DLL load failed: 找不到指定的模块之问题分析
环境依赖问题的提出问题的查找问题的解决总结参考资料环境依赖OS: window 7, python 3.6 Anaconda: 5.0.1问题的提出在运行Python代码的时候,碰到了如下问题:runfile('D:/code/test.py', wdir='D:/code')Traceback (most recent call l...原创 2018-03-19 16:02:47 · 120634 阅读 · 5 评论 -
CentOS下ImportError: No module named '_sqlite3'之问题分析
问题环境依赖问题提出问题分析总结问题环境依赖OS: CentOS 7.2 Python 3.5问题提出在运行一个Python程序之时,在调用sqlite之时,碰到如下的错误信息: Traceback (most recent call last): File "decode_conv.py", line 6, in <mod...原创 2018-03-19 17:16:08 · 17383 阅读 · 0 评论 -
JuypterLab简明教程
JuypterLabJupyter Lab究竟有哪些新的特性让整个Python业界如此兴奋呢?IDE 它是一个名副其实的IDE,且是一个基于网页的IDE(保留了全部的notebook特性)。我个人认为仅仅凭借这一条,Jupyter项目就是一个飞跃。这个集成环境不仅有Console,还有IPython Terminal、所有开发所用到的资源(如图片、代码、文本等)、插件库等。MarkD...原创 2018-03-29 16:48:12 · 8760 阅读 · 0 评论 -
Python之ImportError: DLL load failed: 找不到指定的模块问题解决
环境说明Window 7, Python 3.6.5问题描述在基于python来进行import之时,报出如下的错误:>> from PIL import ImageTraceback (most recent call last): File "<ipython-input-12-0f6709e38f49>", line 1, in <...原创 2018-07-10 14:11:53 · 258419 阅读 · 38 评论 -
CentOS上安装Selenium和google Driver的过程以及问题记录
引言Selenium主要用在自动化测试中,但是也可以用在爬取数据中,由于其实真实的浏览器,则可以无缝地提取数据,而无需担心各类的数据屏蔽,这里主要介绍在CentOS上安装它们的过程以及其中碰到的各类问题记录。环境介绍CentOS 7.4 , Selenium 3.13.0, google chrome, Gecko Driver,这里以google的chrome为例,Gecko的过...原创 2018-08-10 17:20:08 · 27398 阅读 · 7 评论 -
基于Flask实现文件的上传功能的多实例Web服务
flask是Python中非常轻量的Web框架,允许开发者以非常少的代码实现各类的Web应用,本文将简单实例一个简单Web的文件上传功能的开发。环境介绍Centos 7.2, virtual env 下的python 3。安装flask pip3 install flask pip3 install flask_uploads这里安装了flask相关的组件...原创 2018-01-30 15:16:31 · 2913 阅读 · 0 评论 -
Docker运行之com.docker.supervisor failed to start Exit code 1 问题之解决
Docker是一个非常跨时代的工具,是在继虚拟化之后的新一个好用易用的工具,可以极大提升开发和部署的效率。本文将解决一个在Mac上部署Docker之时碰到的问题。环境介绍操作系统: MacOS 10.13.2 (17C205) Docker 版本: 17.12.0-ce-mac47Dock version Command: docker version Cl原创 2018-01-20 22:12:22 · 19252 阅读 · 1 评论 -
Python问题分析:AttributeError: module 'sys' has no attribute 'setdefaultencoding'
问题描述AttributeError: module 'sys' has no attribute 'setdefaultencoding'样例代码import syssys.setdefaultencoding('utf-8')问题分析目前的Python版本是3.6.1,其默认的编码格式是utf-8。 》import sys 》sys.getdefaultencoding()原创 2017-12-13 17:57:20 · 31779 阅读 · 4 评论 -
使用nohup设置后台进程
引言: 有时候需要在Linux上设置一个后台进程,但是当你关闭terminal之时,它会被系统kill掉,那该如何来实现其后台进程能一直运行下去呢?使用方式 nohup command-with-options &当在屏幕上敲击上述命令之后,屏幕上会出现如下信息: $ nohup: ignoring input and appending output to `nohup.out’敲击原创 2017-10-13 14:53:22 · 9648 阅读 · 1 评论 -
Gnome自定义菜单简明教程
引言:从Ubuntu 17.10开始,Gnome重新回归成为Ubuntu的默认UI系统,作为一名自身Gnome的粉丝是非常乐见其成的,本文讲记录如何在Gnome中自定义Menu Item的过程。安装工具alacarte alacarte提供了界面工具,方便我们进行Gnome Menu项的增删改查操作。 安装命令如下: sudo apt install alacarte # 安装指令原创 2017-10-06 23:57:54 · 3495 阅读 · 0 评论 -
CentOS常用命令汇总
MySQL命令将新创建的数据分配某个用户访问 grant all privileges on zhouzdb.* to ‘zhouz’@’%’ identified by ‘1234’; flush privilegescentos 7启动/查看服务 systemctl start/restart mariadb.servcie启动或者重启服务 sys...原创 2017-07-12 16:47:58 · 1040 阅读 · 0 评论 -
VMWare的共享文件的安装指南
引言:笔者这几天基于CentOS 7的精简版按照了一个虚拟机,悲催的是没有图形界面,但是非常需要共享文件的工作,在宿主机以及虚拟机之间实现文件共享,本文将描述如何实现此操作。VMWare菜单按照VMWare Tools首先是基于VMWare来进行安装tools: 在界面上安装完成之后,需要进入虚拟机内部进行tool的挂载,从而实现共享目录的设置。VM虚拟机内部的设置指令列表如下: mkdi原创 2017-07-12 10:32:05 · 821 阅读 · 0 评论 -
在Centos 7下安装MariaDB简明教程
引言: 本文将简要介绍如何在CentOS 7的环境下,安装Mariadb,配置用户和访问权限等类似操作。 CentOS Cent OS是业界中大名鼎鼎的RedHat红帽系统的开源编译版本,站在巨人的肩上是可以看得更高更远, 由于RedHat的Linux系统非常稳定和强大,且已经得到了业界的普遍认可,这一点从Red Hat的公司业绩就一目了然得感觉到。由于Red Hat Linux系统...原创 2017-04-30 22:21:10 · 8869 阅读 · 2 评论 -
Pyenv--优秀的Python多版本管理工具
引言在python的世界里,其实是分裂的,有Python2, 还有Python3,于是在两者之间的切换也是非常麻烦的,有时候,也想安装一下最新的版本,该如何来做呢?好吧,这里Pyenv来拯救你。环境说明CentOS 7.4准备基础环境 yum install -y readline readline-devel readline-static openssl op...原创 2018-08-10 17:45:05 · 2378 阅读 · 0 评论 -
Scrapy之AttributeError: 'str'/"list" object has no attribute 'xpath'问题分析
环境介绍Scrapy 1.5.1 , Python 3.6.5问题描述在调用过程中,会报出以下错误信息:'str' object has no attribute 'xpath'在代码中,尝试对于Selector对象调用xpath方法,选取特定的Web元素节点。 代码示例如下: def parse_item(self, response): ...原创 2018-08-10 17:55:59 · 26503 阅读 · 1 评论 -
BDDMockitto常用方法小结
BDDMockit一般都是通过以下几个步骤来实现单元测试:基于假定条件来设置,比如given()设置某些方法的值触发某些操作,比如调用方法进行结果或者调用过程的验证, then /assert操作基于上述的思路,下面通过一个示例来展示其用法。示例代码示例:@Test public void testBDD() { String name = "jack"...原创 2019-04-01 21:41:26 · 961 阅读 · 0 评论 -
Macos在zsh下基于pyenv安装python版本中的问题汇总
问题提出环境: macos zsh,默认使用python2.7尝试基于pyenv来管理多版本pythonpyenv安装brew install pyenv安装成功安装特定pythonpyenv install 3.7.0这里以3.7.0为例子来演示。问题1问题详情:Installing Python-3.7.0...python-build: use readl...原创 2019-01-28 09:03:55 · 3147 阅读 · 0 评论 -
IntelljIdea shortcut 记录
切换至IntellJIdea虽然我是Eclipse的死忠粉,但是也挡不住大家都在用IntellJIdea,于是我也开始尝试使用IntellJIdea了,本文将记录其中高频使用的快捷键。使用系统: macosshortcut...原创 2019-01-07 19:28:59 · 1374 阅读 · 0 评论 -
Macos快捷键记录
文件操作shift + cmd + n: 创建新的foldercmd + o: 打开文件系统操作cmd +ctrl + q : lock the screencmd + m: 最小化当前的windowscmd + o: 选择打开文件cmd + t: 打开新的Tabcmd + w: 关闭当前的Tabcmd + h: 隐藏当前的windowoption +...原创 2019-01-05 15:45:09 · 914 阅读 · 0 评论 -
Macos下安装MySQL简明教程
环境介绍Macos Jave 10.14. MySQL 5.7基于Brew安装brew install mysql@5.7运行结果如下:Updating Homebrew...==&gt; Downloading https://homebrew.bintray.com/bottles/mysql@5.7-5.7.24.mojave.bottle.tar.gz#########...原创 2018-10-29 11:26:33 · 1799 阅读 · 0 评论 -
常用使用工具汇总
##录屏工具ev 桌面版免费且无水印,其余收费。 地址KK录屏 免费有水印。地址TechSmith Camtasia 自行网络搜索snagit 截图 + 录屏原创 2018-09-19 09:45:21 · 751 阅读 · 0 评论 -
Web Crawler与Scrap技术分析
Scrapy与无头浏览器Scrapy Middleware Casezhihu demojs seleniumScrapy Middleare Case2Scrapy Middleware Case3Multi Queue in ScrapyAdvanced Scrapying TipsWeb Scrapying tips自动识别验证码 ...原创 2018-09-06 18:15:43 · 1086 阅读 · 0 评论 -
Python的协程
Python的并发Python中由于存在GIL的问题,所以其在多线程上无法充分发挥多核的优势和威力,一般都会推荐使用多进程的方式来发挥多核的效率。 除了多进程的方式之外,还可以使用coroutine协程的方式来提升并发的处理效率。进程、线程和协程参考文章: https://www.cnblogs.com/zhaof/p/7536569.html这篇文章关于进程、线程和协程之间...原创 2018-08-30 15:48:16 · 341 阅读 · 0 评论 -
Python语言中的常用技巧
技巧罗列一下,以备后续常用包装与解包a = (1,2,3)x,y,z = a判断元素是否存在## check whether it exists.bb = ['a', 'b', 'c']if 'a' in bb: print("let it be...")cc ={'a': 'a', 'b':'b', 'c':'c'}print('c' in c...原创 2018-08-13 21:00:08 · 364 阅读 · 0 评论 -
Python之Anaconda启动过程中的异常错误的解决
Anaconda一个非常优秀的python发行版本。问题的提出某天,忽然发现,启动spyder之后,一直在Connecting to Kernel, Loading起来没完没了,本质上就是连接不上了。 启动IPython之时,报出如下的错误信息: ERROR:tornado.general:Uncaught exception in ZMQStream callbackT...原创 2018-08-13 20:13:21 · 18555 阅读 · 3 评论 -
Pyspider使用过程教程以及若干问题记录
#问题记录问题1 问题的错误信息:Exception: HTTP 599: Unable to communicate securely with peer: requested domain name does not match the server's certificate.解决的办法:将代码中的基于https开头的地址,切换为http即可。实际的url地址还...原创 2018-08-13 14:13:43 · 2759 阅读 · 0 评论 -
Pyspider启动过程中的问题ssl/nss错配问题
pysider的配置pyspider, centos 7.4 , python 3.6.5问题的提出在启动pyspider的过程中,碰到如下的问题: 其中的信息如下:[root@AY131203102210033c39Z ~]# pyspider[W 180813 11:23:41 run:413] phantomjs not found, continue running w...原创 2018-08-13 11:33:38 · 2233 阅读 · 1 评论 -
PyCurl安装过程中的问题记录分析
Pyspider & Pycurlpyspider是一个大名鼎鼎的爬虫框架,在安装过程中,碰到了pycurl的相关问题,现在记录如下,方便后续参考。 说明: pyspider在windows 7下的安装可以正常,但是运行过程中,会报出不同的错误信息,不建议在windows上运行。环境说明Centos 7, Python 3.6.5分析过程pip install...原创 2018-08-13 11:11:36 · 2528 阅读 · 0 评论 -
Mysql之Root密码重置过程描述
引言: Mysql是我们经常使用的数据库,偶尔也会忘记Mysql的root密码,那该如何重置呢?本文将简要总结其过程。1. 环境介绍 Mysql 5.7, 或者 Mariadb对应的10.x版本等,当前可以正常登陆到服务器上,笔者所使用的服务器OS为Centos 7.2, 数据库为mariadb2. 修复步骤 2.1 查找mysqlsafe的进程,并kill掉该进程...原创 2017-03-21 20:04:50 · 1506 阅读 · 0 评论 -
Centos 7之Firewalld相关命令说明
引言:Centos 7是目前非常流行的Linux发行版本,本文将重点介绍如何来使用firewalld相关命令启动服务以及添加服务或者端口等操作。原创 2016-12-02 23:33:56 · 3462 阅读 · 0 评论 -
Ubuntu常见错误问题解决
Ubuntu系统中常见的错误信息以及解决办法原创 2016-11-07 23:03:25 · 7766 阅读 · 1 评论 -
RabbitMq安装快速教程
引言: 消息系统是互联网公司在应对大流量、高负载系统中非常常用的一种系统通信机制,它除了可以将不同系统解耦,还可以实现不同的多点系统之间的同步或异步通信机制,它的高性能、高扩展性以及稳定性,一直为各大公司所广泛采用,并且各个互联网公司都开发了各自的分布式消息系统,比如阿里、360、京东等等。本文将基于开源的rabbitMq为例,来介绍其安装和部署的基本过程。原创 2015-01-07 19:13:15 · 4253 阅读 · 0 评论 -
Ubuntu中解决解压zip文件中文乱码问题
Ubuntu解决解压zip文件中文乱码问题原创 2014-08-10 15:13:51 · 1605 阅读 · 0 评论 -
Ubuntu 14.04系统下,休眠之后无法启动的问题解决
引言: 在升级Ubuntu系统到14.04之后,在系统进入休眠之后,就无法重新启动了,直接死机了,哪里出错了呢?原创 2014-07-20 18:48:57 · 9446 阅读 · 3 评论 -
VirtualBox中的虚拟机在Ubuntu 13.10下无法启动之问题解决
解决在Ubuntu/Linux下无法启动VirtualBox中的虚拟机的错误。原创 2014-03-04 08:26:06 · 11718 阅读 · 0 评论 -
Ubuntu下pdf的中文乱码问题
必须先安装poppler-data sudo apt-get install poppler-data如果已经安装了文泉驿正黑字体,使用下面的方法解决显示方块问题:sudo gedit /etc/fonts/conf.d/49-sansserif.conf将倒数第四行的san原创 2011-07-10 17:20:33 · 740 阅读 · 0 评论