cfh0081的专栏

scrapy环境搭建使用小结  最近研究了一下网页爬虫相关技术，在此进行一下总结，详情如下。一、静态爬取  最开始研究爬取数据，是纯手工python实现，使用requests获取网页内容，再使用BeautifulSoup对获取的html网页内容进行解析，并提取所需要的字段内容保存下来，从而完成所需内容信息的爬取。相关依赖安装如下： pip install requests pip install beautifulsoup4  如果在工作机上，原本有不同的项目， 需要用到同一个包的不同版本，使

使用VSCODE搭建python开发环境  原本使用PyCharm作为python开发IDE，体验了VSCode作为python开发IDE后，感觉再也回不去了，VSCode开源免费，再加上启动迅速，占用资源较低（多开无压力），功能方面感觉也够用，下面总结一下VSCode python开发环境搭建步骤，避免后续走弯路。一、VSCode安装从VSCode官网下载相应安装包进行安装：https://code.visualstudio.com/?wt.mc_id=vscom_downloads二、安装py

python的paramiko模块下载大文件失败问题解决  使用python的paramiko(2.7.2版本)模块从sftp服务器上面下载文件，发现一个很奇怪的现象，下载大小为29.5M的文件时，没有发现异常，但是下载大小为37.6M的文件时，大概率会出现中途卡住的情况。实际调用方法如下：python3.6\Lib\site-packages\paramiko\sftp_client.pyclass SFTPClient(BaseSFTP, ClosingContextManager):

升级禅道开源版本至12.4.3，想实际使用一下其提供的代码关联功能。

使用python向png文件插入文本信息(add text chunk to png)    工作上需要给已经处理过的png文件加上特殊标识，后续再进行处理的时候，可以直接识别到已经处理过了，避免重复处理，所以想到给png文件添加特定的文本信息做标识，在网上搜索良久，没有找到现成的python代码现成方案，后来在网上看到一篇文章，详细了解了一下png文件...

项目原本都是在windows7环境下，在jenkins下面调用批处理使用python3脚本进行Android App的打包，考虑到后续扩展性，需要迁移到centos7.4环境下完成该项工作，在进行迁移工作时，遇到了一系列的坑，下面将整个过程简要记录一下，以便后续回溯。1.先安装好jenkins，并将jenkins版本及插件都更新到最新；2.jenkins是以服务帐户的形式启动的，默认使用的是r...