听风闻香-CSDN博客

原创 python的Twisted依赖库的安装方法和问题解决方式

在安装Twisted依赖库的时候遇到一些问题，为大家分享一下。版本：python 3.6系统：Windows 10一般我们安装时用pip install twisted遇到以下错误：根据错误提示，没有visual c++ 14.0 ，其实就是缺少Visual C++ 2015 Build Tools。提供两种解决方法解决方法1：打开链接下载安装程序： Microsoft Visu...

2019-04-09 09:11:48 2691

原创 python数据爬虫——如何爬取二级页面（三）

前面两篇文章讲了单页面如何爬取，那么我们来试试如何爬取二级页面。在爬取页面的时候，需要有个良好的习惯，提前对爬取的页面和爬取思路进行一个分析。目的：爬取携程无忧数据分析师的二级页面，获取每个岗位的要求。页面的构成：二级页面是点击一级页面跳转的。解决思路：1、在一级页面中获取二级页面的链接2、在二级二面中获取想要的数据。这里我们会用到BeautifulSoup。思路有了，那我们开始吧...

2019-04-04 14:58:17 16935 8

原创 python数据爬虫——对爬取的数据进行保存（二）

前一篇文章介绍了如何抓取岗位信息，这一篇为大家带来如何把抓取的数据进行一些简单的处理，以及保存。文章链接：https://blog.csdn.net/qq_31848185/article/details/88967352先回顾一下源代码，要是对代码有不清楚的地方可以去看一下上方链接的文章：import requestsfrom lxml import etreeimport time...

2019-04-03 10:51:29 7311 5

原创 python数据爬虫——数据分析师岗位基本信息爬取（一）

爬取网址：www.51job.com1.首先我们来分析需要爬取网站的情况在51job中输入：数据分析师2.把URL复制到一个text文本中，分析一下地址。随意的复制三页的地址，找到其中的规律。对比分析：URL前面都是一样的，在“.html”前的数字不一样，这个数字就是对应的页面。“？”后面的一大串都是格式，对URL地址并没有影响。于是我们只需要截取“？”前的URL3.这里使用的是谷...

2019-04-02 15:37:10 3199 3

原创 8个实用类网站资源分享

模板之家http://www.cssmoban.com/提供大量精品网页模板、企业网站模板、网站模板下载、DIV+CSS模板、网页设计模板、网站后台模板、个人博客模板、上千种免费网页模板下载。阿里巴巴矢量图标库http://www.iconfont.cn/国内功能很强大且图标内容很丰富的矢量图标库,提供矢量图标下载、在线存储、格式转换等功能。阿里巴巴体验团队倾力打造,设计和前端开发的便捷...

2019-03-19 15:58:02 605

原创 Spyder的汉化方法

Spyder是Python一个简单的集成开发环境。原系统为英文版。花费了大量时间折腾Spyder汉化，使用了网络上多种方法，终于成功汉化，给大家提供我最后成功的方案。汉化环境：a、window系统b、安装好Anaconda3（直接使用发行版的python很大几率激活失败）c、spyder的版本要3.X以上汉化包下载：Spyder汉化包下载地址1、把下载好的汉化包解压出来，把文件放到一个...

2018-12-14 14:42:20 10373

原创 LINUX 防火墙iptables常用指令

封单个IP的命令：iptables -I INPUT -s 124.115.0.199 -j DROP封IP段的命令：iptables -I INPUT -s 124.115.0.0/16 -j DROP封整个段的命令：iptables -I INPUT -s 194.42.0.0/8 -j DROP封几个段的命令：iptables -I INPUT -s 61.37.80.0/24...

2018-12-12 17:10:02 1224