![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
系统运维
封魔成活
这个作者很懒,什么都没留下…
展开
-
在Linux环境下安装Scrapy框架
需要安装的依赖: 1.Python 2.setuptools 3.twisted 4.zope.interface 5.w3lib 6.libxml2 7.libxslt 8.lxml 9.scrapy Scrapy是一个开源的基于twisted框架的python的单机爬虫,该爬虫实际上包含大多数网页抓取的工具包,用于爬虫下载端以及抽取端。 yum install ...原创 2015-08-12 14:13:25 · 481 阅读 · 0 评论 -
创建编码一个spider的具体步骤
为使项目框架结构清晰,添加的spider的按城市划分存储位置。 例如宁波新闻网—综合频道,则在spiders下面建一个ningbo(宁波)的文件夹,将该版面的spider写在该文件夹下面。 项目设计框架图: 实际项目tree图片见附件tree.jpg webcrawler:. |——scrapy.cfg |——webcrawler: |——items.py ...原创 2015-08-15 17:25:41 · 519 阅读 · 0 评论 -
Linux 系统挂载数据盘(阿里云)
适用系统:Linux(Redhat , CentOS,Debian,Ubuntu) * Linux的云服务器数据盘未做分区和格式化,可以根据以下步骤进行分区以及格式化操作。 下面的操作将会把数据盘划分为一个分区来使用。 1、查看数据盘 在没有分区和格式化数据盘之前,使用 “df –h”命令,是无法看到数据盘的,可以使用“fdisk -l”命令查看。如下图: ...2015-10-27 09:58:57 · 133 阅读 · 0 评论 -
关于Mongodb数据库的使用总结
之前安装的Mongodb比较老1.8.2的,该版本的mongodb数据库有个缺陷,总的数据库容量不能超过2G,倘若超出2G,再往数据库中插入数据是插不进去的。 于是更新版本到3.0 步骤: 1.官网下载mongodb安装文件 2.安装配置 Linux下Mongodb安装和启动配置 1.下载安装包 wget http://fastdl.mongodb.org/linux/mongo...原创 2016-01-11 10:42:03 · 156 阅读 · 0 评论