xinhuoxingyao的专栏

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Pajek是大型复杂网络分析工具，是用于研究目前所存在的各种复杂非线性网络的有力工具。Pajek在Windows环境下运行，用于带上千乃至数百万个结点大型网络的分析和可视化操作。在斯洛文尼亚语中Pajek是蜘蛛的意思。析和可视化操作工具：合著网、化学有机分子、蛋白质受体交互网、家谱、因特网、引文网、传播网（AIDS、新闻、创新）、数据挖掘（2-mode网）等。 设计Pajek的主要目的： 这是最新Pajek64位版本免费获取，仅限于非商业用途。Pajek向以下网络提供分 ● 支持将大型网络分解成几个较小的网络，以便使用更有效的方法进一步处理； ● 向使用者提供一些强大的可视化操作工具； ● 执行分析大型网络有效算法（subquadratic）。 通过Pajek可完成以下工作： ● 在一个网络中搜索类（组成、重要结点的邻居、核等）； ● 获取属于同一类的结点，并分别显示出来，或者反映出结点的连接关系（更具体的局域视角）； ● 在类内收缩结点，并显示类之间的关系（全局视角）。 除普通网络（有向、无向、混合网络）外，Pajek还支持多关系网络，2-mode 网络（二分（二值）图－网络由两类异质结点构成），以及暂时性网络（动态图—网络随时间演化）。

Pajek是大型复杂网络分析工具，是用于研究目前所存在的各种复杂非线性网络的有力工具。Pajek在Windows环境下运行，用于带上千乃至数百万个结点大型网络的分析和可视化操作。在斯洛文尼亚语中Pajek是蜘蛛的意思。析和可视化操作工具：合著网、化学有机分子、蛋白质受体交互网、家谱、因特网、引文网、传播网（AIDS、新闻、创新）、数据挖掘（2-mode网）等。 设计Pajek的主要目的： 这是最新Pajek64位版本免费获取，仅限于非商业用途。Pajek向以下网络提供分 ● 支持将大型网络分解成几个较小的网络，以便使用更有效的方法进一步处理； ● 向使用者提供一些强大的可视化操作工具； ● 执行分析大型网络有效算法（subquadratic）。 通过Pajek可完成以下工作： ● 在一个网络中搜索类（组成、重要结点的邻居、核等）； ● 获取属于同一类的结点，并分别显示出来，或者反映出结点的连接关系（更具体的局域视角）； ● 在类内收缩结点，并显示类之间的关系（全局视角）。 除普通网络（有向、无向、混合网络）外，Pajek还支持多关系网络，2-mode 网络（二分（二值）图－网络由两类异质结点构成），以及暂时性网络（动态图—网络随时间演化）。