Python
Rain松
凡事预则立不预则废
展开
-
Ubuntu下Python源代码编译
环境: Ubuntu 12.04 64位 liaops@AY1306111015016020afZ:/media/data/liaops/download$ uname -a Linux AY1306111015016020afZ 3.2.0-29-generic #46-Ubuntu SMP Fri Jul 27 17:03:23 UTC 2012 x86_64 x86_64原创 2013-06-29 13:30:00 · 6079 阅读 · 0 评论 -
Python爬虫框架Scrapy实战之安装
Scrapy 是一个基于Twisted,纯Python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便~ 本文讲述了在64位 Ubuntu 12.04服务器上安装Scrapy的过程。 准备服务器 阿里云服务器配置 登录服务器 使用Putty登录服务器 安装Scrapy原创 2014-04-15 21:14:27 · 7642 阅读 · 0 评论 -
Python爬虫框架Scrapy实战之定向批量获取职位招聘信息
所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。不过由于一个网站的网页很多,而我们又不可能事先知道所有网页的URL地址,所以,如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是,定义一个入口页面,然后一般一个页面会有其他页面的URL,于是从当前页面获取到这些URL加入到爬虫的抓取队列中,然原创 2014-04-25 10:01:36 · 72955 阅读 · 36 评论 -
Python将JSON格式数据转换为SQL语句以便导入MySQL数据库
前文中我们把网络爬虫爬取的数据保存为JSON格式,但为了能够更方便地处理数据,我们希望把这些数据导入到MySQL数据库中。phpMyadmin可以把MySQL数据库中的数据导出为JSON格式文件,但却不能把JSON格式文件导入到MySQL数据库。为了实现这个目标,可以编写Python脚本将JSON格式数据转换为SQL语句以便导入MySQL数据库。 JSON文件tencent.json原创 2014-04-28 09:27:08 · 29253 阅读 · 6 评论