- 博客(4)
- 收藏
- 关注
RSS订阅原创 网络爬虫Scrapy框架入门
一、安装Scrapy首先是安装Scrapy，当然还是pip大法了。但是安装过程中会报错，原因是缺少pywin32，可下载相对应python版本的。下载链接下载之后点击.exe程序运行安装。安装完pywin32，便可以安装Scrapy。pip install Scrapy之后可以验证一下：打开cmd命令窗口没报错就是OK了！二、Scrapy的使用这个框架与Be
2017-09-06 15:00:03
471
原创 python爬虫之pymysql库的使用(1)
首先自己的电脑上或服务器上要有MySQL数据库，可以是各种产品软件。另外自己要会数据库的基本操作，创建数据库、创建表、添加数据、修改数据、删除数据、查询数据等，可以用SQL语句去操作，也可以用图形化界面去操作，不过SQL语句还是要掌握的，比较重要。在进行网络数据采集时，处理Unicode字符串是很痛苦的事情。默认情况下，MySQL也不支持Unicode字符处理。不过你可以设置这个功
2017-09-05 11:24:02
691
原创 python爬虫之pymysql库的使用(2)
要想使用pymysql库，要先安装，因为这是第三方库。同样，可使用pip大法。安装过程就不说了，比较简单。下面通过实例来说明这个库和爬虫的结合使用：from urllib.request import urlopenfrom bs4 import BeautifulSoupimport re #导入正则表达式库import datetimeim
2017-09-05 11:13:39
419
原创 BeautifulSoup库之find、findAll和children、descendants
BeautifulSoup库提供了一些方法和属性去解析HTML，将HTML页面映射成一棵树。一、其中findAll函数通过标签的名称和属性来查找标签，返回一个列表例如：from urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen("http://www.pythonscraping.co
2017-09-02 11:22:02
9164
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人