爬虫
hzyuhz
这个作者很懒,什么都没留下…
展开
-
python-爬虫(反)-爬取博客
『1.』创建爬虫框架 1.创建一个scrapy框架,命名为synopsis -->scrapy startproject mooc 2.在scrapy中创建一个爬虫spider;命名为csdn,链接地址为csdn.net -->scrapy genspider csdn csdn.net 『2.』明确爬取内容(编写items.py) 『3.』制作爬虫(sp...原创 2019-02-23 11:14:39 · 276 阅读 · 0 评论 -
python-爬虫-scrapy框架
一>.爬虫框架scrapy的理解 - 引擎(Scrapy):用来处理整个系统的数据流, 触发事务(框架核心) - 调度器(Scheduler):用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. - 下载器(Downloader):用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy) - 爬虫(Spiders):用于从特定的网页中提取自己需要的信息, 即所...原创 2019-02-20 11:34:53 · 158 阅读 · 0 评论 -
python-爬虫-xpath(词云)
一>.使用csv保存文件 1>.写入csv文件 import csv with open('list.csv','w') as f: writ=csv.writer(f) writ.writerows([['1','2','3'],['4','5','6']]) print("文件写入成功") 2>.读取csv文件 import csv with ope...原创 2019-02-20 16:22:46 · 746 阅读 · 0 评论