![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫入门
文章平均质量分 62
qq_41563454
这个作者很懒,什么都没留下…
展开
-
2018.2.28
今天学习了用scrapy爬虫,爬去股票数据其中class BaidustocksPipeline(object): def process_item(self, item, spider): return item class BaidustocksInfoPipeline(object): def open_spider(self, spider): ...原创 2018-02-28 22:18:28 · 156 阅读 · 0 评论 -
2018.2.21学习爬虫 爬取最好大学前20
学习中遇到许多问题有些问题现在还没搞明白,希望大神能指正import requests from bs4 import BeautifulSoup import bs4 def gethtmltext(url): try: r=requests.get(url,timeout=30) r.raise_for_status() r.encodi...原创 2018-02-21 13:48:51 · 441 阅读 · 0 评论 -
2018.2.23淘宝商品信息爬虫
#以下只是爬取一页可以通过for循环的办法来爬取两页三页甚至更多,这是for in 的用法>>>languages = ["C", "C++", "Perl", "Python"] >>> for x in languages:... print (x)... CC++PerlPython>>>i原创 2018-02-23 21:15:43 · 458 阅读 · 0 评论 -
2018.2.24股票爬虫
import requests import re from bs4 import BeautifulSoup import traceback def gettext(url): try: r=requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding ...原创 2018-02-24 18:03:47 · 249 阅读 · 0 评论