- 博客(8)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 作业帮产品调研
一、调研目的：1.通过了解作业帮产品形态和业务逻辑，对作业帮作SWOT分析。二、作业帮用户主要使用场景说明1.小明做作业时，遇到了难题，不知道怎么做，想快速找到相关的答案解析，拍照搜题2.小明妈妈觉得小明数学有点弱，所以给小明报了个数学课程，补下知识，报课模块3.拍照搜题搜不到，小明想发帖子，请教同学，问学霸功能4.题目太难，同学都不会，那就请教老师吧，问答功能三、基于需求的业务逻辑...
2019-08-07 20:35:40
3917
原创 爬取亚马逊关键字搜索产品排名
import scrapyfrom scrapy.http import Requestfrom urllib import parsefrom amazonscrapy.items import AmazonscrapyItemfrom scrapy.loader import ItemLoaderimport datetimeclass CheckRankingSpider(scrap
2017-12-08 12:04:53
6956
10
原创 scrapy爬取知乎
用scrapy框架爬取了知乎网站，下面spider文件代码。import scrapyimport refrom urllib import parsefrom scrapy.loader import ItemLoaderfrom ArticleSpider.items import ZhihuquesitionItem,ZhihuanswerItemimport datetimecl
2017-12-06 16:10:52
663
原创 Thanksgiving Day
数据来源：链接# coding: utf-8import pandas as pddata = pd.read_csv("thanksgiving.csv",encoding="Latin-1")data.head(1)data.columnsDYCT = data["Do you celebrate Thanksgiving?"].value_counts()Filter_DYCT =
2017-04-26 12:22:32
276
原创 USguns
数据来源：链接import csvimport datetimedata = list(csv.reader(open("guns.csv")))[1:]years_count = {}years = [row[1]for row in data]for item in years: if item in years_count: years_count[item]
2017-04-26 11:31:47
232
原创 网页抓取三种方式
正则表达式范例Import reImport requestsurl＝‘http://example.webscraping.com/view/United-Kingdom239’html=requests.get(url).contentre.findall（’＜td class＝”w2pfw”＞(.*?)</td＞’，html)[1]Beautifulsoup范例Import reque
2017-04-19 15:30:39
894
原创 Beautifulsoup爬虫步骤
Beautifulsoup爬虫步骤需要的库：requests bs4 Beautifulsoup大概思路：使用requests模块向网站发送请求，提取返回内容，并且转化为标准HTML文档，使用Beautifulsoup的函数提取网页元素。 结合文档TAG，就能快捷的提取网页元素。＞from bs4 import BeautifulSoup＞brken_html＝’＜ulclass=co
2017-04-18 15:47:48
572
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人