爬虫和数据分析
李家小少爷
这个作者很懒,什么都没留下…
展开
-
我用python爬取济南房价,告诉你哪里买房合适(-)
import requests from bs4 import BeautifulSoup import os import numpy as np import pandas as pd import matplotlib.pyplot as plt def GetUrlHtml(url): kv={"User-Agent": "Mozilla/5.0"} response=r...原创 2018-06-03 13:59:22 · 1035 阅读 · 0 评论 -
51job招聘爬虫&数据分析
招聘爬虫+数据分析 1.爬虫: 采用Scrapy 分布式爬虫技术,使用mongodb作为数据存储,爬取的网站Demo为51job,数据我目前爬了有几千条 2.数据处理: 采用pandas对爬取的数据进行清晰和处理 2.数据分析: 采用flask后端获取mongodb数据,前端使用bootstrap3.echarts以及D3的词云图 ###注意:1. pymongo安装版本 <=3.0 建议...原创 2019-03-26 17:41:13 · 2994 阅读 · 1 评论