![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
sisteryaya
机器学习,数据挖掘爱好者
展开
-
【已解决】pip出错:Cannot connect to proxy
在安装scrapy是,命令行pip出错,准确点说,pip install *** 都出错: Retrying (Retry(total=0, connect=None, read=None, redirect=None)) after connection broken b y 'ProxyError('Cannot connect to proxy.', NewConne原创 2017-07-20 20:48:23 · 36518 阅读 · 19 评论 -
一小时建立数据分析平台
创建虚拟环境:conda create -n superset python=3.4激活虚拟环境:(source) activate superset安装superset: pip install superset -i https://pypi.douban.com/simple ,使用了豆瓣的镜像源,速度很快(若出现sasl错误,则单独 pip insatll 安装,再重复上一动作 ,下...原创 2018-04-24 12:26:11 · 317 阅读 · 0 评论 -
【爬虫】获取淘宝天猫商品的详细参数
BeautifulSoup、webdriver、requests原创 2017-09-08 14:47:53 · 3594 阅读 · 0 评论 -
【爬虫】爬取淘宝商品的列表信息
selenium、webdriverwait原创 2017-09-08 14:40:25 · 3536 阅读 · 0 评论 -
【爬虫】 通过关键字爬取淘宝商品列表信息 selenium 的 webdriverwait 和expected_conditions
WebDriverWait 显示等待 expected_conditions 条件判断selenium的三种等待方式、until、until_not...通过关键字爬取淘宝商品列表信息原创 2017-09-07 17:43:11 · 722 阅读 · 0 评论 -
【已解决】调用百度地图API将城市转换为经纬度问题
先获取城市名,如:安徽合肥、上海...,再通过调取百度地图的API来获取相应的经纬度。url 正确格式应该为:url = 'http://api.map.baidu.com/geocoder?address=安徽合肥市&output=json&key=你的密钥(AK)'注意两点: 1、在百度地图开放端申请 ak 时,准备用浏览器访问,应用类型就选用 “ 浏览器端 ”原创 2017-08-04 18:08:02 · 6299 阅读 · 0 评论 -
【已解决】调用百度地图API出错,地图未显示。
百度地图API、热力图、ak原创 2017-08-04 10:27:05 · 18000 阅读 · 1 评论 -
【已解决】fiddler抓包时出现443的问题
首先,电脑手机同wifi下,设好代理。 之前在公司里抓到了摩拜的url接口,回校后,再抓,总是显示 Tunnel to……443,找不到接口,好郁闷。解决:因为之前已经安装过证书了,就完全没想到这个问题,一直以为是网络的原因,因为打开微信小程序,网络连接失败,刷新不了,但是访问浏览器,fidller上又会显示相关请求。最后,手机端重新安装证书FiddlerRoot.cer,突然原创 2017-07-30 17:05:56 · 14207 阅读 · 0 评论 -
【已解决】:selenium.common.exceptions.WebDriverException: Message: 'geckodriver' ...
把geckodriver.exe复制到了E:\Anaconda3文件夹下,与Python.exe同目录,成功。原创 2017-07-17 17:16:46 · 3734 阅读 · 3 评论 -
【已解决】net start MongoDB报错:服务名无效
配置文件就不说了,百度经验讲的很好了。用services.msc打开服务器,没有MongoDB,启动net start MongoDB报错:服务名无效。【解决】:这个问题很简单,用管理员权限打开cmd命令行,跳转至:D:\MongoDB\bin下,再输入:mongod.exe --dbpath "D:\MongoDB\data\db" --logpath "D:\MongoDB\d原创 2017-07-21 15:43:06 · 7164 阅读 · 3 评论 -
【已解决】MySQL建表,插入数据时,时间自动更新至秒
# 链接到 mysql ,创建表 mobike conn = pymysql.connect(host='localhost', user='root', passwd=' ', port=3306, db='test1',charset="utf8") cur = conn.cursor() # 创建一个游标对象 cur.execute("DRO原创 2017-08-01 09:56:23 · 1933 阅读 · 0 评论