python
qiangw09
这个作者很懒,什么都没留下…
展开
-
有哪些网站值得用python爬虫获取很有价值的数据
^___^一个程序员的淘宝店:点击打开链接,助你快速学习python技术的一臂之力,不喜欢看广告的请忽略这条! 0、IT桔子和36Kr在专栏文章中(http://zhuanlan.zhihu.com/p/20714713),抓取IT橘子和36Kr的各公司的投融资数据,试图分析中国各家基金之间的互动关系。 1、知乎沧海横流,看行业起伏,抓取并汇总所有的答案,方便大家阅读,找出2015年最热...转载 2018-10-08 15:51:28 · 5472 阅读 · 0 评论 -
Python爬虫防封杀方法集合
在爬取的过程中难免发生ip被封和403错误等等,这都是网站检测出你是爬虫而进行反爬措施,这里自己总结下如何避免。 方法1:设置等待时间 有一些网站的防范措施可能会因为你快速提交表单而把你当做机器人爬虫,比如说以非常人的速度下载图片,登录网站,爬取信息。 常见的设置等待时间有两种,一种是显性等待时间(强制停几秒),一种是隐性等待时间(看具体情况,比如根据元素加载完成需要时间而等待) 1.显性...原创 2018-10-08 17:00:52 · 1947 阅读 · 0 评论 -
python 将数据写入excel
摘要链接: python第三方库——xlrd和xlwt操作Excel文件学习 :http://blog.csdn.net/wangkai_123456/article/details/50457284 python操作Excel读写(使用xlrd和xlrt) : http://blog.csdn.net/mr__fang/article/details/7089581 Python中一...转载 2018-11-29 14:14:01 · 1674 阅读 · 0 评论 -
Python爬取淘宝相关数据
from selenium import webdriver from lxml import etree import time import pymongo client = pymongo.MongoClient('localhost',27017) mydb = client['mydb'] taobao = mydb['taobao'] options = webdriver....原创 2018-11-29 18:08:12 · 377 阅读 · 0 评论 -
如何把Python脚本导出为exe程序
一.pyinstaller简介 Python是一个脚本语言,被解释器解释执行。它的发布方式: .py文件:对于开源项目或者源码没那么重要的,直接提供源码,需要使用者自行安装Python并且安装依赖的各种库。(Python官方的各种安装包就是这样做的) .pyc文件:有些公司或个人因为机密或者各种原因,不愿意源码被运行者看到,可以使用pyc文件发布,pyc文件是Python解释器可...转载 2018-11-28 17:37:30 · 259 阅读 · 0 评论