![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 50
i先生
这个作者很懒,什么都没留下…
展开
-
如何获取到全国公司名称?
如何获取到全国所有公司名称?文章目录如何获取到全国所有公司名称?灵魂提问一、在中国有多少家公司?二、如何获取到全国的所有公司名?三、我们获取公司名称的平台渠道有哪些?四、我们如何获取到全国公司名称?脑洞时间1.引入库2.读入数据总结灵魂提问你所处的是什么行业?你所处行业有多少和你一样体量的公司?你如何在你同类型公司中杀出一条血路?你所处行业的互联网覆盖率是多少?你的产品是怎么样进行销售? 电销? 地推?你如何监听你的客户信息?你如何监听你的竞品公司信息?…一、在中国有多少家公司?原创 2022-06-05 14:01:09 · 1711 阅读 · 0 评论 -
http爬虫常返回的状态码
http爬虫常返回的状态码以及解决方法100:继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分,或者如果请求已经完成,忽略这个响应。101: 转换协议 在发送完这个响应最后的空行后,服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。102:继续处理 由WebDAV(RFC 2518)扩展的状态码,代表处理将被继续执行。...原创 2018-10-23 09:16:05 · 4069 阅读 · 5 评论 -
使用python爬取8684.cn公交信息
使用库如果库缺失请自行下载import requestsimport timefrom bs4 import BeautifulSoupimport json源码import requestsimport timefrom bs4 import BeautifulSoupimport jsonheaders = { 'User-Agent': 'Mozilla...原创 2018-11-05 09:45:05 · 2845 阅读 · 0 评论 -
selenium基本使用
selenium使用介绍selenium本是一个web测试工具,也已可以应用在爬虫中,在一些找不到接口的网页,或者需要登录的网页使用selenium进行模拟登录。模拟登录以后所有的内容都在HTML中,直接爬取HTML就好。使用selenium# 导包from selenium import webdriverurl = 'xxx'# 创建对象# 如果没有放到环境变量中...原创 2018-11-16 00:27:47 · 144 阅读 · 0 评论 -
selenium抓取cookie进行模拟登陆
抓取cookie.json代码import jsonfrom selenium import webdriverimport timeurl = 'https://www.taobao.com/'driver = webdriver.Chrome()driver.get(url)# 卡主浏览器 回车继续运行input('请手动登录')# 获取cookie并通过json模...原创 2018-11-16 12:07:24 · 1692 阅读 · 2 评论 -
python爬虫 爬取诗词名句网
使用requests库,xpath库import requestsimport timefrom lxml import etree# 去请求页面的函数def request_Header(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKi...原创 2018-12-06 18:33:02 · 2075 阅读 · 1 评论 -
requests_正则解析
import requestsimport reurl = "http://c.tieba.baidu.com/p/5287949986"html=requests.get(url)url_list = re.findall(r"http://imgsrc.baidu.com/forum/.*?\.jpg",html.text)root = ""file=open(root+"d...原创 2019-01-08 21:04:18 · 278 阅读 · 0 评论