![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
於陵樺暉
这个作者很懒,什么都没留下…
展开
-
【爬虫】大街网爬虫
import requests,csv,time def save_data(row): f=open('大街网职位爬虫.csv','a',encoding='GBK',newline='',errors='ignore') csv_writer = csv.writer(f) csv_writer.writerow(row) f.close() def ParserResponse(response): #解析函数 for i in range(30):原创 2020-08-24 14:37:08 · 134 阅读 · 0 评论 -
赣州房管局成交爬虫
import requests,csv,time from lxml import etree headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36', 'Host': 'www.gzfdcyw.com', 'Cookie': 'PHPSESSID=3oma2c8os1415s原创 2020-07-09 08:58:59 · 286 阅读 · 0 评论 -
【爬虫练手】在被封禁IP地址的情况下,使用IP代理
在写爬虫程序的过程中,如果爬取的速度过快,经常会遇到IP封禁的问题。那么为了解决这个问题,办法之一就是使用IP代理。 import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36' } url = 'http://httpbin.org/ip' proxi原创 2020-07-05 17:31:45 · 600 阅读 · 0 评论 -
【爬虫练手】东莞当天二手成交信息爬虫
import requests from bs4 import BeautifulSoup import datetime import csv import time headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36' } 引用该引用的库 def save_date(原创 2020-06-16 17:35:39 · 157 阅读 · 1 评论 -
【爬虫练手】糗事百科
from lxml import etree import requests headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } def requests_...原创 2020-05-08 09:37:48 · 196 阅读 · 0 评论 -
Scrapy框架从入门到入土
Scrapy 框架简介 再写爬虫的过程中经常需要多个模块的协同,如:发送网络请求、数据解析、数据存储、反反爬虫手段(更换ip代理、设置请求头等)、异步爬取等。如果这些模块每次都要自己从头开始写的话,比较浪费时间。因此Scrapy把前置的代码封装好了,使用它进行爬虫的开发可以变的更加的高效(爬取效率和开发效率)。 真正在公司里,一些上了量的爬虫,都是使用Scrapy框架来解决。 Scrapy框...原创 2020-05-07 15:44:54 · 196 阅读 · 0 评论 -
【爬虫练手】表情包爬虫
import requests,os,re from lxml import etree from urllib import request def parse_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML...原创 2020-04-23 23:55:59 · 149 阅读 · 0 评论 -
【爬虫练手】爬中国天气网
import requests from bs4 import BeautifulSoup def parser_page(url): headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0....原创 2020-03-15 20:55:58 · 124 阅读 · 0 评论 -
【爬虫练手】下厨房
import requests from bs4 import BeautifulSoup from openpyxl import Workbook wb = Workbook() ws = wb.active list_g = ['菜名','食材','步骤','详细步骤'] ws.append(list_g) headers= { 'User-Agent': 'Mozilla/5....原创 2020-03-08 18:41:02 · 136 阅读 · 0 评论 -
爬虫琐碎知识【Cookie、requests、编码方式问题】
1.在cookie登陆的过程中,有两种方法,第一种是直接从chrome中获取request-headers,第二种是导入 cookieJar进行登陆,创建一个handle,用handle去创建一个opener进行操作。 ...原创 2020-02-27 16:53:21 · 213 阅读 · 0 评论