爬虫
黑森林法则
这个作者很懒,什么都没留下…
展开
-
火狐ajax动态json爬取信息
import requests import json import time while True: shijian = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) url2 = '&v=1.0&key=123' ur1 = shijian + url2 ur3 = 'http://cex.xxxxxxx.cn/api.go?action=map&method=listInfo&原创 2021-02-18 00:56:26 · 248 阅读 · 0 评论 -
微博热词搜索并生成云词html(完整)
from urllib.parse import urlencode import requests from pyquery import PyQuery as pq import time import os import csv import json import pandas as pd #-----------------------------------判断是否存在文件,否则增加 if os.path.exists('微博热词.csv'): os.remove('微博热词.csv')原创 2021-01-25 15:04:21 · 1906 阅读 · 0 评论 -
双色球爬取并存txt
import sys import requests from lxml import etree def get_url(url): # 请求url的方法,返回html headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36', } r转载 2021-01-25 14:51:44 · 139 阅读 · 0 评论 -
天气数据爬取并存cvs
import requests from requests.exceptions import RequestException from bs4 import BeautifulSoup import os import csv import time def get_one_page(url): ''' 获取网页 ''' print('正在加载'+url) headers={'User-Agent':'User-Agent:Mozilla/5.0'} t转载 2021-01-25 14:48:27 · 236 阅读 · 0 评论