![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据爬取(进攻学习)
Haywardwang
这个作者很懒,什么都没留下…
展开
-
利用python来访问网页文件并存储txt文件
利用python来访问网页文件并存储txt文件import requests# 获取url路径url = 'https://cdn.heweather.com/china-city-list.txt'strhtml = requests.get(url)data = strhtml.textdata1 = data.split('\n')# 定义一个aaaa = 'b'for i in range(3): data1.remove(data1[0])for item原创 2020-07-31 21:22:00 · 1121 阅读 · 0 评论 -
使用python调用阿里云天气API
使用python调用阿里云天气API,失败了……原本有urllib2的库,但是不能正常导入,故找到原因说可以用urllib3代替。转向urllib3的时候,发现urllib3.request并不能正常使用。看到有说request库需要单独使用,import urllib.requestimport urllib, urllib3, sysimport sslimport urllib.requesthost = 'https://ali-weather.showapi.com'path原创 2020-07-31 21:17:37 · 481 阅读 · 0 评论 -
豆瓣数据摘取
豆瓣数据摘取# -*- codeing = utf-8 -*-import sys # 进行网页解析from bs4 import BeautifulSoup # 正则表达式,进行文字匹配import re# 制定 URL,获取网页数据import urllib.error,urllib.request# 进行Excel操作import xlwt# 进行SQLite数据库操作import sqlite3def main(): baseurl = 'http原创 2020-07-29 20:15:39 · 104 阅读 · 0 评论