python爬虫自动创建文件夹，与自动爬取信息保存至本地html实现

最新推荐文章于 2023-02-11 11:42:47 发布

滑冰选手库里

最新推荐文章于 2023-02-11 11:42:47 发布

阅读量3k

点赞数

分类专栏：爬虫 python

本文链接：https://blog.csdn.net/weixin_40096730/article/details/81325599

版权

python 同时被 2 个专栏收录

24 篇文章 0 订阅

订阅专栏

爬虫

16 篇文章 6 订阅

订阅专栏

1.创建文件夹的功能：

#file setting

folder_path = "D:/spider_things/2016.4.6/" + file_name +"/"

if not os.path.exists(folder_path):

os.makedirs(folder_path)

上面代码块的意思是：
"os.path.exists(folder_path)"用来判断folder_path这个路径是否存在，如果不存在，就执行“os.makedirs(folder_path)”来创建这个路径

2.爬取信息并保存至本地html(保存网页信息)

import urllib.request
import pymysql


#------------------pymysql
# 数据库
conn = pymysql.connect(host='主机名IP', user='用户名', passwd='密码', db='数据库名')


cur = conn.cursor()
sql = "select 网站的URL,需要创建文件的名称 from 表名"
reCount = cur.execute(sql)  # 返回受影响的行数
data = cur.fetchall()

def getHtml(url):
    html = urllib.request.urlopen(url).read()
    return html

def saveHtml(file_name, file_content):
    # 注意windows文件命名的禁用符，比如 /
    with open("E:/fangguan_html/{0}.html".format(file_name), "wb") as f:
        # 写文件用bytes而不是str，所以要转码
        f.write(file_content)

for i in range(reCount):
    html = getHtml(data[i][0])
    saveHtml(data[i][1], html)
    print(data[i][1])
    print("下载成功:-------------------{0}".format(i))