Python爬虫案例:简单爬取肯德基餐厅位置信息

目录

代码

成功获取的数据预览


代码

# Python爬虫简单例子
# 爬取肯德基餐厅位置信息
# 仅供学习交流!

import requests;

# 判断是否是当前文件运行
if __name__ == '__main__':
        # 请求数据的url定义
        url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword';
        # 请求头定义
        headers = {
                "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.4153 SLBChan/103"
        };

        # 获取用户输入的城市名
        cityName = input("请输入查询的城市名称:")

        # 请求参数定义
        params = {
                "cname":"",
                "pid":"",
                "keyword":cityName,
                "pageIndex":1,
                "pageSize":10
        }
        # 发起第一次post请求,获取表数据量
        response = requests.post(url=url,data=params,headers=headers);

        json_obj = response.json();

        rowCount = json_obj.get("Table")[0].get("rowcount");

        # 发起第二次post请求,获取数据
        params["pageSize"] = rowCount;

        response = requests.post(url=url, data=params, headers=headers);

        json_obj = response.json();

        datas = json_obj["Table1"];

        # 文件内容 标题定义
        fileContent = "省份\t城市名\t商店名\t地址\t特殊权限\n"

        # 遍历提取数据,进行格式化
        for item in datas:
                t_obj = item;
                fileContent += t_obj.get("provinceName") + "\t";
                fileContent += t_obj.get("cityName") + "\t";
                fileContent += t_obj.get("storeName") + "\t";
                fileContent += t_obj.get("addressDetail") + "\t";
                fileContent += t_obj.get("pro") + "\n"

        # 写到文件中保存
        file = open("./KenDeiJi_datas.txt","w",encoding="utf-8");
        file.write(fileContent);
        file.close();

成功获取的数据预览

省份	城市名	商店名	地址	特殊权限
福建省	福州市	万达	鳌江路8号福州金融街万达商业广场一层(1-70)、二层(2-1)	Wi-Fi,店内参观,礼品卡,生日餐会
福建省	福州市	福州万象	工业路691号万象城购物中心一、二层	Wi-Fi,店内参观,礼品卡,生日餐会
福建省	福州市	福州金桔	仓山区金桔四路永辉广场1楼	Wi-Fi,店内参观,礼品卡,生日餐会
天津市	天津市	福州道	福州道916号	Wi-Fi,礼品卡,生日餐会
上海市	上海市	福州	福州路556号	Wi-Fi,点唱机,礼品卡,溯源
四川省	德阳市	福州路	广汉福州路2段一号-1至1层	Wi-Fi,店内参观,礼品卡,生日餐会
山东省	青岛市	福州路	福州路与人民路交叉口利客来平度购物中心一层东南把角的房产	Wi-Fi,店内参观,礼品卡,生日餐会
福建省	福州市	福州茶亭0591-87111280	台江区八一七中路264号	24小时,Wi-Fi,礼品卡
山东省	青岛市	福州南路	扬州路北侧福州南路东侧宝龙城市广场一楼67750716	Wi-Fi,礼品卡,生日餐会
福建省	泉州市	朴里一	泉厦高速公路朴里服务区福州往厦门方向跨线大楼A区二层(0595-85019153)	Wi-Fi,点唱机,精选店,礼品卡
福建省	泉州市	朴里二精选	泉厦高速公路朴里服务区厦门往福州方向跨线大楼B区二层(0595-85026973)	Wi-Fi,点唱机,精选店
福建省	福州市	福州火车站精选	福州火车站北广场第五候车室7号-9号检票口楼上	精选店
福建省	福州市	火车南站出发层	城门镇胪雷村福州南站候车层编号HC38	Wi-Fi,点唱机,精选店
福建省	福州市	火车南站到达层	仓山区城门镇胪雷村福州南站出站层CZ-29点位	Wi-Fi,点唱机,精选店
福建省	福州市	福州南街	八一七北路南街商业中心负二层086-087商铺	Wi-Fi,点唱机
福建省	福州市	鳌峰	鳌峰街道鳌峰路190号福州永辉商品交易中心整座建筑中1-2层部分	24小时,Wi-Fi,点唱机,店内参观,生日餐会
福建省	福州市	福峰路	铺晋安区新店镇福峰路68号福州奥林匹克花园二期A地块国际交流中心一层5-111号商	24小时,Wi-Fi,店内参观,生日餐会
福建省	福州市	杨桥中路	杨桥中路289号福州凤凰酒家杨桥中路一侧一层1号店面	24小时,Wi-Fi,点唱机,生日餐会
福建省	福州市	SS临时-福州肯德基市场	海峡会展中心6号展厅	Wi-Fi,点唱机,店内参观
福建省	福州市	福州软件大道	软件大道A区双创新城6#楼1层003室	Wi-Fi,店内参观,生日餐会
福建省	福州市	福州软件大道	软件大道A区双创新城6#楼1层003室	Wi-Fi,店内参观,生日餐会
福建省	福州市	福州宜家	晋安区福马路788号宜家家居商业广场L1层M108号	Wi-Fi,点唱机,店内参观,生日餐会
福建省	福州市	福州宜家	晋安区福马路788号宜家家居商业广场L1层M108号	Wi-Fi,点唱机,店内参观,生日餐会
福建省	福州市	福州湖滨路	湖滨路66号中福西湖花园1#楼B区1层B店面等部分店面	Wi-Fi,店内参观,生日餐会
福建省	福州市	福州湖滨路	湖滨路66号中福西湖花园1#楼B区1层B店面等部分店面	Wi-Fi,店内参观,生日餐会
福建省	福州市	福州秀山路	新店镇秀山路245号索高广场1楼1层6-7号商铺	24小时,Wi-Fi,点唱机,店内参观,生日餐会
福建省	福州市	福州秀山路	新店镇秀山路245号索高广场1楼1层6-7号商铺	24小时,Wi-Fi,点唱机,店内参观,生日餐会
福建省	福州市	福州外语外贸	长乐区首占村福州外语外贸学院北区食堂一层部分及新教学楼一层部分	Wi-Fi,点唱机,店内参观,手机点餐
福建省	福州市	福州外语外贸	长乐区首占村福州外语外贸学院北区食堂一层部分及新教学楼一层部分	Wi-Fi,点唱机,店内参观,手机点餐
福建省	福州市	福州外语外贸外卖点	首占村福州外语外贸学院北区食堂一层部分	Wi-Fi,生日餐会,手机点餐
福建省	福州市	福州外语外贸外卖点	首占村福州外语外贸学院北区食堂一层部分	Wi-Fi,生日餐会,手机点餐

  • 4
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,下面是一个简单Python 爬虫教程,可以批量爬取指定网站的图片: 首先,我们需要安装 requests 和 BeautifulSoup 这两个库。可以通过以下命令进行安装: ``` pip install requests pip install beautifulsoup4 ``` 接下来,我们需要编写代码。以下是一个示例代码,可以爬取指定网站的图片并保存到本地: ```python import requests from bs4 import BeautifulSoup import os # 爬取图片的网站 url = "https://www.example.com/" # 请求头,模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} # 发送请求,获取网页内容 response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") # 创建保存图片的文件夹 if not os.path.exists("images"): os.makedirs("images") # 遍历所有的图片标签,获取图片链接并保存到本地 for img in soup.find_all("img"): img_url = img.get("src") if img_url.startswith("http"): response = requests.get(img_url) with open("images/" + os.path.basename(img_url), "wb") as file: file.write(response.content) print("已保存图片:", img_url) ``` 在上述代码中,我们首先定义了要爬取的网站的 URL。然后,我们使用 requests 库发送一个 GET 请求,获取网页的 HTML 内容。接着,我们使用 BeautifulSoup 库对 HTML 进行解析,获取所有的图片标签。最后,我们使用 requests 库再次发送 GET 请求,获取图片的二进制数据,并保存到本地的 images 文件夹中。 注意,这里我们使用了一个 if 判断来过滤掉非 HTTP 开头的图片链接,以避免出现下载错误的情况。 为了更好的用户体验,代码中还加入了一些注释,方便大家理解。 希望这个简单Python 爬虫教程能对你有所帮助!
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值