Python爬虫
小冰同学666
这个作者很懒,什么都没留下…
展开
-
python金融爬虫,抓取某券商的股票名称、简介
网页为 get 请求,获取的 json 数据,数据结构处理,如下图:下图代码解释, for vaule in page_text[“items”]:codes_test.txt 文件列表形式,每行1个,下图:运行状态显示,如下图:全部代码如下:#!/usr/bin/env python3# -*- encoding: utf-8 -*-# Life is short,you need Python.[Where not, where to add.]import csvimpo原创 2021-02-10 14:41:28 · 945 阅读 · 4 评论 -
Python批量爬取某单位的化妆品生产许可证信息
Python批量爬取药监局总局的化妆品生产许可证信息主页旧地址 http://125.35.6.84:81/xk/主页新地址 http://scxk.nmpa.gov.cn:81/xk/主页列表,为Ajax动态加载形式,如下图:企业页面,也是Ajax动态加载形式,如下图:以下为代码:import requestsimport jsonimport timedef get_datas(id="1246978d50094d849fc45defd4d93419"): '原创 2021-01-29 13:41:42 · 728 阅读 · 0 评论 -
python爬虫,肯德基餐厅,批量获取
链接:http://www.kfc.com.cn/kfccda/index.aspx,页面最下方“餐厅查询”,点击跳转import requestsimport timedef chaxun(i=1): '''查询肯德基餐厅信息''' url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword" data = { "cname": "", "pid":.原创 2021-01-28 16:50:54 · 1690 阅读 · 1 评论 -
urllib模块,案例:豆瓣网请求设置及详细说明
// An highlighted blockimport urllib.request # 加载模块try: url = "http://www.douban.com" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.42 Safari/537.36原创 2020-09-26 23:03:57 · 173 阅读 · 0 评论