爬蟲
082200598
这个作者很懒,什么都没留下…
展开
-
Python爬取異步加載圖片的某個網站並下載圖片
import calendar import requests,re from bs4 import BeautifulSoup months=int(input('輸入欲抓取月份')) moth=calendar.monthrange(2019,months) headers ={'User-Agent':"Mozilla/5.0 (Windows; U; Windows NT 6.1; ...原创 2019-06-05 14:21:47 · 291 阅读 · 0 评论 -
pyhon爬取虎撲社區使用pymongo將得到的數據存入本地mongo數據庫中
首先建立一個模塊並將其封裝,模塊命名為mongomod.py from pymongo import MongoClient class MongoAPI(object): def __init__(self,ip,port,database_name,table_name): self.ip = ip self.port =port sel...原创 2019-06-09 16:11:18 · 157 阅读 · 0 评论 -
使用python抓取喜馬拉雅音樂並且下載
#https://www.ximalaya.com/yinyue/ #更改後面網址以對應欲爬取內容 import requests from lxml import etree class Spider(object): def __init__(self): self.headers = {'User-Agent':"Mozilla/5.0 (Windows; U; W...原创 2019-06-10 19:34:51 · 250 阅读 · 0 评论