爬虫
Lzs1998
略懂编程技术,多思进取,精益求精
展开
-
爬取今日头条街拍图片
利用Python来爬取今日头条的街拍图片# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import pymongoimport jsonimport requestsfrom urllib.parse import urlencodefrom requests.exc...原创 2019-02-27 19:27:50 · 297 阅读 · 0 评论 -
公告
这星期把HTML专题写完了,就给大家讲讲如何利用python爬虫网站原创 2019-02-27 19:39:12 · 173 阅读 · 0 评论 -
爬取微博热点评论用户ID--简易版本
把以前写的代码分享给大家,性能不太好,有时间给大家写个高性能的模型,发现程序运行不了就改改cookie。# -*- coding: utf-8 -*-"""Created on Tue Jul 17 09:06:30 2018@author: Administrator"""import requestsfrom requests.exceptions import Re...原创 2019-02-27 19:56:06 · 1421 阅读 · 0 评论 -
爬取百度地图评论
因为项目需要,昨天花了一天时间写了百度地图与携程网景区评论获取程序,景区id这里就放给大家了。这里先给大家放爬百度地图的代码import requestsimport re,json,csvfrom urllib.parse import quote,urlencodeimport geventclass Comment(object): header =...原创 2019-03-02 14:40:17 · 1118 阅读 · 1 评论 -
高性能爬取携程网景区评论数据
昨天花了一天时间写的,改来改去,不断提升性能,终于可以把代码放出来了,如果发现服务域名无效,只需要更改Origin为http形式就行。import csvimport requestsfrom bs4 import BeautifulSoup as bsfrom multiprocessing import Poolimport gevent,timecla...原创 2019-03-02 14:47:46 · 7354 阅读 · 34 评论