![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
物喜己悲
这个作者很懒,什么都没留下…
展开
-
使用python爬取猫眼电影、房王、股吧论坛、百度翻译、有道翻译、高德天气、华夏基金、扇贝单词、糗事百科(猫眼电影)
import requests import re class Mao: def init(self): ‘’’ 本质是初始化一些条件,并不是调用其他函数 当前类实例化的时候触发 ‘’’ self.count = 1 self.spider_name = “万能爬虫” # self.run() def __call__(self, *args, **kwargs): ''' 当前类...原创 2019-05-26 22:08:20 · 277 阅读 · 0 评论 -
使用python爬取猫眼电影、房王、股吧论坛、百度翻译、有道翻译、高德天气、华夏基金、扇贝单词、糗事百科(股吧论坛)
''' 翻页获取股吧数据 http://guba.eastmoney.com/ 获取10页信息,然后放到指定文件夹中 ''' ''' 爬取板块:国产芯片 思路: 找规律 第一页:http://so.eastmoney.com/web/s?keyword=%E5%9B%BD%E4%BA%A7%E8%8A%AF%E7%89%87 第二页:http://so.ea...原创 2019-05-26 22:11:25 · 235 阅读 · 0 评论 -
使用python爬取猫眼电影、房王、股吧论坛、百度翻译、有道翻译、高德天气、华夏基金、扇贝单词、糗事百科(百度翻译)
import requests import json #注意POST请求和网页url一般都不一致!!! base_url ='https://fanyi.baidu.com/sug' def fanyi(kw): data={ 'kw':kw } #发起POST请求 def post(url, data=None, json=None, **kw...原创 2019-05-26 22:14:22 · 233 阅读 · 0 评论 -
使用python爬取猫眼电影、房王、股吧论坛、百度翻译、有道翻译、高德天气、华夏基金、扇贝单词、糗事百科(有道翻译)
import requests import time import random import hashlib def md5(value): # 创建MD5对象 md5_obj = hashlib.md5() # 加密字符串 md5_obj.update(bytes(value, encoding="utf-8")) # 进行16位的加密 si...原创 2019-05-26 22:15:31 · 224 阅读 · 0 评论 -
使用python爬取猫眼电影、房王、股吧论坛、百度翻译、有道翻译、高德天气、华夏基金、扇贝单词、糗事百科(高德天气)
''' 3、获取高德的所有城市天气信息 北京接口: https://www.amap.com/service/weather?adcode=110000 城市adcode列表:https://www.amap.com/service/cityList?version=201951410 获取到天气情况,打印出来 { "adcode":"110000", "name":"北京", ...原创 2019-05-26 22:19:01 · 381 阅读 · 0 评论 -
使用python爬取猫眼电影、房王、股吧论坛、百度翻译、有道翻译、高德天气、华夏基金、扇贝单词、糗事百科(华夏基金)
import requests,re #获取整个网页 # with open('华夏基金.html','w',encoding='utf-8') as f: # f.write(html) class Huaxia(): # def __init__(self): # self.base_html() def __call__(self, *args...原创 2019-05-26 22:20:03 · 373 阅读 · 0 评论 -
使用python爬取猫眼电影、房王、股吧论坛、百度翻译、有道翻译、高德天气、华夏基金、扇贝单词、糗事百科(扇贝单词)
''' 爬取扇贝网python必背词汇表 接口地址:https://www.shanbay.com/wordlist/110521/232414/ 要求:获取所有的python词汇数据,形成字典,然后存储数据 思路: 第一页:https://www.shanbay.com/wordlist/110521/232414/ 第二页:https://www.sh...原创 2019-05-26 22:20:57 · 391 阅读 · 0 评论 -
使用python爬取猫眼电影、房王、股吧论坛、百度翻译、有道翻译、高德天气、华夏基金、扇贝单词、糗事百科(糗事百科)
''' 3、 糗事百科:xpath http://www.qiushibaike.com/8hr/page/1 获取列表页每个帖子里的图片、用户昵称、段子内容、点赞次数和评论次数 选做:翻页 写到json文件中 ''' import requests,os,json from lxml import etree class Qiubai: def __call__(self, *arg...原创 2019-05-26 22:21:38 · 313 阅读 · 0 评论