爬虫入门（六）数据提取之json

什么是json？

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。

json有四个方法供我们进行数据转换:

mydict = {'name': 'xiaoming', 'age': 18}
#json.dumps 实现python类型转化为json字符串
json_str = json.dumps(mydict)   

#json.loads 实现json字符串转化为python的数据类型
my_dict = json.loads(json_str)

#json.dump 实现把python类型写入类文件对象
with open("temp.txt","w") as f:
    json.dump(mydict,f,ensure_ascii=False,indent=2)

# json.load 实现类文件对象中的json字符串转化为python类型
with open("temp.txt","r") as f:
    my_dict = json.load(f)

json模块的作用？

Json在数据交换中起到了一个载体的作用，承载相互传递的数据

什么是正则表达式？

用事先定义好的一些特定字符、及这些特定字符的组合，组成一个规则字符串，这个规则字符串用来表达对字符串的一种过滤逻辑。

正则表达式的常见语法

练习

1.爬取百度翻译数据，可以中英文相互翻译

# coding=utf-8
import requests
import json
import sys

class Fanyi:
    def __init__(self,query_string):
        self.url = "http://fanyi.baidu.com/basetrans"
        self.query_string = query_string
        self.headers = {"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"}
        self.langdetect_url = "http://fanyi.baidu.com/langdetect"

    def get_post_data(self):#1.url，post_data
        #1.url
        data = {"query": self.query_string}
        #2.发送请求，获取响应
        json_str = self.parse_url(self.langdetect_url,data)
        #3.提取数据
        lan = json.loads(json_str)["lan"]
        to = "en" if lan=="zh" else "zh"
        post_data = {"query": self.query_string,
                    "from": lan,
                    "to": to}
        return post_data

    def parse_url(self,url,data):#发送请求，获取响应
        resposne = requests.post(url,data=data,headers=self.headers)
        return resposne.content.decode()

    def get_ret(self,json_str):#3.提取数据
        temp_dict = json.loads(json_str)
        ret = temp_dict["trans"][0]["dst"]
        print("{} :{}".format(self.query_string,ret))

    def run(self):#实现主要逻辑
        #1.url，post_data
        post_data= self.get_post_data()
        #2.发送请求，获取响应
        json_str = self.parse_url(self.url,post_data)
        #3.提取数据
        self.get_ret(json_str)

if __name__ == '__main__':
    # query_string = sys.argv[1]
    query_string = "hello"
    fanyi = Fanyi(query_string)
    fanyi.run()

2.爬取豆瓣电视剧上英剧和美剧两个分类的电视数据，地址：https://m.douban.com/tv/

# coding=utf-8

import requests
import json

class Douban:
    def __init__(self):
        self.url_temp_list = [
            {
                "url_temp": "https://m.douban.com/rexxar/api/v2/subject_collection/filter_tv_american_hot/items?start={}&count=18&loc_id=108288",
                "referer": "https://m.douban.com/tv/american"
            },
            {
                "url_temp": "https://m.douban.com/rexxar/api/v2/subject_collection/filter_tv_english_hot/items?start={}&count=18&loc_id=108288",
                "referer": "https://m.douban.com/tv/british"
            },
        ]
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Mobile Safari/537.36"
        }

    # 获取响应的数据
    def parse_url(self, url):
        print(url)
        resp = requests.get(url, headers = self.headers)
        json_str = resp.content.decode()
        return json_str

    # 提取获取的数据
    def get_content_list(self,json_str):
        temp_dict = json.loads(json_str)
        return temp_dict["subject_collection_items"]

    # 保存搜索到的数据
    def save_content_list(self,content_list):
        with open("douban.txt","a",encoding="utf-8") as f:
            for content in content_list:
                f.write(json.dumps(content,ensure_ascii=False))
                f.write("\n")
        print("保存成功")

    def run(self):
        for url_temp in self.url_temp_list:
            self.headers.update({"referer":url_temp["referer"]})
            num = 0
            while True:
                # 获取url地址
                next_url = url_temp["url_temp"].format(num)

                # 发送请求,获取响应的数据
                json_str = self.parse_url(next_url)

                # 提取数据
                content_list = self.get_content_list(json_str)

                # 保存搜索到的数据
                self.save_content_list(content_list)
                num+=18

                if len(content_list)<18:
                    break

if __name__ == '__main__':
    douban = Douban()
    douban.run()

3.爬取果壳上的数据源

# coding=utf-8
import requests
import re
import json

class Gouke:
    def __init__(self):
        self.url_temp = "https://www.guokr.com/ask/highlight/?page={}"
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Mobile Safari/537.36"
        }

    def get_url_list(self):
        return [self.url_temp.format(i) for i in range(1,21)]

    def parse_url(self, url):
        print(url)
        resp = requests.get(url, headers=self.headers)
        html_str=resp.content.decode()
        return html_str

    def get_content_list(self,html_str):
        content_list = re.findall(r"<h2><a target=\"_blank\" href=\"(.*?)\">(.*?)</a></h2>",html_str,re.S)
        return content_list

    def save_content_list(self,content_list): #提取数据,保存
        with open("guoke.txt", "a", encoding="utf-8") as f:
            for content in content_list:
                f.write(json.dumps(content, ensure_ascii=False))
                f.write("\n")
        print("保存成功")

    def run(self):#实现主要逻辑
        #1. url_list
        url_list = self.get_url_list()
        #2. 遍历，发送请求，获取响应
        for url in url_list:
            html_str = self.parse_url(url)
            #3. 提取数据
            content_list = self.get_content_list(html_str)
            #4.保存
            self.save_content_list(content_list)

if __name__ == '__main__':
    guoke = Gouke()
    guoke.run()