爬虫：xpinyin模块，requests-html使用和json模块

目录

xpinyin模块

requests-html使用

json模块

---

xpinyin模块

# pip install xpinyin -i https://pypi.tuna.tsinghua.edu.cn/simple

import xpinyin

pyin = xpinyin.Pinyin()

print(pyin.get_pinyin('回车'))#hui-che
print(pyin.get_pinyin('回车',''))#hui che
print(pyin.get_pinyin('回车',' ',tone_marks='marks'))#huí chē

# 获取大写的首字母
print(pyin.get_initial('回'))#H
print(pyin.get_initials('回车'))#H-C
print(pyin.get_initials('回车',' '))#H C

requests-html使用

# pip install requests-html -i https://pypi.tuna.tsinghua.edu.cn/simple
#这个模块自带ua，默认了utf8的编码格式，会自动保存并携带cookie 也就是有会话维持的功能
from requests_html import HTMLSession

session = HTMLSession() #这句相当于requests.session()

url = 'https://699pic.com/tupian/128830.html'

response = session.get(url)
# print(response.text)
# print(response.html.links) #获取页面中所有的链接
# print(response.html.absolute_links) #获取页面中所有绝对路径的链接

json模块

import json

"""
两个带s的都和字符串相关
两个不带s的和json文件相关
json.dumps()：将所有基本类型的数据转换成字符串，其中字典转换来的数据也可以叫json数据，如果被转换的数据原本是元组的话，那么转换之后元组的小括号会变成列表的中括号
json.dump()：将字典转换而来的json数据存到json文件里面
json.load()：将json文件里面的json数据读取出来并且转换成字典
json.loads()：将json转换成字典
"""

dict1 = {'a':1,'b':2}
list1 = [1,2,3]
tuple1 = (1,2,3)
str1 = '123'
int1 = 123

# print(type(json.dumps(dict1)))
# print(type(json.dumps(list1)))
# print(type(json.dumps(tuple1)))
# print(type(json.dumps(str1)))
# print(type(json.dumps(int1)))

# 跳过异常项目，解决编码问题
# print(json.dumps('湖南',skipkeys=True))
# print(json.dumps('湖南',skipkeys=True,ensure_ascii=False))

with open('text.json','w',encoding='utf-8') as f:
    json.dump(dict1,fp=f,indent=2) #fp就是代表你要存到哪个文件里去，indent代表每个键值对前面的字符缩进，dumps的跳过异常项和解决编码问题的参数这里也有

# di1 = '{"a":1,"b":2}'
# print(type(json.loads(di1)))

with open('text.json','r') as f:
    data = json.load(fp=f) #fp就代表你要从哪个文件中获取数据
    print(data,type(data))