jieba分词库、WordCloud词云库、requests库

jieba——分词库

安装jieba库

pip install jieba

支持三种分词模式

精确模式：试图将句子最精确地切开，适合文本分析；

jieba.cut(s)—精确模式，返回一个可迭代的数据类型

全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

jieba.cut(s，cut_all=True )—全模式，输出文本s中所有可能单词

搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

jieba.cut_for_search(s)—搜索引擎模式，适合搜索引擎建立索引的分词结果

WordCloud——生成词云库

安装WordCloud库

pip install wordcloud

使用

词云绘制：

一：配置对象参数

二：加载词云文本

三：输出词云文件

WordCloud()函数生成了一个WordCloud对象，之后我们对词云的一系列操作都是建立在这个对象的基础上的。
以WordCloud对象为基础（wordcloud就是一个程序版的词云）配置参数，加载文本，输出文件。

w=wordcloud.WordCloud()

w.generate(txt) 向WordCloud对象w中加载文本txt

w.generate(txt)

将词云输出为图像文件 .png或.jpg格式

w.to_file(fileName)

requests 库

安装

pip install requests

requests 的 get

GET ----最常见的请求方法之一
使用GET方法时，请求参数和对应的值附加在URL后面，利用一个问号（“?”）代表 URL 的结尾与请求参数的开始，传递参数长度受限制

Requests 设置请求头 Header

headers 是解决 requests 请求反爬的方法之一，相当于我们进去这个网页
的服务器本身，假装自己本身在爬取数据。

代码示例（百度）

# 获取百度
url = r"http://www.baidu.com/"
response = requests.get(url)
print(response.text)
print(response.status_code)

# 获取百度图片
url=r"https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png"
response = requests.get(url)
with open("baidu1.png","wb") as fp:
    fp.write(response.content)

# 添加参数headers
url=r"https://www.baidu.com/"
headers1 = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36",
    "Accept":"application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding":"gzip, deflate, br"
}
response = requests.get(url,headers=headers1)
print(response.text)
print(response.status_code)

# 添加参数pararms 百度框搜索 大数据薪酬
url=r"https://www.baidu.com/s"
headers1 = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36",
    "Accept":"text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01",
    "Accept-Encoding":"gzip, deflate, br"
}
params1={
    "wd":"大数据薪酬"
}
response=requests.get(url,headers=headers1,params=params1)
response.encoding="utf-8"
print(response.text)
print(response.status_code)
print(response.request.url)