python收集数据

1、request库

import requests
response=request.get(url)
response.content//得到了字节，而不是text

2、beautifulsoup 解析html

3、如果从request得到了文本，如下解析成dataframe

df_list = []
for ebert_review in glob.glob('ebert_reviews/*.txt'):
    with open(ebert_review, encoding='utf-8') as file:
        title = file.readline()[:-1]
        # 这里是你的代码

        # 添加到字典列表中
        df_list.append({'title': title,
                        'review_url': review_url,
                        'review_text': review_text})
df = pd.DataFrame(df_list, columns = ['title', 'review_url', 'review_text'])

4、MediaWiki API

5、处理图片等非文本数据

import requests
from PIL import Image
from io import BytesIO
r = requests.get(url)
i = Image.open(BytesIO(r.content))

6、保存到csv

//第一个参数是路径，第二个参数是不把df的索引显示为csv的列
df.to_csv('dataset.csv', index=False)

4、word_cloud可视化库