爬虫
文章平均质量分 88
Timer95
闲来看花,没事喝茶。有时翻书,无聊吃瓜。
展开
-
pypinyin |将得到的中文转化成拼音形式的字符串(详细过程+代码)
为了获得所爬数据对应的网页url,我要将输入的城市中文名转换成对应拼音形式如:输入“重庆”,我需要的到的是’chongqing’过程描述:1.重庆->[‘chong’, ‘qing’]python的库真是好用,pypinyin和xpinyin都有这个功能,在这选用前者pypinyin依然是用这里第一个方法安装pypinyin库:pip install pypinyin安装成功后,导入库""" 将城市的中文转换成拼音 """# from pypinyin import pinyinf原创 2021-07-19 22:53:23 · 693 阅读 · 0 评论 -
pyecharts | 版本不兼容问题及解决方案 【两种情况】——>以geo的使用为例
使用pyecharts进行数据可视化时遇到版本不兼容的问题因为这个版本问题,既试了旧版本也试了新版本。但无论安装哪种版本,总显示有一些模块不能用。一会说option,bar没有,一会说geo没有网上看了半天才明白,我用的有些模块是旧版本里面(0开头的)的,有一些是新版本里面的。但是我两个都要用,怎么办呢?pyecharts的版本有1.××和0.5×之分,而且这两个版本差别还挺大!v0.5.x 和 V1 间不兼容,V1 是一个全新的版本,详见https://github.com/pyecharts/p原创 2021-07-18 23:24:14 · 7195 阅读 · 2 评论 -
【记录爬虫实战过程】进阶学习·详细过程·爬取天气信息2(python+flask+pyecharts)
这个是上一部分的文章传送门:第一部分接下来开始讲第二部分:flask板块。关于flask的相关知识我就不详述了,请自行学习我创建了一个新文件MyFlask.py (注意:不要把名字命名为flask,这样调用时会引起误会)1. 导入库from datetime import timefrom flask import Flask,render_template,request#import pandas as pdimport requests #替代浏览器进行网络请求import w原创 2021-07-14 22:56:58 · 592 阅读 · 2 评论 -
【记录爬虫实战过程】进阶学习·详细过程·爬取天气信息1(python+flask+pyecharts)
主要内容:简单地搭建了一个flask页面,自己输入要查找的城市和年份,返回该城市这一年的平均天气情况。用pyecharts做了一个时间轴的可视化展示,感觉比较美观。(这次的内容是在以前代码的基础上进行扩展的,这是之前做出来的项目 爬取天气信息,在他的基础上可以自己输入要找的城市和年份,并且用了flask搭建网页)使用环境:vscode;各种python库(如何在vscode中安装python库请参照这篇链接在vscode环境里导入python库(三种方法) | 详细过程)详细步骤:一、将原创 2021-07-14 22:20:00 · 1299 阅读 · 0 评论 -
【记录爬虫实战过程】入门学习详细过程·用爬虫实现小说爬取2
要做一个项目,所以先学习熟练应用爬虫。在此记录学习过程,供他人参考,也督促自己坚持学习。目标:用爬虫实现小说爬取!背景:已掌握一些基础的相关知识,运行环境为vs code安装一些爬虫所用的库文件:可以使用pip获取,例如获取request库文件:pip install request大致路线:模仿他人自己练习总结这篇为第一部分:模仿学习参照这篇文章 来逐步练习爬取小说。过程很清楚完整,很适合初学者熟悉大致过程。不知道为什么评论有很多人出现了问题,但是我做完后只出现了文字乱码的问题原创 2021-07-12 23:10:37 · 1109 阅读 · 0 评论 -
【记录爬虫实战过程】入门学习·详细过程·爬取天气信息并通过pyecharts进行可视化展示2
这是文章的第一部分,讲了数据爬取和处理处理部分,并且以CSV形式进行了存储,接下来将数据进行可视化展示第二部分:数据可视化1.导入要用的包需要先导入pandas和pyecharts包,具体导入过程可以参考这篇文章在vscode环境里导入python库#需要先导入pandas和pyecharts包import pandas as pd #pandas主要用于数据分析#可视化from pyecharts import options as opts #导入配置项from pyecharts.c原创 2021-07-09 16:33:31 · 1560 阅读 · 0 评论 -
【记录爬虫实战过程】入门学习·详细过程·爬取天气信息并通过pyecharts进行可视化展示1
跟着b站教学视频做的最终效果图:以可视化形式展示了每个月各种天气的对应次数本篇会记录详细过程、遇到的问题及解决方案和全部代码的展示照着代码敲就可以,基本不需要什么基础(毕竟我也是个新手,正在学习过程中)第一部分:数据爬取+处理1.导入对应模块import requests #替代浏览器进行网络请求from lxml import etree #进行数据预处理import csv #写入csv文件2.确定爬取的网站爬取网站为:https://lishi.tianqi.com/原创 2021-07-08 23:56:17 · 1791 阅读 · 2 评论 -
【记录爬虫实战过程】入门学习·详细过程·用爬虫实现小说爬取1
要做一个项目,所以先学习熟练应用爬虫。在此记录学习过程,供他人参考,也督促自己坚持学习。目标:用爬虫实现小说爬取!背景:1.已掌握一些基础的相关知识2.运行环境为vs code3.安装一些爬虫所用的库文件:可以在cmd中,使用pip获取,例如按照如下指令安装requests库文件::pip install requests大致路线:模仿+学习他人自己练习+扩展总结问题+经验此篇为第一部分:模仿学习参照这篇文章 来逐步练习小说爬取。过程很清楚完整,很适合初学者熟悉大致过程。不知道原创 2021-07-06 23:21:54 · 274 阅读 · 0 评论